如何解决尝试通过气流 dag 运行但通过本地机器单独工作时,curl 命令不起作用
我有以下 dag 任务:(仅任务的片段)
DAG_START = Pythonoperator(
task_id='task1',python_callable=REdis.set_running,trigger_rule=TriggerRule.ALL_SUCCESS,dag=DAG)
DVT_TASK = BashOperator(
task_id='task2',bash_command=' validation.sh ',retries=3,retry_delay=timedelta(seconds=5),retry_exponential_backoff=True,on_failure_callback=task_fail_slack_alert,dag=DAG)
DAG_END = Pythonoperator(
task_id='task3',python_callable=REdis.set_success,dag=DAG)
#JOB ORDER 1
DVT_TASK.set_upstream(DAG_START)
#JOB_ORDER 2
DAG_END.set_upstream(DVT_TASK)
Dag 正在正确创建,我的validation.sh 也有一个触发DVT 验证的curl 命令。如果我通过我的机器运行相同的 curl 命令,则会触发 DVT 验证,但是当我尝试通过气流时,它不起作用。 (我试图保留一个简单的 echo 命令而不是 curl 命令只是为了检查脚本是否正在执行?因此,脚本在使用 echo 命令时运行良好。出于某种原因, curl 命令没有被执行!任何帮助或建议表示赞赏。
解决方法
此问题已解决。在 curl 命令中,它点击的 url 不是安全的 https,这就是 dag 失败的原因。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。