如何解决在不依赖任何作业的情况下将作业添加到现有的 Airflow DAG
我正在创建一个 Airflow 作业,它将作为具有 n 个作业的现有 dag 的一部分运行。我必须将这个新工作添加为独立工作
我目前的工作依赖如下
accountable_job >> dq_check >> dq_a1_validaton_job >> data_aggregation_job >> sync_job
我必须添加另一个独立的作业 dq_b1_validaton_job,但 dq_a1 验证后的作业将依赖于 dq_b1_validaton_job。在排序中,dq_a1_validaton_job 和 dq_b1_validaton_job 将并行,但 dq_b1_validaton_job 将独立于任何作业。
解决方法
您只需将其添加到 dag。使用上下文管理器:
with Dag(...):
independent_task = YourOperator()
或通过将 dag 作为参数传递:
your_dag = Dag(....)
independent_task = YourOperator(...,dag=your_dag)
见https://airflow.apache.org/docs/apache-airflow/stable/concepts/dags.html#declaring-a-dag
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。