Airflow-使用TriggerDAGRunOperator触发不同调度的DAG

如何解决Airflow-使用TriggerDAGRunOperator触发不同调度的DAG

我是 Airflow 的新手。我需要为具有不同计划的 DAG 依赖项提出一个干净简单的解决方案。

我有 DAG 1 每天运行和 DAG 2 - 每周运行。 如何使用 TriggerDAGRunoperator 从 Daily one 触发每周 DAG？

DAG 1：

with DAG('DAG 1',schedule_interval='0 10 * * *'
     ) as dag:

TASK1 = BashOperator(task_id='TASK1',bash_command='sample')
TRG_TASK=TriggerDAGRunoperator(task_id='TRG_TASK',trigger_dag_id='DAG 2')

TASK1 >> TRG_TASK

DAG 2：

with DAG('DAG 2',schedule_interval='15 10 * * 5'
     ) as dag:

TASK1 = BashOperator(task_id='TASK1',bash_command='sample')

我知道我可以使用 ExternalTask​​Sensor Operator 并提到 timedelta，但从长远来看它会变得混乱。

TriggerDAGRunoperator 是否有任何简单/干净的选项可以每天检查 DAG 2 是否确实计划在当天运行，然后仅触发它，否则在其他日子跳过它？

谢谢

解决方法

DAG2 是否总是由 DAG1 触发并且您只希望 DAG2 每周运行一次，或者您是否期望 DAG2 将通过您的 cron 计划每周执行一次列出的或由DAG1触发？

如果期望 DAG2 仅由 DAG1 触发，但您只希望 DAG2 每周执行一次，则可以在 DAG1 中使用 ShortCircuitOperator或 DAG2 并将 schedule_interval 的 DAG2 更新为 None（这意味着 DAG 只会被触发——手动或以编程方式）。

• 选项 1：在 DAG1 中，在执行 ShortCircuitOperator 之前添加一个 TriggerDagRunOperator 任务，该任务检查当前日期是否是所需的一周中的某一天。如果是，则继续触发 DAG2。

• 选项 2：在 DAG2 中，在执行星期几检查的工作流的开头添加 ShortCircuitOperator。同样，如果需要一周中的哪一天，那么继续 DAG 的其余部分。