打破跳过状态传播到气流中的下游

如何解决打破跳过状态传播到气流中的下游

我有以下情况/ DAG；

             |----->Task1----|                  |---->Task3---|
start task-->|               |-->Merge Task --->|             | ----->End Task
             |----->Task2----|                  |---->Task4---|

当前Task，Task2，Task3和Task4是ShortCircuitOperators，当Task1和Task2中的一个处于ShortCircuting状态时，所有下游任务都将被跳过。

但是我的要求是打破合并状态下传播到Task3和Task4的跳过状态。 原因无论上游发生什么，我都希望运行任务3和任务4。 有没有办法可以做到这一点？我想按照DAG所示/显示的方式放置依赖项。

解决方法

是可以实现

1. • 而不是使用ShortCircuitOperator，而是使用AirflowSkipException（在PythonOperator内部）跳过任务（有条件地执行任务/分支）

   • 使用BranchPythonOperator

     也许可以实现相同的目的

   • ，但是ShortCircuitOperator的行为绝不像大多数people's expectations那样。引用此行与this链接中的问题非常相似

     ...当上游之一被ShortCircuitOperator跳过时 该任务也会被跳过。我不想跳过最后的任务 因为它必须报告DAG成功。

     为了避免被跳过，我使用trigger_rule ='all_done'，但是 仍然被跳过。

     如果我使用BranchPythonOperator而不是ShortCircuitOperator final 任务不会被跳过。 ...

   • 此外，docs确实警告过我们（这实际上是ShortCircuitOperator的预期行为）

     它会评估条件，如果条件为False，则会缩短工作流程。任何下游任务都标记有状态 “跳过”。

2. • 对于（可能）跳过的任务的下游任务，请使用其他trigger_rules
   • 因此，使用all_success或none_failed之类的符号代替默认的all_done（取决于您的要求）