Airflow 动态任务依赖设置仅适用于列表中的最后一个元素

如何解决Airflow 动态任务依赖设置仅适用于列表中的最后一个元素

我创建了一个气流作业，用于检查 Google Cloud Platform 中客户端服务器上的文件，然后将其复制到指定文件夹。 一切都很顺利，直到我决定在气流中创建动态任务。现在我的依赖项不想像这样正确设置：

相反，我最终得到了这个：

这是我为此目的创建的代码（我只包含了相关部分）：

EXPORT_BUCKET='gs://export'
SOURCE_BUCKET='gs://source'
system_list=["main"]
type_list=["road_cell_counters","road_counters","impact_counters","cell_counters"]

...

with models.DAG(dag_id='return_Feed',schedule_interval=None,description='return Feed',default_args=default_dag_args) as dag: 

...
 
        for system in system_list:
            for type in type_list:
                Feed_check = BashOperator(
                task_id=str(type)+'_check_'+str(system),project_id=project,xcom_push=True,bash_command='''gsutil -q stat {source_bucket}/system={system}/type={type}/year={{{{ ti.xcom_pull(key="YEAR") }}}}/month={{{{ ti.xcom_pull(key="MONTH") }}}}/day={{{{ ti.xcom_pull(key="DAY") }}}}/_SUCCESS'''.format(source_bucket=SOURCE_BUCKET,system=system,type=type),dag = dag
                )        
        
                Feed_copy = BashOperator(
                task_id=str(type)+'_copy_'+str(system),bash_command='''gsutil cp -r {source_bucket}/system={system}/type={type}/year={{{{ ti.xcom_pull(key="YEAR") }}}}/month={{{{ ti.xcom_pull(key="MONTH") }}}}/day={{{{ ti.xcom_pull(key="DAY") }}}} {export_bucket}/system={system}/type={type}/year={{{{ ti.xcom_pull(key="YEAR") }}}}/month={{{{ ti.xcom_pull(key="MONTH") }}}}/'''.format(source_bucket=SOURCE_BUCKET,export_bucket=EXPORT_BUCKET,dag = dag
                )


get_parameters >> Feed_check >> Feed_copy

因此，就我而言，我想先查看第一个列表，然后再查看第二个列表，以涵盖任务的所有可能性。为此，我创建了两个 for 循环来遍历列表中的所有元素。
如您所见，由于某种原因，只有列表中的最后一个元素具有正确的依赖关系，这是为什么呢？？

解决方法

尝试在 for type in type_list: 循环内移动任务依赖表达式。否则，当在循环之外设置依赖项时，将使用 feed_check 和 feed_copy 的最后一个实例。

    for system in system_list:
            for type in type_list:
                feed_check = BashOperator(
                task_id=str(type)+'_check_'+str(system),project_id=project,bash_command='''gsutil -q stat {source_bucket}/system={system}/type={type}/year={{{{ ti.xcom_pull(key="YEAR") }}}}/month={{{{ ti.xcom_pull(key="MONTH") }}}}/day={{{{ ti.xcom_pull(key="DAY") }}}}/_SUCCESS'''.format(source_bucket=SOURCE_BUCKET,system=system,type=type),dag = dag
                )

                feed_copy = BashOperator(
                task_id=str(type)+'_copy_'+str(system),bash_command='''gsutil cp -r {source_bucket}/system={system}/type={type}/year={{{{ ti.xcom_pull(key="YEAR") }}}}/month={{{{ ti.xcom_pull(key="MONTH") }}}}/day={{{{ ti.xcom_pull(key="DAY") }}}} {export_bucket}/system={system}/type={type}/year={{{{ ti.xcom_pull(key="YEAR") }}}}/month={{{{ ti.xcom_pull(key="MONTH") }}}}/'''.format(source_bucket=SOURCE_BUCKET,export_bucket=EXPORT_BUCKET,dag = dag
                )


                get_parameters >> feed_check >> feed_copy