Apache Airflow-1.10-如何在durin运行时访问SQL文件

如何解决Apache Airflow-1.10-如何在durin运行时访问SQL文件

TL; DR我该如何做，以便dag中的任务可以访问资产（sql文件，文本文件）

你好乡亲，

我正在运行单节点Airflow安装（1.10.12）。我有一个使用sql语句的dag。为了便于阅读，我想将这些语句保留在自己的sql文件中。所以我的项目看起来像这样：

  MyProject
   - airflow_ftp_DAG.py
   - airflow_ftp_assets (directory)
      - WEX_HH_Upsert_sql.sql

我的dag运行时，它抱怨找不到sql文件。这是由于dag在不同的文件夹中运行任务（如通过运行os.getcwd()所见）

如何使我的任务可以引用我的sql文件？

def insert_hh_records(**kwargs):
    key = 'WEX_FILETYPE_HH'
    collated_data_file_path = kwargs['ti'].xcom_pull(key=key)

    sql_path = "airflow_wex_ftp_assets/WEX_HH_Upsert_sql.sql"
    sql_string = ''

    <!---  Error below --->

    with open(sql_path,"r") as f:
        sql_string = f.read()

非常感谢您的帮助

解决方法

我正在将Dag文件作为zip文件上传到我的dag文件夹中。在此过程中的某个地方，它正在解压缩它们，但没有保留SQL资产文件。一旦我停止压缩它们，问题就消失了。