如何解决如何避免 Apache Airflow 中工作节点依赖项的 DAG 导入错误？
我正在开发基于容器的 Apache Airflow 应用程序。 我的环境由以下组件组成：
- Airflow Scheduler 容器
- Airflow 网络服务器容器
- 气流芹菜花容器
- Airflow Worker 容器 (1)
- 等
我对这种模式的理解是，我可以拥有一个调度程序和一个网络服务器容器，其中只包含 Airflow 所需的依赖项，然后我可以拥有一个（或多个）工作节点，其中包含运行 DAG 所需的一切。
当我尝试以这种方式使用它时（例如，在工作节点中添加和使用一个模块，假设它是 crypto 模块），我在前面得到一个 DAG Import Error 异常结束，说如下：
ModuleNotFoundError: No module named 'crypto'。
这对我来说很有意义，因为调度程序知道我需要该模块来执行并抛出错误，尽管 DAG 正常工作，因为当它运行时，在工作节点中，它具有所有必需的依赖。
我该如何解决这个问题？
谢谢
解决方法
目前，您需要同步对 Scheduler 和 Worker 的依赖。
调度程序在单独的进程中解析 DAG 文件（每个 DAG 文件一个），因此如果您在 DAG 文件中使用的依赖项未安装在调度程序中，它将在 DB 中添加一个 createShape(ELLIPSE,x,y,w,h)，然后将显示在网络服务器。
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
