微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

与 Cloud Composer 的 Slack 集成 - 损坏的 DAG 没有名为“slackclient”的模块

如何解决与 Cloud Composer 的 Slack 集成 - 损坏的 DAG 没有名为“slackclient”的模块

我们在将 slack 与 Cloud composer 集成时遇到问题。 SlackAPIPostOperator 具有 slackclient 依赖项,我们使用以下命令将其直接安装在工作节点上:

sudo python3 -m pip install apache-airflow[slack]

这将安装 slack 1.3.2。

我们不得不在工作节点上安装,因为 Cloud composer UI 上的 pypi 包安装选项反复超时。

模块导入语句在工作节点上工作正常。但是,composer 仍然报告损坏的 DAG 并显示错误消息:broken DAG: [/home/airflow/gcs/dags/composer-slack-test.py] No module named 'slackclient'

Composer 版本为:composer-1.16.0-airflow-1.10.15

感谢任何帮助。

谢谢!

解决方法

如果软件包安装超时,则可能意味着 Cloud Composer 尝试构建工作程序/调度程序映像时存在软件包冲突。要解决此问题,您应该在更新操作超时后查看构建日志,并查找 pip check 的输出。在那里,您将能够确定哪些软件包由于版本限制而无法安装。

安装在工作程序节点上的软件包将无法从工作流访问,因为 Airflow 工作程序/调度程序作为 Kubernetes pod 运行。您不应手动将软件包安装到节点或工作程序/调度程序 Pod 上,因为它们可以随时更换。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。