如何解决如何为气流 DAG 任务或 python 代码安装依赖模块? , 使用 kuberentesExecutor 时气流 DAG 中的“无法导入模块”
我有一个气流 DAG“example_ml.py”,它有一个任务“train_ml_model”,这个任务正在调用/运行一个 python 脚本“training.py”。
-Dags/example_ml.py -Dags/training.py
DAG 任务的代码片段:
train_model = Pythonoperator(
task_id='train_model',python_callable=training,dag = dag
)
PS:我使用的是 k8s 集群。 Airflow 运行在 k8s 集群中,executor 设置为 kubernetesExecutor。因此,当每个 DAG 被触发时,都会分配一个新的 Pod 来完成任务。
解决方法
你能提供更多细节吗?你是在本地计算机上运行这个吗?一个容器?你确定安装了这个包?正如您所评论的那样,该错误似乎与缺少包有关。创建要安装的任务可能无法解决问题。理想的情况是在您运行的任何气流上安装要求
,我遇到了同样的问题,这就是我解决它的方法:
运行以下python代码
>>> import sys
>>> from pprint import pprint
>>> pprint(sys.path)
我得到这些路径
'/home/.local/lib/python3.6/site-packages','/usr/local/lib/python3.6/dist-packages','/usr/lib/python3/dist-packages'
对我来说气流列在
'/usr/local/lib/python3.6/dist-packages'
因此,要找到该软件包,必须将其安装在此处。我用这个命令来安装我的包:
sudo python3 -m pip install -system [package-name] -t $(pwd)
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。