如何解决Python virtualEnv 和气流 bash 运算符
我遇到了一个奇怪的问题。
我已经部署了一个完整的 Airflow 设置,但是我在使用 BashOperator 运行 python 脚本时遇到了问题
我的 dag 看起来像这样:
from datetime import datetime
from airflow import DAG
from airflow.operators.bash_operator import BashOperator
import pendulum
dag = DAG('ext_pipeline_import',description='Pipeline d''import des données extranet ',schedule_interval='00 04 * * *',start_date=pendulum.datetime(year=2020,month=3,day=20,tzinfo='Europe/Paris'),catchup=False)
t2 = BashOperator(
task_id='t2',bash_command="customPython /data/airflow/dags/project/pyhton_src/myscript.py ",dag=dag
)
t2
并且它在导入 customPython 中的模块时保持 faillig。
如果我直接在终端中运行 customPython /data/airflow/dags/project/pyhton_src/myscript.py
就像一个魅力。知道发生了什么吗? customPython 指的是一个工作 python virtualenv
解决方法
PYTHONPATH 是正确的问题。
在运行 python 之前,我必须导出正确的路径。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。