Airflow UI 无法找到提供程序模块

如何解决Airflow UI 无法找到提供程序模块

我已经在运行 Ubuntu 和 python 3.8 的服务器上安装了 Airflow。我正在尝试在 Airflow UI 中导入一个简单的 dag 以列出存储桶中的文件。

from airflow import DAG
from airflow.providers.amazon.aws.operators.s3_copy_object import S3copyObjectOperator
from airflow.providers.amazon.aws.operators.s3_list import S3ListOperator
from airflow.operators.python import Pythonoperator
from airflow.operators.bash import BashOperator

from datetime import datetime

default_args = {
    'start_date':datetime(2020,1,1)
}


with DAG('S3_to_S3',schedule_interval='@daily',default_args=default_args,catchup=False) as dag:
    list_files = S3ListOperator(
        task_id = 'list_S3_bucket',aws_conn_id='S3_Connection',bucket='xxxxx'
    )

list_files

但在 Airflow UI 中导入失败并抛出异常：

  File "<frozen importlib._bootstrap>",line 219,in _call_with_frames_removed
  File "/home/airflow/airflow/dags/S3_to_S3.py",line 4,in <module>
    from airflow.providers.amazon.aws.operators.s3_list import S3ListOperator
ModuleNotFoundError: No module named 'airflow.providers.amazon'

我已经使用 pip 安装了 amazon provider 包及其依赖项，但 Airflow UI 无法找到这些包。 为了验证是否安装了提供程序，我在 python 控制台中导入了 amazon 包并成功导入。

Python 3.8.9
Type "help","copyright","credits" or "license" for more information.
>>>
>>>
>>>
>>> from airflow.providers.amazon.aws.operators.s3_list import S3ListOperator
>>> from airflow.providers.amazon.aws.operators.s3_copy_object import S3copyObjectOperator
>>> import airflow.providers.amazon
>>>

我是否需要更改气流中的任何配置或设置任何环境变量？

解决方法

正如评论中所讨论的，问题的发生是因为提供程序安装在与 Airflow 不同的路径中，导致 Airflow 找不到提供程序库：

/usr/local/lib/python3.8/dist-packages

.local/lib/python3.8/site-packages/

解决办法是清理环境，在Airflow的同一路径安装provider。 这也在 Github issue

中讨论过