微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

MWAA:无法从 requirements.txt

如何解决MWAA:无法从 requirements.txt

我正在尝试建立一个集成 S3 和 GCP 的 Pub/Sub 的 MWAA Airflow 2.0 环境。虽然我们在初始化环境方面没有问题,但我们在安装一些依赖项和导入 Python 包时遇到了问题——特别是 apache-airflow-providers-google==2.2.0

我们已按照 official MWAA Python documentation 的所有说明进行操作。我们已经按照 AWS 的规定包含了 constraints file,激活了所有 Airflow 日志记录配置,并使用 MWAA local runner 测试了 requirements.txt 文件The result when updating our MWAA environment's requirements would always be like this

在使用 MWAA local runner 进行测试时,我们观察到使用带有约束的 requirements.txt 文件仍然需要很长时间才能解决Installation takes more than 10-30 minutes which is no good

作为一项实验,我们尝试使用一个省略约束和固定版本控制的 requirements.txt 文件版本。这样做会成功安装软件包,并且我们不会再在 MWAA 本地运行器和我们的 MWAA 环境本身上收到导入错误However,all of our dags will fail to run no matter what. Airflow logs are also inaccessible whenever we do this

我和团队一直在尝试为我们的不同应用程序和 ETL 管道启动和运行 MWAA 环境,但我们似乎无法让事情顺利进行。任何帮助将不胜感激!

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。