如何解决如何阻止 Airflow 触发我的 Python 脚本？
我目前正在使用 Airflow 运行一个 DAG（比如 dag.py），它有几个任务，然后，它有一个 python 脚本要执行（通过 bash_operator 完成）。 python 脚本（比如 report.py）基本上从云 (s3) 位置获取数据作为数据帧，进行一些转换，然后通过电子邮件将它们作为报告发送出去。
但我遇到的问题是，每次 Airflow 扫描存储库以进行更改（即每 2 分钟）时，气流基本上都在运行这个 Python 脚本 report.py。因此，脚本每 2 分钟运行一次（因此电子邮件每两分钟发送一次！）。
有什么解决办法吗？我们可以使用 bash 运算符以外的其他东西吗（请记住，我们需要在发送报告之前进行一些数据帧转换）？
谢谢！
解决方法
只要确保你认真对待任务。它在python脚本中。该脚本将经常由调度程序执行，但它应该简单地创建任务并在它们之间建立依赖关系。实际工作是在任务的“执行”方法中完成的。
例如，您应该在脚本中添加“EmailOperator”作为任务和正确的依赖项，而不是在脚本中发送电子邮件，这样操作符的 execute 方法将不会在调度程序解析文件时执行，而是在所有依赖项（其他任务）将完成
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。