如何解决Airflow 任务即使在完成后仍继续运行
就我们在使用 Airflow 和 Spark 时遇到的问题提出意见。
设置:我们目前正在使用 Apache Airflow (v2.0.1) 来监控和安排我们的一个项目的工作流。我们使用 spark submit 操作符创建了一个 DAG。 (Spark v3.0.0)
Airflow > 集群模式下的 SparkSubmitOperator,Kubernetes 作为 Spark Master K8s:// > Kubernetes 上 Spark Driver 和 executor Pod 的动态分配和 Pod 管理
问题:在从气流 UI 触发 DAG 时,我们面临一个问题,即它随机卡在某个任务上,当它在司机舱。我们已经单独测试了它的每个任务,它们都执行成功。
以下是 DAg 图供您参考。
尝试解决此问题: 在 python 代码中添加 spark.stop() 和 sys.exit(0) 以返回正确的退出状态。 (但没有运气 - 气流随机卡在任务上)。
我最近几天一直在解决这个问题,但无法解决,这里的任何线索/方向都会有所帮助。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。