如何解决尽管Kubernetes Pod已终止并完成,为什么我的DAG仍处于运行状态?
我已经配置了 AKS Kubernetes 集群,其中有一个 Airflow Scheduler pod 和一个 Airflow Scheduler pod。我编写了一个将使用 Kubernetes Pod Operator 运行的 DAG。
当 DAG 被触发时,一个 pod 被创建,DAG 内部的步骤开始运行。当任务完成并且 pod 移动到终止/完成状态时,气流网络服务器似乎没有收到该信息,就会出现问题。为此,DAG 状态始终在网络服务器中运行。
我观察了 Kubernetes pod 日志和我们可以从该任务的 Web UI 看到的日志。网络服务器中的日志滞后于 pod 中的日志。
我使用的是 Airflow 1.10.14。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。