如何解决Airflow Kubernetes Executor pod 进入“NotReady”状态而不是被删除
使用 repo https://airflow-helm.github.io/charts 和 8.1.3 版的气流稳定/气流在 kubernetes 中安装气流。所以我安装了 Airflow v2.0.1。我使用外部 postgres 数据库和 kubernetes 执行器设置了它。
我注意到的是，当与气流相关的 Pod 完成后，它们会进入“NotReady”状态。启动时的 update-db pod 以及 kubernetes 执行者启动的 pod 都会发生这种情况。当我进入气流并查看任务时，有些是成功的，有些可能是失败的，但无论哪种方式，相关的 pod 都处于“NotReady”状态。在值文件中，我设置了以下内容，认为它会在完成后删除 pod。我查看了日志并确保其中一个 dag 按预期运行并且在相关任务中成功，当然相关 pod 在完成后进入“NotReady”状态。
以下值位于 Values.airflow.config 中。
AIRFLOW__KUBERNETES__DELETE_WORKER_PODS：“真” AIRFLOW__KUBERNETES__DELETE_WORKER_PODS_ON_FAILURE：“真”
所以我不确定我错过了什么，是否有人看到过这种行为？ upgrade-db pod 也是这样做的，这也很奇怪。
Screenshot of kubectl get pods for the namespace airflow is deployed in with the "NotReady" pods
解决方法
想通了。 K8 命名空间为每个 pod 自动注入了 linkerd sidecar 容器。只需要使用 celery executioner 或设置某种 k8 作业来清理已完成的 pod 和由于 Linkerd 容器在这些 pod 中永远运行而无法清理的作业。
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
