使用 Airflow Kubernetes Executor，每个 DAG 一个 Pod 而不是每个任务一个 Pod？

如何解决使用 Airflow Kubernetes Executor，每个 DAG 一个 Pod 而不是每个任务一个 Pod？

我们决定在 Kubernetes 上运行 Airflow。我们希望以一种平衡的方式利用 Kubernetes 的力量。 我们的 DAG 中有一些非常小的任务，例如创建一个目录。 KubernetesExecutor 为每个任务启动一个 pod，这需要很长时间，因此对于许多短任务来说是多余的。

我的问题是，是否可以将 Airflow 配置为为整个 DAG 启动 Kubernetes pod，而不是每个任务一个 pod？ （最好没有芹菜）

解决方法

我不认为每个 DAG 可以使用一个 pod，因为 KubernetesExecutor is designed to request a pod per task：

当 DAG 提交任务时，KubernetesExecutor 会从 Kubernetes API 请求一个工作 Pod。然后工作 Pod 运行任务，报告结果，然后终止。

也许将多个较小的任务合并为一个是一种方法。

,

https://airflow.apache.org/docs/apache-airflow/stable/executor/celery_kubernetes.html

Celery Kubernetes Executor 允许您使用 celery worker 的直接资源或为任务启动 pod。我尚未配置此设置，但它似乎符合您的用例。