所有应用程序都停留在独立 Spark 集群上的等待状态

如何解决所有应用程序都停留在独立 Spark 集群上的等待状态

Spark 独立集群配置（Spark 3.0.0）-

• 1 位大师
• 2 个工人（每个 4 个核心）

我正在使用 Airflow SparkSubmitOperator 在 集群 模式下将作业提交给 Spark Master。向 Spark 提交作业的气流有多个（~20）个 DAG。这些 DAG 是根据 cron 表达式调度的。此外，所有 Spark 作业都具有相同的配置 - 1 个驱动程序核心，1 个 Executor 和 1 个核心。

现在，Airflow 会同时触发 8 个作业，对于这 8 个作业，相应的 8 个驱动程序会在 Spark Workers 上产生。但是由于我的工作线程只有 8 个内核，这些驱动程序最终会占用所有内核并且不允许任何执行程序产生，导致所有 8 个应用程序都处于WAITING 状态。 Spark Master UI Snapshot.。正如您在图像中看到的，集群处于某种死锁状态 - 没有任何移动。气流不断提交更多排队的应用程序 - 当我杀死任何 WAITING 状态应用程序时，来自排队应用程序的驱动程序会产生。

我无法更改 DAG 上的 cron 表达式来传播这些应用程序，因为它们是由用户配置的。我试图通过以下方法解决这个问题 -

1. 限制可以在 Spark 集群上运行的并发应用程序数量 - 我找不到独立 Spark 集群的任何此类配置
2. 为驱动程序关联一个专门的工作人员 - 这样我就可以使用一个工作人员来产生驱动程序，而另一个工作人员专门产生执行程序（对于分布式系统来说没有多大意义，好像这个节点去整个集群都无法使用 - 但在目前的情况下，我会接受）。经过大量研究，唯一的建议是，我可以找到这个 - https://stackoverflow.com/a/45962256，但是这个没有按照建议的那样工作 - 驱动程序仍然在两个工人身上产卵。

是否有其他方法或配置可以尝试解决此问题？