YARN Fair-Scheduler 不会将工作置于待处理状态

如何解决YARN Fair-Scheduler 不会将工作置于待处理状态

我面临一个与 YARN 的公平调度程序相关的问题。 (Hadoop 3.2.2)

我有一组作业，比如说 6 个，它们都提交到“特定队列”。在这个队列中，最多有 2 个作业可以并行运行，我希望其他 4 个作业保持在 Pending/Accepted 状态。

但是，使用当前配置，我能够并行处理 2 个作业，而其他 4 个结果为“待处理的应用程序”，但在 YARN 中，它们的状态处于 RUNNING 并且没有分配资源给它们（应该如此） .

由于在我的工作中有几分钟后可重新启动的策略，这导致由于它们的状态为“正在运行”（并且如此活跃），因此它们达到了我配置的相关最大重新启动尝试，但没有在其中执行任何操作。

有没有办法将状态显式设置为 Pending/Accepted 状态，并且仅在 maxRunningApps 更改（例如从 2 到 1）时才更改它？

我的 fair-scheduler.xml 如下：

<?xml version="1.0"?>
<allocations>
 <queue name="specific_queue">
   <maxRunningApps>2</maxRunningApps>
 </queue>
 <queuePlacementPolicy>
  <rule name="default" queue="specific_queue"/>
 </queuePlacementPolicy>

 <queueMaxAppsDefault>2</queueMaxAppsDefault>
 <userMaxAppsDefault >2</userMaxAppsDefault >
</allocations>

我在 fair-scheduler.xml 中遗漏了什么？

这是我在 YARN.specific_queue 中看到的

这是队列收到作业后的作业状态