YARN + 如何从 cli Capacity Scheduler 或 Fair Scheduler

如何解决YARN + 如何从 cli Capacity Scheduler 或 Fair Scheduler

在问我的问题之前，我只想给出使用 Fair Scheduler 或 Capacity Scheduler 的 YARN 之间的差异

公平调度程序 公平调度是一种将资源分配给作业的方法，以便所有作业在一段时间内平均获得相等的资源份额。当有单个作业在运行时，该作业将使用整个集群。当提交其他作业时，释放的任务槽会分配给新作业，以便每个作业获得大致相同的 CPU 时间。

容量调度器 容量调度程序旨在允许共享大型集群，同时为每个组织提供最小容量保证。其中心思想是将 Hadoop 集群中的可用资源分配给多个组织，这些组织根据计算需求共同为集群提供资金。还有一个额外的好处是组织可以访问任何多余的容量 没有被其他人使用。这以具有成本效益的方式为组织提供了弹性。

除了上述之外，我们还有带有 YARN 资源管理器服务和 34 个节点管理器的 HDP 集群 所有服务都可以从 Ambari 仪表板查看

所有机器都安装在 Linux 7.2 上

是否可以通过 yarn cli 或其他 Hadoop 方法验证 YARN 正在选择什么？ 公平调度程序或容量调度程序

解决方法

在shell中使用以下命令：

./path-to-your-hadoop/bin/hdfs getconf -confKey yarn.resourcemanager.scheduler.class

Fair Scheduler 的结果

org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler

容量调度程序的结果

org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler