cdh6.2 yarn参数优化小记录

一、闲扯

  最近离线行车日志数仓，项目即将基于Lambda架构形式，实时基于flink框架，离线批处理基于 HiveOnSpark。中期基于这个机构。最后版本定位Flinksql 批流一体化。

测试环境基于阿里云搭建的CDH。目前准备跑一下测试的flin实时作业和spark作业。内存有限，所以做了相关调整。略记录一下

二、正题

1、yarn.nodemanager.resource.memory-mb
表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总量。

可以单独为每一个nodemanager指定内存：Yarn->实例->NodeManager->配置， 输入  yarn.nodemanager.resource.memory-mb ，如下

 

在yarn中为每一个nodemanager都配置同一配置：Yarn-->配置， 输入  yarn.nodemanager.resource.memory-mb ，如下

 

2、yarn.nodemanager.vmem-pmem-ratio
任务每使用1MB物理内存，最多可使用虚拟内存量，默认是2.1。尴尬啊，在Yarn-->配置， 输入 yarn.nodemanager.vmem-pmem-ratio ，

如下没有选项配置。可以在配置 输入  yarn-site.xml。点击"+"可以像 本地配置一下添加key/value配置了

3、yarn.nodemanager.pmem-check-enabled
是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true。

上图

4、yarn.nodemanager.vmem-check-enabled
是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true。
5、yarn.scheduler.minimum-allocation-mb
6、单个任务可申请的最少物理内存量，默认是1024（MB），如果一个任务申请的物理内存量少于该值，则该对应的值改为这个数。
7、yarn.scheduler.maximum-allocation-mb
单个任务可申请的最多物理内存量，默认是8192（MB）。

 

其他选项都是雷同了。上面记录一些。

总结：关于hdfs-site.xml/core-site.xml/ mapred-site.xml/yarn-site,xml。可以配置哪些选项，可以查看 xxx-default.xml文件。

在cm上配置基本思路：在对应的组件下->点击"配置"，在输入框内输入需要配置的参数。2种情况

1、输入 相关参数后，有配置参数。直接修改。如：

2、输入 相关参数后，没有相关参数选项。可以通过输入对应的xxx-site.xml，在"+"处手动新增配置即可。如