如何解决运行较大的YARN作业的主要限制是什么？如何增加它？
运行较大的YARN作业（Hadoop版本HDP-3.1.0.0（3.1.0.0-78））的主要限制是什么？如何增加它？ 基本上，想同时执行更多（所有都是非常大的）squip工作。
我目前假设，我需要增加资源管理器的堆大小（因为这是运行YARN作业时在Ambari仪表板上看到的内容）。如何向RM堆中添加更多资源/为什么RM堆看起来只是整个群集中可用（对YARN而言）总RAM的一小部分？
在Ambari中查看：YARN群集内存为55GB，但RM堆仅为900MB。
解决方法
调整YARN和MapReduce内存的便捷方法是使用 yarn-utils 脚本。
下载伴侣文件## Ref
wget http://public-repo-1.hortonworks.com/HDP/tools/2.6.0.3/hdp_manual_install_rpm_helper_files-2.6.0.3.8.tar.gz
tar zxvf hdp_manual_install_rpm_helper_files-2.6.0.3.8.tar.gz
执行YARN实用程序脚本## Ref
您可以通过提供可用核心，可用内存，磁盘数量，是否安装HBase来执行 yarn-utils.py python脚本。
如果您具有异构的Hadoop群集，则必须根据节点规范创建配置组。如果您需要更多有关此方面的信息，请告诉我，我将据此更新答案。
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
