如何解决纱线用户界面中的内存可用性
yarn UI 中的 Mem Avail 是什么意思？
我将 yarn.scheduler.minimum-allocation-mb 设置为 1024，将 yarn.scheduler.maximum-allocation-mb 设置为 4096。yarn.nodemanager.resource.memory-mb 默认也设置为 -1。我可以看到每个节点的内存都是空闲的，UI 显示 Phys Mem Used 仅为 14%。但是，Mem Avail 是 0 B，我不知道它是什么以及如何增加它。
解决方法
我找到了答案！
它等于 yarn.nodemanager.resource.memory-mb，这是 YARN 可以在给定 节点 上的 a 上使用的总内存量。根据您计划处理的数据量，您可能需要在 yarn-site.xml 内将其设置得更高。
这个配置的默认值是 8GB，尽管使用 getconf 命令你会看到 -1 这并不意味着系统的总内存。
之前：
$ hdfs getconf -confKey yarn.nodemanager.resource.memory-mb
-1
在 yarn-site.xml 中设置后：
$ hdfs getconf -confKey yarn.nodemanager.resource.memory-mb
40960
结果：
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
