如何解决运行 MR/TEZ/SPARK 作业的纱线 ui 中的队列百分比和集群差异百分比
在调试 TEZ/SPARK/MR 作业时,我可以在 YARN UI 中看到以下作业详细信息。
有没有人帮我处理 % 的队列和 % 的集群统计数据,因为它显示了 1815% 的使用率?
解决方法
% of cluster is stat,它告诉你你的工作从集群中占用了多少资源。
% 的队列告诉您,您的查询占用了多少绝对配置容量。
示例:
您的集群有 1000GB 的内存和两个队列。 QueueA 的绝对配置容量为 1%,最大容量为 100%。 QueueB 的绝对配置容量为 99%,最大容量为 100%。
如果您在 queueA 中运行查询,您可以保证获得至少 10GB 的内存,但根据集群负载,您可以获得最多 1000GB 的内存。
这意味着当您在 queueA 中运行查询并获得 20GB 内存时,您将使用队列的 200%,但使用集群的 2%。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。