微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

Spark流作业的内存分配

如何解决Spark流作业的内存分配

我正在使用dataproc进行Spark流媒体作业。群集配置就像1个主节点和4个工作节点>事项-> 2个vcore和7.5 GB内存工作人员-> 8个vcore和64 GB每个节点的内存>我正在集群模式下提交spark作业并使用16个执行器,每个执行器具有11000m的内存在这里群集使我可以使用256 GB中的192 GB(包括开销)的内存。所以我的问题是64GB的使用位置,如果我想使用该64GB的内存这样做吗?最小分配为1024 mb,最大分配为49152 mb。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。