如何解决为什么 AWS EMR EC2 实例的默认 spark.yarn.executor.memoryOverhead 设置为 18.75%
Spark 执行器的 Amazon EMR 默认内存限制
使用 EMR 版本 5.22 中引入的 Spark on YARN 配置选项:spark.yarn.executor.memoryOverheadFactor 并默认为 0.1875(spark.yarn.executor.memoryOverhead 设置的 18.75%)
spark.executor.memoryOverhead = executorMemory * 0.10,最小为 384
https://spark.apache.org/docs/latest/configuration.html
谁能解释为什么 AWS EMR 实例的默认开销为 18.75%,但在 spark 文档中默认为 10%?
关于为什么默认为 18.75% 的任何特殊原因??
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。