微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

为什么 AWS EMR EC2 实例的默认 spark.yarn.executor.memoryOverhead 设置为 18.75%

如何解决为什么 AWS EMR EC2 实例的默认 spark.yarn.executor.memoryOverhead 设置为 18.75%

Spark 执行器的 Amazon EMR 认内存限制
使用 EMR 版本 5.22 中引入的 Spark on YARN 配置选项:spark.yarn.executor.memoryOverheadFactor 并认为 0.1875(spark.yarn.executor.memoryOverhead 设置的 18.75%)

https://ec2spotworkshops.com/running_spark_apps_with_emr_on_spot_instances/right_sizing_executors.html

spark.executor.memoryOverhead = executorMemory * 0.10,最小为 384
https://spark.apache.org/docs/latest/configuration.html

谁能解释为什么 AWS EMR 实例的认开销为 18.75%,但在 spark 文档中认为 10%?
关于为什么认为 18.75% 的任何特殊原因??

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。