如何解决我是否将 spark.default.parallelism 设置得太低？
在 EMR 上运行输入为 5.5TB 的 Spark 作业，获得 java.io.IOException: Connection reset by peer
集群详细信息：
- 主：1x m4.large（以集群模式运行）
- 核心：15x r5.12xlarge
Spark 环境变量设置：
- spark.executor.cores: 5
- spark.driver.cores：5
- spark.executor.memory：37g
- spark.driver.memory：37g
- spark.executor.memoryOverhead：5g
- spark.default.parallelism：2680
- spark.sql.shuffle.partitions：2680
- spark.executor.extrajavaoptions: -XX:+UseG1GC
- spark.serializer：org.apache.spark.serializer.KryoSerializer
shuffle 后第一阶段作业失败，这是 Ganglia 的截图。注意：利用率下降匹配失败阶段开始时，作业失败并在 13:17 重新启动：
我的问题：
这个失败是不是spark.default.parallelism设置太低导致的？
我看到前一个stage的shuffle write是11.3TB，失败的stage有8040个任务，是不是意味着新stage的每个partition的重量是11.3TB/8040？
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
