微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

由于AM容器问题,Spark提交失败

如何解决由于AM容器问题,Spark提交失败

我正在阅读一个视图,并使用scala进行了一些转换。但是在运行该作业时,此作业经常失败,但以下情况除外

由于退出了appattempt_1599674636141_9830_000001的AM容器且退出代码为0,应用程序application_1599674636141_9830失败了1次(全局限制= 2;本地限制= 1)

火花提交命令

spark-submit --class xx.xx.Class --master yarn --deploy-mode cluster \
 --conf spark.sql.sources.partitionOverwriteMode=dynamic \
 --conf spark.yarn.maxAppAttempts=1 --num-executors 300 --executor-cores 4 --executor-memory 12G --driver-memory=20G --name=workflow_1 \
 --conf spark.sql.shuffle.partitions=800 --conf spark.serializer=org.apache.spark.serializer.KryoSerializer /path/to/my/jar.jar

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。