如何解决Spark k8s 驱动程序失败而没有任何特定错误
我正在尝试在 k8s 上运行一个 Spark 应用程序，但它在容器创建后立即失败。没有具体错误。我只看到错误代码 101
Container name: spark-kubernetes-driver
Container image: image URL
Container state: Terminated
Exit code: 101
Driver logs
+ CMD=("$SPARK_HOME/bin/spark-submit" --conf "spark.driver.bindAddress=$SPARK_DRIVER_BIND_ADDRESS" --deploy-mode client "$@")
+ exec /usr/bin/tini -s -- /opt/spark/bin/spark-submit --conf spark.driver.bindAddress=10.1.0.10 --deploy-mode client --properties-file /opt/spark/conf/spark.properties --class $className spark-internal args
Spark 提交命令
`bin/spark-submit --class $className
--master k8s://https://kubernetes.docker.internal:6443
--deploy-mode cluster
--name app-job
--conf spark.kubernetes.authenticate.submission.oauthToken=$(kubectl get secret $(kubectl describe serviceaccount spark-sa --namespace=pipelines | grep Token | awk '{print $2}') -o jsonpath="{.data.token}" | base64 --decode)
--conf spark.kubernetes.docker.image.pullPolicy=Always
--conf spark.kubernetes.authenticate.driver.serviceAccountName=spark-sa
--conf spark.executor.instances=2
--conf spark.kubernetes.namespace=pipelines
--conf spark.kubernetes.executor.container.image=$imageURL
--conf spark.network.timeout=500
--conf spark.metrics.namespace=app-job
--conf spark.kubernetes.driver.container.image=$imageURL $JARURL 10000`
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
