如何解决Spark-yarn客户端模式下的ApplicationMaster如何工作？
我对火花很陌生。目前我正在寻找 Spark 代码以更好地了解它的工作原理。
据我所知，在 Spark Client 模式下，org.apache.spark.deploy.SparkSubmit 类在此代码中启动由 org.apache.spark.deploy.JavaMainApplication 包装的用户类（如果我的类没有扩展 SparkApplication）
val app: SparkApplication = if (classOf[SparkApplication].isAssignableFrom(mainClass)) {
mainClass.getConstructor().newInstance().asInstanceOf[SparkApplication]
} else {
new JavaMainApplication(mainClass) //Here my class will be ran by this
}
...
app.start(childArgs.toArray,sparkConf)
但用户应用程序没有任何启动 ApplicationMaster 逻辑。如果我的类没有实现 org.apache.spark.deploy.SparkApplication，我不明白 ApplicationMaster 如何在客户端模式下运行。
我发现的一件事是 spark yarn 包中有 org.apache.spark.deploy.yarn.ExecutorLauncher，但我不知道如果用户不扩展 SparkApplication，它是如何运行的。
解决方法
我设法弄清楚它是如何工作的。 TaskScheduler 初始化时在 SparkContext 中初始化
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
