如何解决2.4客户端指向1.6历史记录服务器的spark-submit
我的hdp v2.6.4配置了默认的spark 1.6客户端和历史记录服务器。我可以在纱线模式下从v2.4客户端运行spark-submit。当作业仍在运行时，我可以从yarn Application链接打开spark UI。但无法从历史记录服务器网址中打开作业，
我看到spark确实在历史服务器上用加密的作业内容创建了一个文件夹，但是当我从UI中打开它时，它没有显示任何作业详细信息，只在executors选项卡中显示了一些信息。
任何人都知道如何使其与历史记录服务器的不同版本一起使用吗？ 这是我的朋友
spark.history.fs.logDirectory hdfs:///spark-history
spark.history.provider org.apache.spark.deploy.history.FsHistoryProvider
spark.yarn.historyServer.address <server>:18080
spark.history.ui.port 18080
spark.yarn.historyServer.allowTracking true
spark.eventLog.enabled true
spark.eventLog.dir hdfs:///spark-history
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
