微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

Spark历史记录服务器无法立即加载作业,大约有20-30分钟的延迟

如何解决Spark历史记录服务器无法立即加载作业,大约有20-30分钟的延迟

在我们的CDH 6.2集群中,Spark History服务器(Spark 2.4.0)不会在作业完成后立即加载/显示作业。它只是在大约20-30分钟后才显示出来,有时还需要1个小时(我无法获得确切的行为)。

完成后,我们是否可以进行任何设置/配置以立即在Spark History服务器中查看该作业(因为作业完成后,YARN仅指向History链接,如果转到历史服务器,则表明未找到应用程序)?

提前谢谢!

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。