如何解决带有纱线群集模式的Airflow SparkSubmitOperator无法跟踪应用程序状态
我开始阅读有关如何使用Airflow运行Spark批处理作业的信息。
我已经尝试在本地使用SparkSubmitOperator,并且工作正常。但是,如果可以在群集模式下使用它,我需要一个建议。
我在群集模式下使用时看到的唯一问题是,无法跟踪应用程序状态,请参阅下面的链接共享:
https://albertusk95.github.io/posts/2019/12/airflow-tracks-spark-driver-status-cluster-deployment/
请建议是否有人尝试使用此运算符并在群集模式下工作良好,或者使用它时是否有任何问题。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。