如何解决如何在独立的 Spark 集群中恢复死去的工人
我有一个独立的 Spark 集群,由一个主节点和两个工作节点组成,每个工作节点有 4 个内核和 4 GB 内存。 这两个工人在两台不同的机器上。我在客户端模式下使用 spark-submit 提交我的 spark 应用程序 jar。我的问题如下:在此配置中,如果在应用程序执行期间工作人员应该进入死状态(例如由于连接被拒绝),是否可以告诉 spark 恢复在执行期间丢失的工作人员?目前,如果工作人员进入死状态,它不仅会保持该状态直到特定应用程序的执行结束,而且还会在执行新应用程序的情况下保持该状态。要恢复处于死状态的工人,我必须转到相应的机器并运行(从终端)命令
start-slave.sh spark://master-ip: 7077
是否可以不通过手动命令而是通过自动程序来检索工人? 感谢任何想回答的人!
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。