如何解决Spark结构化流作业停留了数小时而没有被杀死
我有一个结构化的流作业，该作业从kafka读取，执行聚合并写入hdfs。作业在纱线中以群集模式运行。我正在使用spark2.4。 每2-3天，此工作就会卡住。它不会失败，但是会卡在某些微批处理中。微型批次甚至都不会启动。驱动程序会连续几个小时继续打印以下日志。
Got an error when resolving hostNames. Falling back to /default-rack for all.
当我终止流作业并重新开始时，该作业再次开始正常运行。 该如何解决？
解决方法
查看此问题https://issues.apache.org/jira/browse/SPARK-28005 这已在spark 3.0中修复。似乎发生这种情况是因为没有活动的执行程序。
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
