微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

从Kafka读取Spark作业,单个分区重置为“ 0”

如何解决从Kafka读取Spark作业,单个分区重置为“ 0”

我有一个Spark结构化流作业,该作业从具有50个分区的Kafka主题中读取。重批之一。在第一次尝试中,分区30以正确的偏移值开始和结束,该偏移值在这种情况下当然不会改变。

在重试中,分区30(只有30)从第一次尝试停止的地方开始,但是批处理以偏移量为'0'结束。随后的批次显示分区30正在重放其所有记录,直到被追上为止。

任何想法可能是什么原因造成的?我不确定为什么也要重试该特定批次。任何帮助表示赞赏。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。