如何解决KAFKA-STREAM ：当偏移量不再存在时卡夫卡流卡住
我也在 kafka Jira 上描述了这个问题： https://issues.apache.org/jira/browse/KAFKA-13014
我们有具有多个实例和线程的 kafka-stream。
这个 kafka-stream 消耗了很多主题。
修复问题后，kafka-stream 试图从不再存在的偏移量中消费：
Kafka-consumer-group 描述：
我们可以看到 KS 正在等待的当前偏移量为 59754934，但该分区的新第一个偏移量为 264896001。
Kafka-stream 不抛出任何异常的问题
这是我看到的唯一日志
08:44:53.924 [talaria-data-mixed-prod-c3d6ac16-516c-49ee-a34e-bde5f3f629dc-StreamThread-2] 信息 OakcciConsumerCoordinator - [消费者客户端 ID=talaria-data-mixed-16c6c3c3 -49ee-a34e-bde5f3f629dc-StreamThread-2-consumer,groupId=talaria-data-mixed-prod] 使用 08:44:53.924 更新分配 [talaria-data-mixed-prod-c3d6ac16-516c-49ee-a33e-Thread62Stream -2] INFO OakcciConsumerCoordinator - [Consumer clientId=talaria-data-mixed-prod-c3d6ac16-516c-49ee-a34e-bde5f3f629dc-StreamThread-2-consumer,groupId=talaria-data-mixed-prod] 使用已分配的更新分区分配：[adm__article_ean_repartition_v3-10，adm__article_itm_repartition_v3-10，adm__article_sign_repartition_v3-10，adm__article_stock_repartition_v3-10]当前拥有的分区：[adm__article_ean_repartition_v3-10，adm__article_itm_repartition_v3-10，adm__article_sign_repartition_v3-10，adm__article_stock_repartition_v3-10]增加分区（转让 - 拥有）： [] 撤销的分区（拥有 - 分配）： [] 08:44:53.924 [talaria-data-mixed-prod-c3d6ac16-516c-49ee-a34e-bde5f3f629dc-StreamThread-2] INFO ConsumerCoordinaer =talaria-data-mixed-prod-c3d6ac16-516c-49ee-a34e-bde5f3f629dc-StreamThread-2-consumer,groupId=talaria-data-mixed-prod] 通知转让人有关新的分配（partitions=[adm__article_stock_repartition_sign_v3_v3- -10,adm__article_itm_repartition_v3-10,adm__article_ean_repartition_v3-10],userDataSize=398)08:44:53.924 [talaria-data-mixed-prod-c3d6ac16-516c-49ee-a34e-Threadspi25-StreamPart StreamAspide-Stream线程 [talaria-data-mixed-prod-c3d6ac16-516c-49ee-a34e-bde5f3f629dc-StreamThread-2-consumer] 未请求后续重新平衡，重置重新平衡计划。08:44:53.924 [talaria-data-mixed-prod -c3d6ac16-516c-49ee-a34e-bde5f3f629dc-StreamThread-2] 信息 Oakspinternals.TaskManager - stream-t hread [talaria-data-mixed-prod-c3d6ac16-516c-49ee-a34e-bde5f3f629dc-StreamThread-2] 处理新分配：新活动任务：[0_10] 新备用任务：[0_17,0_21] 现有活动任务：[ 0_10] 现有的备用任务：[0_17,0_21]08:44:53.924 [talaria-data-mixed-prod-c3d6ac16-516c-49ee-a34e-bde5f3f629dc-StreamThread-2] INFO oakcciConsumerDataCoordinaerId -mixed-prod-c3d6ac16-516c-49ee-a34e-bde5f3f629dc-StreamThread-2-consumer,groupId=talaria-data-mixed-prod] 添加新分配的分区：
PI：版本代理 kafka：5.3.4-ccs
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
