Kafka 消费者再次收到相同的消息

如何解决Kafka 消费者再次收到相同的消息

我有一个包含 30 个实例的 golang 服务。有一个包含 3 个分区的主题和一个监听消息的消费者组。我们面临的问题是每条消息都被同一个消费者一次又一次地接收，间隔为 24-30 小时。 我已经确认消息被推送到主题一次，甚至每次消息都是相同的，但是消息是在不同的时间间隔被接收的，例如：

• 2021 年 6 月 2 日，12:59:29.555
• 2021 年 6 月 3 日，20:33:11.438
• 2021 年 6 月 5 日，12:08:40.710
• 2021 年 6 月 6 日，12:34:39.188

有人可以帮忙解决可能是什么问题。谢谢

解决方法

1. 您不需要从 3 个分区消耗 30 个实例。因为消费者实例之间不共享分区。因此，如果您的主题有 3 个分区，则您的消费者实例的最大数量应为 3。

2. 如果您的消费者在消费后未提交读取消息，则可能会发生重新消费。查看消费者提交间隔和启用或禁用自动提交。如果您消费的消息没有提交，那么在消费者发生重新平衡后，这些消息可以重新消费。