微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

KafkaStreams在分区领导者重新平衡后停止消耗分区

如何解决KafkaStreams在分区领导者重新平衡后停止消耗分区

我们已经试验了一个可能由参数auto.leader.rebalance.enable引起的问题,该参数在代理程序上认设置为true。

详细地,当发生自动重新平衡时,例如在代理重新启动之后,某些分区领导者将被移动以匹配首选领导者。 事件发生后,某些状态良好的Kafka Streams应用程序会在源分区上阻塞,这些分区的领导者已被移走,使用者的滞后开始增大。

这是一个已知问题吗?为什么应用程序没有收到有关更换领导者的信息?

在我们需要执行经纪人的滚动重启时发现的战术解决方案是:

  1. 停止有状态应用程序
  2. 执行经纪人滚动重启。
  3. 等待5分钟(认值),直到领导者自动重新平衡
  4. 启动有状态应用程序。

我们正在使用Confluent Platform Community 5.2.2,它部署在企业集群的3个节点上。

我们正在尝试重新创建测试环境中发生的事情,但没有成功。是否有可能受到集群负载的影响,而在测试中要低得多?

预先感谢! 乔治

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。