微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

kafka Leader skew:在集群中添加新的broker并重新分配partition后,kafka brokers的leader出现偏斜

如何解决kafka Leader skew:在集群中添加新的broker并重新分配partition后,kafka brokers的leader出现偏斜

我有一个包含 3 个 zookeeper 节点和 4 个 Kafka 节点的 Kafka 集群。 我向分区添加了 2 个新代理。配置 auto.leader.rebalance.enable 在所有代理上设置为 true,leader.imbalance.check.interval.secondsleader.imbalance.per.broker.percentage 具有认值。

为了在所有代理之间分配分区,我生成并重新分配了分区。但这一代人并没有在所有经纪商中产生平衡的领导力。

两个旧的broker作为3个分区的leader,2个新broker作为一个partition的leader

重新分配后的分区分配:

enter image description here

这是通过运行 ./kafka-preferred-replica-election 命令解决的。

为什么 auto.leader.rebalance.enable 设置为 true 后没有自动触发重新平衡。

另外,为什么 ./kafka-reassign-partition.sh -generate 会产生偏斜的分区分配?

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。