Kafka 消费组 Rebalance机制-kafka入门-利志分享

Kafka 消费组 Rebalance机制

阅读：504 分享次数：0

**1：什么是 Rebalance**
Rebalance 本质上是一种协议，规定了一个 Consumer Group 下的所有 consumer 如何达成一致，来分配订阅 Topic 的每个分区。
例如：某 Group 下有 20 个 consumer 实例，它订阅了一个具有 100 个 partition 的 Topic 。正常情况下，kafka 会为每个 Consumer 平均的分配 5 个分区。这个分配的过程就是 Rebalance。

**2：Rebalance触发的机制**
1. 有新的消费者加入消费组
2. 有消费者宕机下线。消费者不一定需要真正下线，例如遇到长时间的GC，网络延迟导致消费者长时间未向GroupCoordinator发送心跳等情况，GroupCoordinator会认为消费者已经下线。
3. 消费者组所对应的GroupCoordinator节点发送变更。
4. 消费组内所订阅的任一主题数量或者主题的分区数量发生变化。

**3：Rebalance触发引发的问题**
1. 引发消费数据重复消费问题
当消费者正在消费数据，这个时候多了个消费者，消费数据会被暂停，这个时候offset可能没被提交，但是这批数据在rebalance之后会被重新消费，造成数据可能被重新消费。

**4：Rebalance 过程分析**
1. Rebalance 过程分为两步：Join 和 Sync。

- Join 顾名思义就是加入组。这一步中，所有成员都向coordinator发送JoinGroup请求，请求加入消费组。一旦所有成员都发送了JoinGroup请求，coordinator会从中选择一个consumer担任leader的角色，并把组成员信息以及订阅信息发给leader——注意leader和coordinator不是一个概念。leader负责消费分配方案的制定。

- Sync，这一步leader开始分配消费方案，即哪个consumer负责消费哪些topic的哪些partition。一旦完成分配，leader会将这个方案封装进SyncGroup请求中发给coordinator，非leader也会发SyncGroup请求，只是内容为空。coordinator接收到分配方案之后会把方案塞进SyncGroup的response中发给各个consumer。这样组内的所有成员就都知道自己应该消费哪些分区了。

感觉本站内容不错，读后有收获？

我要小额打赏，鼓励作者写出更好的教程

扫码关注公众号：talk_lizhi