Kafka重平衡机制深度剖析

Rebalance定义： 消费者组内成员变更时（加入/离开/崩溃），分区所有权重新分配的过程。

触发条件：

1. 新消费者加入组
2. 消费者主动离开组（Close/Unsubscribe）
3. 消费者崩溃（心跳超时）
4. 分区数量变更（增加分区）
5. 订阅Topic的正则表达式匹配到新Topic

完整过程（Eager Rebalance-旧/Cooperative Rebalance-新）：

旧版（Eager Rebalance）：

1. Stop The World：所有消费者停止消费，撤销所有分区
2. JoinGroup请求：消费者向Group Coordinator发送JoinGroup
3. Leader选举：第一个发送请求的消费者成为Leader
4. 分区分配：Leader根据分配策略（Range/RoundRobin/Sticky）分配分区
5. SyncGroup：Leader将分配方案发送给Coordinator，Coordinator分发给所有成员
6. 恢复消费：消费者在新分区上开始消费

新版（Cooperative Rebalance，Kafka 2.4+）：

• 分两阶段：先暂停部分分区做重新分配，不需要全部停止
• 更少的完全停顿

减少Rebalance影响：

1. 调大session.timeout.ms（默认45s），减少误判
2. 调大heartbeat.interval.ms（默认3s），保持活跃
3. 减少max.poll.interval.ms（默认5min），避免处理超时被踢出组
4. 使用Static Group Membership（group.instance.id），重启不触发Rebalance
5. 使用Cooperative Rebalance协议

建议： 生产环境应用Static Membership + Cooperative Rebalance组合。