**Kafka的重平衡（Rebalance）**過程是指當消費者組中的成員（消費者實例）發生變化時，Kafka協調器會重新分配分區給消費者，以確保負載均衡。重平衡通常在以下幾種情況下發生： 1. **新消費者加入消費者組**：需要為新加入的消費者分配分區。 2. **已有消費者離開消費者組**：需要重新分配離開的消費者所負責的分區。 3. **分區數目發生變化**：需要重新分配分區。 重平衡的過程和底層原理如下： ### 1\. 觸發重平衡 當消費者組中的成員發生變化時，Kafka協調器會檢測到這一變化，并開始觸發重平衡過程。協調器通常是消費者組中的一個消費者實例，被選舉為組協調器（Group Coordinator）。 ### 2\. 停止消費 在重平衡過程中，所有消費者實例會暫時停止消費消息。每個消費者實例會向協調器發送`LeaveGroup`請求，以表示它準備好進行重平衡。 ### 3\. 分配分區 協調器會根據當前的消費者組成員和分區數目，選擇一個消費者實例作為組領導者（Group Leader）。組領導者負責執行實際的分區分配策略。 ### 4\. 分配策略 組領導者會應用特定的分配策略（如`RangeAssignor`、`RoundRobinAssignor`或`StickyAssignor`等）來重新分配分區。分配策略會根據當前的消費者和分區情況，計算出一個新的分配方案。 ### 5\. 更新分配方案 組領導者將新的分配方案發送給協調器。協調器會更新每個消費者實例的分配信息，并通知所有消費者實例新的分配結果。 ### 6\. 重新消費 所有消費者實例收到新的分配信息后，會開始重新消費各自負責的分區中的消息。 ### 底層原理 * **心跳機制**：消費者實例通過定期向協調器發送心跳（`Heartbeat`）來保持自己的活躍狀態。如果協調器在一定時間內未收到某個消費者實例的心跳，則認為該實例已失效，并觸發重平衡。 * **組協調器**：每個消費者組都有一個組協調器，負責管理該組的成員信息和重平衡過程。組協調器通常是Kafka集群中的一個Broker。 * **分配策略**：Kafka提供了多種分區分配策略，可以根據不同的需求選擇合適的策略。常用的策略包括： * `RangeAssignor`：按范圍分配，每個消費者實例分配到一組連續的分區。 * `RoundRobinAssignor`：按輪詢方式分配，確保分區盡可能均勻地分配給所有消費者實例。 * `StickyAssignor`：盡可能保持之前的分配結果不變，減少重平衡帶來的數據重新消費問題。 通過上述過程和機制，Kafka確保了消費者組在成員變化時能夠高效地重新分配分區，并保持消息消費的連續性和負載均衡。