# Kafka 高水位和 Leader Epoch 機制 * 高水位（High Watermark） * Leader Epoch：Kafka V0.11 推出 ## 高水位 * 水位 * 用于流式處理領域 * 經典定義：在時刻 T，任意創建時間（Event Time）為T‘，且 T‘ <= T 的所有事件都到達或被觀測到，那么 T 被定義為水位 * Streaming System 定義：水位是一個單調增加且表征最早未完成工作（oldest work not yet completed）的時間戳  * Completed：已完成工作 * In-Flight：正在進行中的工作 * 兩者邊界就是水位線 Kafka 中水位概念不同 * Kafka 的水位不是時間戳，與時間無關，其和位置信息綁定 * i.e. 用消息位移表征水位 * Kafka 中的表述為`高水位` * Kafka 中也有低水位（Low Watermark）：與 Kafka 刪除消息相關聯的概念 ## 高水位的作用 * 定義消息可見性，即用來標識分區下的哪些消息是可以被消費者消費的 * 幫助 Kafka 完成副本同步  * 上圖：某個 Partition Leader 副本的高水位圖 * 分區高水位以下的消息：已提交消息；反之：未提交消息 * 消費者只能消費已提交消息 * Kafka 事務機制會影響消費者看到的消息范圍 * 依賴高水位判斷 * 依賴 LSO（Log Stable Offset）的 offset 判斷事務型消費者的可見性 * offset 等于高水位的消息也屬于未提交消息，i.e. 高水位上的消息是不能被消費者消費的 * LEO（Log End Offset）：日志末端位移 * 副本寫入下一條消息的 offset * 數字 15 所在的方框是虛線，i.e. 這個副本當前只有 15 條消息（0-14），下一條新消息的 offset 是 15 * 介于高水位和 LEO 之間的消息屬于未提交消息 * 同一個副本對象，其高水位值不會大于 LEO 值 * 高水位和 LEO 是副本對象的兩個重要屬性 * 分區的高水位就是其 Leader 副本的高水位 ## 高水位更新機制