### Kafka 數據處理流程 1. **生產者（Producer）發送消息**： * 生產者創建消息并將其發送到Kafka集群中的一個或多個主題。 * 生產者可以指定消息的鍵（key），Kafka會根據鍵進行分區選擇，如果不指定鍵，則使用輪詢（Round Robin）方式進行分區選擇。 * 生產者通過配置`acks`參數來確定消息發送的確認級別：`acks=0`（不等待確認）、`acks=1`（等待Leader確認）、`acks=all`（等待所有ISR副本確認）。 2. **消息寫入分區**： * 消息被寫入指定主題的分區。每個分區都有一個Leader副本和多個Follower副本。 * Leader副本接收到消息后，會異步地將消息復制到Follower副本。 3. **消息存儲在日志中**： * 每個分區在物理上對應一個日志文件（log file），消息以追加的方式寫入日志文件。 * 每條消息都有一個唯一的偏移量（offset），偏移量在日志中是遞增的，確保消息的順序性。 4. **消費者（Consumer）讀取消息**： * 消費者訂閱一個或多個主題，并從相應的分區讀取消息。 * 消費者通過維護每個分區的偏移量來追蹤已處理的消息。Kafka會將消費者的偏移量存儲在內部主題`__consumer_offsets`中。 5. **處理消息**： * 消費者處理讀取到的消息，根據業務邏輯進行相應的操作。 * 消費者可以配置自動提交（auto commit）偏移量或手動提交偏移量，以確保消息處理的準確性。