* **日志文件結構**： * Kafka中的每個分區對應一個日志目錄，目錄下包含多個日志段文件（log segment files）。 * 日志段文件是固定大小的，當一個日志段文件達到預定大小時，Kafka會創建一個新的日志段文件。 * 每個日志段文件包含一系列消息記錄，這些記錄按順序追加到文件中。 * **日志索引文件**： * 為了快速查找消息，每個日志段文件有一個對應的索引文件（index file）。 * 索引文件記錄了消息偏移量和在日志段文件中的物理位置。 * 通過索引文件，Kafka可以快速定位和讀取指定偏移量的消息。 * **數據復制**： * 每個分區有一個Leader副本和多個Follower副本，Leader副本負責處理所有的讀寫請求。 * Follower副本通過異步復制機制，從Leader副本獲取消息副本，確保數據的高可用性和冗余性。 * **日志清理（Log Cleanup）**： * Kafka支持兩種日志清理策略：基于時間的日志清理和基于大小的日志清理。 * **日志壓縮（Log Compaction）**：對于啟用日志壓縮的主題，Kafka會定期進行日志壓縮，保留每個鍵的最新值，刪除舊的、過時的消息。 * **日志刪除（Log Deletion）**：Kafka會定期刪除超過保留期限的日志段文件，釋放磁盤空間。 * **分區恢復**： * 當一個分區的Leader副本故障時，Kafka會從ISR（同步副本集合）中選舉新的Leader，確保數據的高可用性。 * 新的Leader會從其他副本中同步數據，確保日志的一致性和完整性。