[https://juejin.cn/post/6898925796971249678](https://juejin.cn/post/6898925796971249678) **一、Kafka優點** * 延遲：kafka每秒可以處理幾十萬條消息，它的延遲最低只有幾毫秒，每個topic可以分多個partition, consumer group 對partition進行consume操作。 * 可擴展性：kafka集群支持熱擴展 * 持久性、可靠性：消息被持久化到本地磁盤，并且支持數據備份防止數據丟失 * 容錯性：允許集群中節點失敗（若副本數量為n,則允許n-1個節點失敗） * 高并發：支持數千個客戶端同時讀寫 **二、名詞解釋** * **Broker**：Kafka節點，一個Kafka節點就是一個broker，多個broker可以組成一個Kafka集群。 * **Topic**：一類消息，消息存放的目錄即主題，例如page view日志、click日志等都可以以topic的形式存在，Kafka集群能夠同時負責多個topic的分發。 * **massage**： Kafka中最基本的傳遞對象。 * **Partition**：topic物理上的分組，一個topic可以分為多個partition，每個partition是一個有序的隊列。 * **Segment**：partition物理上由多個segment組成，每個Segment存著message信息。 * **Producer :** 生產者，生產message發送到topic。 * **Consumer :** 消費者，訂閱topic并消費message, consumer作為一個線程來消費。 * **Consumer Group**：消費者組，一個Consumer Group包含多個consumer。 * **Offset**：偏移量，理解為消息partition中的索引即可 **三、存儲策略** ***** * kafka以topic來進行消息管理，每個topic包含多個partition，每個partition對應一個邏輯log，有多個segment組成。 * 每個segment中存儲多條消息（見下圖），消息id由其邏輯位置決定，即從消息id可直接定位到消息的存儲位置，避免id到位置的額外映射。 * 每個part在內存中對應一個index，記錄每個segment中的第一條消息偏移。 * 發布者發到某個topic的消息會被均勻的分布到多個partition上（或根據用戶指定的路由規則進行分布），broker收到發布消息往對應partition的最后一個segment上添加該消息，當某個segment上的消息條數達到配置值或消息發布時間超過閾值時，segment上的消息會被flush到磁盤，只有flush到磁盤上的消息訂閱者才能訂閱到，segment達到一定的大小后將不會再往該segment寫數據，broker會創建新的segment。