# Kafka 只是消息引擎么?
## 設計之初的特性
* 提供一套 API 實現生產者和消費者
* 降低網絡傳輸和磁盤存儲開銷
* 實現高伸縮性架構
## 分布式流處理平臺
* Kafka 是消息引擎系統,也是一個分布式流處理平臺(Distributed Streaming Platform)
* LinkedIn 最開始有強烈的數據強實時處理需求
* Kafka Streams
* 優勢
* 更容易實現端到端的正確性(Correctness)
* 要實現正確性和提供能夠推導時間的工具
* 實現正確性是流處理能夠匹敵批處理的基石
* Exactly once
* 實現正確性的基石:框架能夠提供精確的一次處理語義(exactly once)
* 只能實現框架內的精確一次處理語義,而無法實現端到端的
* 端到端:當網絡有問題,上游 producer 重新發送時,此時 Kafka 已經接收了 record,會導致再接收一次 record,因此非 exactly once
* 定位
* 搭建實時流處理的客戶端酷,而非完整功能系統
## 分布式存儲系統
* 略
- 概覽
- 入門
- 1. 消息引擎系統
- 2. Kafka 術語
- 3. 分布式流處理平臺
- 4. Kafka “發行版”
- 5. Kafka 版本號
- 基本使用
- 6. 生產集群部署
- 7. 集群參數配置
- 客戶端實踐與原理
- 9. Consumer 分區機制
- 10. Consumer 壓縮算法
- 11. 無消息丟失配置
- 12. 客戶端高級功能
- 13. Producer 管理 TCP
- 14. 冪等生產者和事務生產者
- 15. 消費者組
- 16. 位移主題
- 17. 消費者組重平衡(TODO)
- 18. 位移提交
- 19. CommitFailedException
- 20. 多線程開發者實例
- 21. Consumer 管理 TCP
- 22. 消費者組消費進度監控
- Kafka 內核
- 23. 副本機制
- 24. 請求處理
- 25. Rebalance 全流程
- 26. Kafka 控制器
- 27. 高水位和 Leader Epoch
- 管理與監控
- 28. Topic 管理
- 29. Kafka 動態配置
- 30. 重設消費者組位移
- 31. 工具腳本
- 32. KafkaAdminClient
- 33. 認證機制
- 34. 云下授權
- 35. 跨集群備份 MirrorMaker
- 36. 監控 Kafka
- 37. Kafka 監控框架
- 38. 調優 Kafka
- 39. 實時日志流處理平臺
- 流處理
- 40. Kafka Streams
- 41. Kafka Streams DSL
- 42. Kafka Streams 金融
- Q&A