# Kafka Streams
> Streaming System 的定義:處理無限數據集的數據處理引擎。
Lambda 架構
* 利用流處理快速地給出不那么精確的結果
* 依托于批處理,最終實現數據一致性
正確性
* 目前難以實現正確性是流處理取代批處理的最大障礙。
* 實現正確性的基石:Exactly Once Semantics(EOS)
微批化 Microbatch
* 重復地執行批處理引擎來實現對無限數據集的處理。典型的微批化實現平臺就是 Spark Streaming。
## Features
* Kafka Streams:Java Client Library
## Kafka Streams 與其他 Streaming Framework 差異
### 應用部署
Kafka Streams
* 需要 RD 自行打包和部署
* 可以嵌入到 Java 應用中
* 需要自行管理 Kafka Streams 應用的生命周期
其他 Framework
* 存在資源管理器(Resource Manager)
* e.g. K8s、YARN、Mesos
### 上下游數據源
Kafka Streams
* 只支持從 Kafka 中讀寫
其他框架
* 擁有更豐富的 Connector
### 協調方式
Kafka Streams
* 依賴 Kafka 集群提供的協調功能,來提供高容錯性和高伸縮性
* Kafka Streams 應用底層使用了 Consumer Group 機制來實現任意的流處理擴縮容
### 消息語義保障
- 概覽
- 入門
- 1. 消息引擎系統
- 2. Kafka 術語
- 3. 分布式流處理平臺
- 4. Kafka “發行版”
- 5. Kafka 版本號
- 基本使用
- 6. 生產集群部署
- 7. 集群參數配置
- 客戶端實踐與原理
- 9. Consumer 分區機制
- 10. Consumer 壓縮算法
- 11. 無消息丟失配置
- 12. 客戶端高級功能
- 13. Producer 管理 TCP
- 14. 冪等生產者和事務生產者
- 15. 消費者組
- 16. 位移主題
- 17. 消費者組重平衡(TODO)
- 18. 位移提交
- 19. CommitFailedException
- 20. 多線程開發者實例
- 21. Consumer 管理 TCP
- 22. 消費者組消費進度監控
- Kafka 內核
- 23. 副本機制
- 24. 請求處理
- 25. Rebalance 全流程
- 26. Kafka 控制器
- 27. 高水位和 Leader Epoch
- 管理與監控
- 28. Topic 管理
- 29. Kafka 動態配置
- 30. 重設消費者組位移
- 31. 工具腳本
- 32. KafkaAdminClient
- 33. 認證機制
- 34. 云下授權
- 35. 跨集群備份 MirrorMaker
- 36. 監控 Kafka
- 37. Kafka 監控框架
- 38. 調優 Kafka
- 39. 實時日志流處理平臺
- 流處理
- 40. Kafka Streams
- 41. Kafka Streams DSL
- 42. Kafka Streams 金融
- Q&A