## 簡介 本專欄主要是面向kafka開發者，介紹kafka的概念、架構、核心原理，并重點介紹開發方法。 特點是：**系統化、完整的向讀者介紹面向kafka的開發體系！** 直播課以及錄播課，都基于[嗶哩嗶哩](https://space.bilibili.com/436492104)進行中，視頻都是免費的，而且制作精良哦！ 大家可以看看課程的ppt（隨視頻錄制逐漸添加）：http://zimug.com/ppt-kafka/index.html ，用心不？ ## 加微信群 加我個人微信，我會拉入技術交流群，也可以與我個人進行技術交流！  ## 內容簡介 * 第一章 kafka基礎入門：主要向開發者介紹什么是消息隊列？以及什么場景下使用消息隊列？介紹kafka的基礎概念，kafka基礎概念是非常重要的知識內容，對開發者學習kafka應用開發以及運維人員管理集群都有非常重要的作用。另外介紹kafka單機版的安裝，為后續學習提供一個基礎環境。介紹kafka3.0中一個非常重要的變化：zookeeper被替換掉了。 * 第二章 kafka集群安裝：介紹在生產級別的環境下，如何保證集群安裝的可用性、可靠性，以及如何提高安裝的便捷性。其實還另外涉及到安全性的問題，在第七章中進行介紹。包括kafka3.0版本在沒有zookeeper情況下如何安裝。 * 第三章、第四章：介紹apache kafka 原生Java API，如何操作生產者消費者，以及生產者數據生產流程中的可靠性、順序性、冪等性、事務的保證，攔截器、序列化器、分區器的自定義實現等；消費者的消費偏移提交、數據積壓、分區再均衡問題原因及就解決方法，消費者攔截器以及反序列化器的實現。 * 第五章 ：介紹更高級的Spring Kafka API如何實現數據生產、消費。 * 第六章：主要介紹kafka集群的安全性保證，包括認證模式，以及ACL權限控制管理。 * 第七章：總結topic管理命令，并介紹一個圖形界面化kafka管理工具-kafka tool。**這一章中，企業級監控管理服務LogiKM也在筆者計劃中，但是暫未撰寫完成。這也只是個工具，面向開發者而言并不太重要！** ## 詳細目錄如下： * 一、kafka基礎入門 * 1.1.白話消息隊列 * 1.2.消息傳遞模型 * 1.3.典型應用場景一 * 1.4.典型應用場景二 * 1.5.kafka簡單介紹 * 1.6.kafka基礎概念解析 * 1.7.搭建kafka單機版 * 1.8.kafka3中zk替代方案 * 二、生產級集群安裝 * 2.1.linux安裝JDK * 2.2.linux主機與ip解析 * 2.3.linux新建用戶 * 2.4.linux開放防火墻端口 * 2.5.最大打開文件句柄數 * 2.6.集群主機之間免密登錄 * 2.7.zookeeper集群安裝(腳本) * 2.8.kafka集群安裝部署(腳本) * 2.9.kafka3無需zk的集群安裝 * 2.10.集群可用性驗證及配置 * 2.11.kafka集群可靠性配置 * 三、生產者客戶端 * 3.1.本章閱讀說明 * 3.2.圖解kafka生產者 * 3.3.數據生產可靠性 * 3.4.保證消息順序性 * 3.5.生產者Java實現 * 3.6.自定義攔截器 * 3.7.自定義序列化器 * 3.8.自定義分區器 * 3.9.冪等與事務處理 * 四、消費者客戶端 * 4.1.消費者組與數據積壓 * 4.2.消費者Java實現 * 4.3.消費偏移與可靠性 * 4.4.分區再均衡 * 4.5.線程池與消費者組 * 4.6.消費者攔截器 * 4.7.自定義反序列化器 * 五、SpringBoot集成kafka * 5.1.整合集成kafka客戶端 * 5.2.生產者同步異步分區攔截 * 5.3.生產者事務處理 * 5.4.KafkaListener詳解 * 5.5.Header及sendTo * 5.5.監聽器模式及偏移量提交 * 5.3.消費監聽器的異常處理 * 5.6.JSON序列化日期問題處理 * 六、kafka安全認證 * 6.1.用戶名密碼PLAIN認證 * 6.2.SCRAM認證 * 6.3.Kerberos認證(撰寫中) * 七、kafka運維配置管理 * 7.1.topic管理命令 * 7.2.KafkaTool帶界面管理工具 * 7.3.LogiKM企業級監控管理(撰寫中) * 附錄 * linux虛擬機集群的搭建