簡介

本專欄主要是面向kafka開發者，介紹kafka的概念、架構、核心原理，并重點介紹開發方法。
特點是：系統化、完整的向讀者介紹面向kafka的開發體系！

直播課以及錄播課，都基于嗶哩嗶哩進行中，視頻都是免費的，而且制作精良哦！
大家可以看看課程的ppt（隨視頻錄制逐漸添加）：http://zimug.com/ppt-kafka/index.html ，用心不？

加微信群

內容簡介

  • 第一章 kafka基礎入門：主要向開發者介紹什么是消息隊列？以及什么場景下使用消息隊列？介紹kafka的基礎概念，kafka基礎概念是非常重要的知識內容，對開發者學習kafka應用開發以及運維人員管理集群都有非常重要的作用。另外介紹kafka單機版的安裝，為后續學習提供一個基礎環境。介紹kafka3.0中一個非常重要的變化：zookeeper被替換掉了。
  • 第二章 kafka集群安裝：介紹在生產級別的環境下，如何保證集群安裝的可用性、可靠性，以及如何提高安裝的便捷性。其實還另外涉及到安全性的問題，在第七章中進行介紹。包括kafka3.0版本在沒有zookeeper情況下如何安裝。
  • 第三章、第四章：介紹apache kafka 原生Java API，如何操作生產者消費者，以及生產者數據生產流程中的可靠性、順序性、冪等性、事務的保證，攔截器、序列化器、分區器的自定義實現等；消費者的消費偏移提交、數據積壓、分區再均衡問題原因及就解決方法，消費者攔截器以及反序列化器的實現。
  • 第五章 ：介紹更高級的Spring Kafka API如何實現數據生產、消費。
  • 第六章：主要介紹kafka集群的安全性保證，包括認證模式，以及ACL權限控制管理。
  • 第七章：總結topic管理命令，并介紹一個圖形界面化kafka管理工具-kafka tool。這一章中，企業級監控管理服務LogiKM也在筆者計劃中，但是暫未撰寫完成。這也只是個工具，面向開發者而言并不太重要！

詳細目錄如下：

  • 一、kafka基礎入門
    • 1.1.白話消息隊列
    • 1.2.消息傳遞模型
    • 1.3.典型應用場景一
    • 1.4.典型應用場景二
    • 1.5.kafka簡單介紹
    • 1.6.kafka基礎概念解析
    • 1.7.搭建kafka單機版
    • 1.8.kafka3中zk替代方案
  • 二、生產級集群安裝
    • 2.1.linux安裝JDK
    • 2.2.linux主機與ip解析
    • 2.3.linux新建用戶
    • 2.4.linux開放防火墻端口
    • 2.5.最大打開文件句柄數
    • 2.6.集群主機之間免密登錄
    • 2.7.zookeeper集群安裝(腳本)
    • 2.8.kafka集群安裝部署(腳本)
    • 2.9.kafka3無需zk的集群安裝
    • 2.10.集群可用性驗證及配置
    • 2.11.kafka集群可靠性配置
  • 三、生產者客戶端
    • 3.1.本章閱讀說明
    • 3.2.圖解kafka生產者
    • 3.3.數據生產可靠性
    • 3.4.保證消息順序性
    • 3.5.生產者Java實現
    • 3.6.自定義攔截器
    • 3.7.自定義序列化器
    • 3.8.自定義分區器
    • 3.9.冪等與事務處理
  • 四、消費者客戶端
    • 4.1.消費者組與數據積壓
    • 4.2.消費者Java實現
    • 4.3.消費偏移與可靠性
    • 4.4.分區再均衡
    • 4.5.線程池與消費者組
    • 4.6.消費者攔截器
    • 4.7.自定義反序列化器
  • 五、SpringBoot集成kafka
    • 5.1.整合集成kafka客戶端
    • 5.2.生產者同步異步分區攔截
    • 5.3.生產者事務處理
    • 5.4.KafkaListener詳解
    • 5.5.Header及sendTo
    • 5.5.監聽器模式及偏移量提交
    • 5.3.消費監聽器的異常處理
    • 5.6.JSON序列化日期問題處理
  • 六、kafka安全認證
    • 6.1.用戶名密碼PLAIN認證
    • 6.2.SCRAM認證
    • 6.3.Kerberos認證(撰寫中)
  • 七、kafka運維配置管理
    • 7.1.topic管理命令
    • 7.2.KafkaTool帶界面管理工具
    • 7.3.LogiKM企業級監控管理(撰寫中)
  • 附錄
    • linux虛擬機集群的搭建