[TOC] # KafkaOffsetMonitor 下載地址: https://github.com/quantifind/KafkaOffsetMonitor/releases/tag/v0.2.1 最簡單的使用方式是從Github上下載一個最新的jar，上傳到某服務器上，然后執行一句命令就可以運行起來。但是在使用過程中有可能會發現頁面反應緩慢或者無法顯示相應內容的情況。據說這是由于jar包中的某些js等文件需要連接到網絡，或者需要翻墻導致的。網上找的一個修改版的KafkaOffsetMonitor對應jar包，可以完全在本地運行，經過測試效果不錯。下載地址是：http://pan.baidu.com/s/1ntzIUPN ## 安裝 KafkaOffsetMonitor的安裝部署較為簡單，所有的資源都打包到一個JAR文件中了，因此，直接運行即可，省去了我們去配置。這里我們可以新建一個目錄單獨用于Kafka的監控目錄， 我這里新建一個kafka_monitor文件目錄，然后我們在準備啟動腳本，腳本內容如下所示： ~~~ #! /bin/bash java -cp KafkaOffsetMonitor-assembly-0.2.0.jar \ com.quantifind.kafka.offsetapp.OffsetGetterWeb \ --zk master:2181 \ --port 9088 \ --refresh 10.seconds \ --retain 1.days ~~~ 解釋以下這條啟動命令的含義，首先我們需要指明運行Web監控的類，然后需要用到ZooKeeper，所有要填寫ZK集群信息，接著是Web運行端口，頁面數據刷新的時間以及保留數據的時間值 ## 頁面 訪問`0.0.0.0:9088` **topic的所有partiton消費情況列表**  以上圖中參數含義解釋如下： * topic：創建時topic名稱 * partition：分區編號 * offset：表示該parition已經消費了多少條message * logSize：表示該partition已經寫了多少條message * Lag：表示有多少條message沒有被消費。 * Owner：表示消費者 * Created：該partition創建時間 * Last Seen：消費狀態刷新最新時間。 **kafka正在運行的topic** `http://0.0.0.0:9088/#/activetopicsviz` **kafka集群broker列表** `http://0.0.0.0:9088/#/clusterviz` **kafka集群topic列表** `http://0.0.0.0:9088/#/topics` **topic的所有partiton消費情況列表** `http://0.0.0.0:9088/#/group/console-consumer-94689` **查看consumers消費情況** 在Topic List選項卡中，我們可以看到對應的topic 我們點進去一個topic,然后我們用命令行創建個消費者來監聽這個topic 點開后，能看到有一個console-consumer正在消費該topic  繼續進入該Consumer，可以查看該Consumer當前的消費狀況  這張圖片的左上角顯示了當前Topic的生產速率，右上角顯示了當前Consumer的消費速率。 圖片中還有三種顏色的線條，藍色的表示當前Topic中的Message數目，灰色的表示當前Consumer消費的offset位置，紅色的表示藍色灰色的差值，即當前Consumer滯后于Producer的message數目。 **各partition中的message消費情況**  從上圖可以看到，當前有3個Partition，每個Partition中的message數目分布很不均勻。這里可以與接下來的自定義Producer的情況進行一個對比。 注意事項： 　　注意這里有一個坑，默認情況下Producer往一個不存在的Topic發送message時會自動創建這個Topic。由于在這個封裝中，有同時傳遞message和topic的情況，如果調用方法時傳入的參數反了，將會在Kafka集群中自動創建Topic。在正常情況下，應該是先把Topic根據需要創建好，然后Producer往該Topic發送Message，最好把Kafka這個默認自動創建Topic的功能關掉。 　　那么，假設真的不小心創建了多余的Topic，在刪除時，會出現“marked for deletion”提示，只是將該topic標記為刪除，使用list命令仍然能看到。如果需要調整這兩個功能的話，在server.properties中配置如下兩個參數： | 參數 | 默認值 | 作用 | | --- | --- | --- | | auto.create.topics.enable | true | 在服務器上啟用主題的自動創建 | | delete.topic.enable | false | 啟用刪除主題。 如果關閉此配置，則通過管理工具刪除主題將不起作用 | # kafka Tool ## 安裝 mac ~~~ brew cask install kafka-tool ~~~ windows,linux也有 官網:http://www.kafkatool.com/ ## 界面 **連接**  **管理連接,可重連**  **設置編碼**  **查看消息**  **選擇編碼**  # kafka-manager ## 安裝 ~~~ 下載編譯 git clone https://github.com/yahoo/kafka-manager cd kafka-manager #下面的命令將創建一個zip文件，可用于部署應用程序 #sbt配置下鏡像 ./sbt clean dist #成功后頁面上信息會顯示zip文件在哪里 #解壓縮生成的zip文件，并將工作目錄更改為它后，您可以運行服務 ~~~ 這邊也有編譯好的 https://pan.baidu.com/s/1jIE3YL4 mac沒有sbt的話就`brew install`下 tips: 使用sbt編譯打包的時候時間可能會比較長，如果你hang在 Loading project definition from kafka-manager/project 可以修改project/plugins.sbt中的LogLevel參數 將logLevel := Level.Warn修改為logLevel := Level.Debug 解壓 ~~~ unzip kafka-manager-1.3.0.8.zip -d /usr/local cd /usr/local/kafka-manager-1.3.0.8 ~~~ 修改配置 `conf/application.properties` ~~~ # 如果zk是集群，這里填寫多個zk地址 kafka-manager.zkhosts="localhost:2181" ~~~ 啟動 ~~~ bin/kafka-manager ~~~ kafka-manager 默認的端口是9000，可通過 -Dhttp.port，指定端口; `-Dconfig.file=conf/application.conf`指定配置文件: ~~~ nohup bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=9080 & ~~~ 同樣，如果java不在您的路徑中，或者您需要針對不同版本的java運行，請添加-java-home選項，如下所示： ~~~ kafka-manager -java-home /usr/local/oracle-java-8 ~~~ ## 頁面 **新建 Cluster**  然后點下面的save就可以了,回到外面就能看到 **創建新的topic**  **查看topic**  **消費主題視圖**  **Brokers列表**  **具體Broker**