# 1. 日志采集Flume測試 ## 1. 啟動Zookeeper、Kafka集群 ## 2. 啟動node1的日志采集Flume ``` bin/flume-ng agent -n a1 -c conf/ -f job/file_to_kafka.conf -Dflume.root.logger=info,console ``` ## 3. 啟動一個Kafka的Console-Consumer ``` bin/kafka-console-consumer.sh --bootstrap-server node1:9092 --topic topic_log ``` ## 4. 生成模擬數據 ``` /home/atguigu/bin/lg.sh ``` ## 5. 觀察Kafka消費者是否能消費到數據 # 2. 日志采集Flume啟停腳本 ## 1. 分發日志采集Flume配置文件和攔截器 若上述測試通過，需將node1節點的Flume的配置文件和攔截器jar包，向另一臺日志服務器發送一份。 ``` cd /opt/module/flume/ scp -r job node2:/opt/module/flume/ scp lib/flume-interceptor-1.0-SNAPSHOT-jar-with-dependencies.jar node2:/opt/module/flume/lib/ ``` ## 2. 方便起見，此處編寫一個日志采集Flume進程的啟停腳本 在node1節點的/home/atguigu/bin目錄下創建腳本f1.sh ``` vim f1.sh ``` 在腳本中填寫如下內容 ``` #!/bin/bash case $1 in "start"){ for i in node1 node2 do echo " --------啟動 $i 采集flume-------" ssh $i "nohup /opt/module/flume/bin/flume-ng agent -n a1 -c /opt/module/flume/conf/ -f /opt/module/flume/job/file_to_kafka.conf >/dev/null 2>&1 &" done };; "stop"){ for i in node1 node2 do echo " --------停止 $i 采集flume-------" ssh $i "ps -ef | grep file_to_kafka | grep -v grep |awk '{print \$2}' | xargs -n1 kill -9 " done };; esac ``` ## 3. 增加腳本執行權限 ``` chmod 777 f1.sh ``` ## 4. f1啟動 ``` /home/atguigu/bin/f1.sh start ``` ## 5. f1停止 ``` /home/atguigu/bin/f1.sh stop ```