### 配置文件 請看過下節的錯誤配置后，再進行配置 ```yaml filebeat.prospectors: #收集單行日志 - input_type: log paths: - /var/log/messages #過濾文檔中的空格和DBG開頭的內容 exclude_lines: ["^DBG","^$"] #過濾以gz結尾的文件 exclude_files: [".gz$"] #定義額外字段 fields: type: ddd #覆蓋重名字段 fields_under_root: true #收集多行日志 - input_ytpe: log paths: - /app/tomcat1/logs/Java_Error.log fields: type: web02-tomcat-error fields_under_root: true #配置開頭為時間的格式 multiline.pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}' #處理匹配到的行 multiline.negate: true #匹配后，向后收集，直到再次匹配算結束 multiline.match: after #注意：filebeat不能定義某個日志發送至特定對象，如果定義多個，會全部發送 #輸出到文件 output.file: path: "/tmp/" filename: filebeat #輸出到Redis output.redis: hosts: ["192.168.0.106"] db: "3" port: "6400" password: "noted" key: "abc" #輸出到Elasticsearch output.elasticsearch: hosts: ["192.168.0.230:9200"] #輸出到Logstash output.logstash: hosts: ["192.168.0.230:5044"] ``` 通常我們會根據[type]來進行處理，所以要核實日志中的type字段是否被覆蓋，否則會導致數據不處理 #### 錯誤配置（Yaml語法錯誤） 層級錯誤，導致Filebeat無法啟動，日志無輸出信息 ```yaml fields: type: ddd fields_under_root: true ``` 層級錯誤，字符ddd并沒有覆蓋默認的type類型，而是變成了field中的一個鍵值 ```yaml fields: type: ddd fields_under_root: true ``` 日志 ```shell {"@timestamp":"2017-09-05T06:00:02.210Z","beat":{"hostname":"web-log.prod.ding","name":"web-log.prod.ding","version":"5.5.2"},"fields":{"fields_under_root":true,"type":"ddd"},"input_type":"log","message":"Sep 5 14:00:01 web-log systemd: Stopping user-0.slice.","offset":359166,"source":"/var/log/messages","type":"log"} ``` 嘗試過將A文件傳送至redis，B文件直接發給logstash，但是filebeat會要求設置一個output ```yaml - input_ytpe: log paths: - /app/tomcat1/logs/Java_Error.log fields: type: web02-tomcat-error fields_under_root: true multiline.pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}' multiline.negate: true multiline.match: after output.logstash: hosts: ["192.168.0.230:5044"] ``` ### 收集數據，轉發Kafka（待整理）