[TOC] # logstash * * * * * ### 1. 安裝 安裝deb就行 安裝插件：無論是elasticsearch還是kibana，安裝插件都有兩種方法：離線，在線命令安裝 > 1. 離線下載插件解壓后，放到對應的elasticsearch或者kibana的plugins目錄下，重啟服務即可， > 例如在安裝 x-pack，需要在elasticsearch安裝，也需要在kibana安裝，在kibana用命令安裝特別慢，所以用下載好的壓縮文件，解壓后直接放入/usr/share/kibana/plugins（kibana安裝目錄）下，重啟即可，重啟第一次需要登錄名密碼elastic/changeme ### 2.使用 #### 2.1 filebeat、logstash、elasticsearch 1. 開啟服務 ~~~ bin/logstash –f apache.config --config.reload.automatic # --config.reload.automatic：自動讀取配置文件，并重啟 ~~~ > 如果啟動時沒有加入自動讀取配置文件選項，輸入一下命令，發送信號量讓logstash讀取配置文件，并且重啟pipeline（管道） ~~~ kill -1 14175 # 給這個進程id14175，發送信號量 ~~~ 2. 配置logstash文件 ~~~ input { beats { port => "5043" # 指定從filebeat獲取數據，并監聽5043端口 } } filter { grok { # 將日志按列分開 match => { "message" => "%{COMBINEDAPACHELOG}"} } geoip { # 會根據IP得到這個IP的所在地理位置信息 source => "clientip" } } output { stdout { codec => rubydebug } elasticsearch { # 定義輸出到elasticsearch中 hosts => [ "192.168.56.131:9200" ] } } ~~~ 2. 配置filebeat * 安裝deb就行 ~~~ vim /etc/filebeat/filebeat.yml # 做以下修改 - input_type: log # Paths that should be crawled and fetched. Glob based paths. paths: - /home/tuna/test/logstash-tutorial-dataset #指定logstash監控的文件 output.logstash: # 監控結果發送到logstash # Array of hosts to connect to. hosts: ["192.168.56.131:5043"] # 指定logstash的地址和規定filebeat監聽的端口 ~~~ > 開啟filebeat ~~~ sudo ./filebeat -e -c filebeat.yml -d "publish" ~~~ > 如果想要filebeat重新讀一遍所監聽的文件或者目錄需要： > 1. 關閉filebeat > 2. 刪除data目錄下的registry文件 > 3. 啟動filebeat #### 2.2 logstash 直接監控本地文件 * logstash會監控文件的變化，并且把讀取文件的位置信息記錄在目錄 `/usr/share/logstash/data/plugins/inputs/file` 默認記錄文件時隱藏的。詳細信息在elasticsearch-logstash-inputplugin中找 想要重新讀，停止logsstash，并刪除file目錄下的記錄（ll一下，默認是隱藏的），然后在重啟logstash ~~~ input { file { path => ["/home/tuna/test/test.txt","/var/log/redis/redis6379.log"] type => "system" start_position => "beginning" } } filter { grok { match => { "message" => "%{COMBINEDAPACHELOG}"} } } output { stdout { codec => rubydebug } elasticsearch { hosts => [ "192.168.56.131:9200" ] } } ~~~ > * 啟動 ~~~ ./logstash -f ../conf/filebeat.conf --config.reload.automatic --path.settings /etc/logstash/logstash.yml ~~~ ### 3. input ### 4. filter #### 4.1 grok > * grok 建立在正則表達式上的，所以任何的復合規則的正則表達式在grok中也是可用的。 > * logstash在手機日志數據后，都是一條條的記錄，grok可以根據預定義的規則對這些一條條的數據進行切割，形成一個個的類似于鍵值對，這樣利于elasticsearch的收集以及后續的檢索和分析。 822/5000 重新使用Grok模式的語法有三種形式：％{SYNTAX：SEMANTIC}，％{SYNTAX}，％{SYNTAX：SEMANTIC：TYPE}。 > SYNTAX是與文本匹配的模式的名稱。 例如，3.44將匹配NUMBER模式，55.3.244.1將被IP模式匹配。 語法是如何匹配的。 NUMBER和IP都是默認模式集中提供的模式。 > SEMANTIC是給匹配文本的標識符。 例如，3.44可以是事件的持續時間，所以你可以簡單地稱之為持續時間。 此外，字符串55.3.244.1可能會標識發出請求的客戶端。 > TYPE是您要投射命名字段的類型。 int和float目前是強制支持的唯一類型。 這些類似于正則匹配的規則都有已經logstash預先定義好的用于切割Nginx，Apached，tomcat的日志，在目錄 ~~~ /usr/share/logstash/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-4.1.1/patterns/grok-patterns ~~~ 這是一個分割Apachelog的filter組件，會根據grok-patterns中定義的規則去匹配日志并切分，例如訪問用戶，ip，瀏覽器類型 ~~~ filter { grok { match => { "message" => "%{COMBINEDAPACHELOG}"} } } ~~~ 1. nginx logstash自帶的grok正則中有Apache的標準日志格式： ~~~ COMMONAPACHELOG %{IPORHOST:clientip} %{HTTPDUSER:ident} %{USER:auth} \[%{HTTPDATE:timestamp}\] "(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})" %{NUMBER:response} (?:%{NUMBER:bytes}|-) COMBINEDAPACHELOG %{COMMONAPACHELOG} %{QS:referrer} %{QS:agent} ~~~ * nginx grok結構化規則 ~~~ NGINXLOG %{IP:clientIP}\s*-\s*-\s*\[%{HTTPDATE:timestamp}\]\s*"%{WORD:method}\s*%{URIPATHPARAM:request}\s*HTTP/%{NUMBER:vresion}"\s*(?:%{NUMBER:state}|-)\s*%{NUMBER:size}\s*"-"\s* ~~~ 對于nginx標準日志格式，可以發現只是最后多了一個 $http_x_forwarded_for 變量。則nginx標準日志的grok正則定義為： `MAINNGINXLOG %{COMBINEDAPACHELOG} %{QS:x_forwarded_for}` * logstash收集并且發送給elasticsearch ~~~ input { file { path => ["/var/log/nginx/access.log"] type => "nginx" start_position => "beginning" } } filter { grok { match => {"message"=> "%{NGINXLOG}"} # 這里引用gork預先定義的 } } output { stdout { codec => rubydebug } elasticsearch { hosts => [ "192.168.56.130:9200" ] user => "elastic用戶" password => "elasticsearch密碼" index => "nginx-%{+YYYY.MM.dd}" } } ~~~ #### 4.2 使用kibana自定義grok匹配規則 * 使用kibana的開發工具，就像java的RegEx工具一樣 `%{IP:clientIP} `：IP是預定義的匹配規則，clientIP是匹配后分配的field ~~~ %{IP:clientIP}\s*-\s*-\s*\[%{HTTPDATE:timestamp}\]\s*"%{WORD:method}\s*%{URIPATHPARAM:request}\s*HTTP/%{NUMBER:vresion}"\s*(?:%{NUMBER:state}|-)\s*%{NUMBER:size}\s*"-"\s* ~~~  ### 5.output