[TOC] # 運行參數  # 配置語法 * 處理輸入的input * 處理過濾的filter * 處理輸出的output 完整的配置語句  **語法格式** * 區域 * 數據類型(布爾值,字符串,數值,數組,哈希) * 條件判斷 * 字段引用 **區域** * logstash中,是用{}來定義區域的 * 區域內,我們可以定義插件 * 一個區域內是定義多個插件 **數據類型**  **條件判斷**   **字段引用** logstash還支持變量內插,在字符串里使用字段引用的方法是這樣的  # logstash插件 * inputs 就是輸入 * codecs就是解碼 * filters就是過濾 * outputs輸出 插件獲取地址 https://github.com/logstash-plugins 在線安裝 `./plugin install logstash-input-jdbc` 升級插件 `./plugin update logstash-input-jdbc` 卸載插件 `./plugin uninstall logstash-input-jdbc` 淘寶源地址 https://ruby.taobao.org 替換源: 安裝gem包,`yum install -y gem` 然后`gem sources --remove http://ruby.taobao.org/` 最好運行下`gem sources -l` 看下源地址 先切換下源在安裝插件 列出插件列表 ~~~ ./plugin list ~~~ # inputs輸入配置 * Stdin標準輸入 * File文件輸入 * TCP/UDP輸入 * Rsyslog輸入 ## File文件輸入  路徑要寫絕對路徑,不要寫相對路徑 例子,讀取elasticsearch.log  可以讀取多個日志用`*`做通配符  也可以定義多個file   這個參數是,比如你測試日志,他讀到100行,你把日志刪了,他不會從頭讀,加上這個可以從頭讀取 ## TCP輸入  例子  我們來測試下 在bin下寫個文件tcp.conf ~~~ input { tcp { port => 9999 mode => "server" ssl_enable=>false } } output { stdout {} } ~~~ 然后我們運行 ~~~ ./logstash -f tcp.conf ~~~ 再開個窗口運行 ~~~ # 后面是個文件 nc 127.0.0.1 9999 < original-ks.cfg ~~~ ## UDP輸入  例子  ## syslog輸入 rsyslog是一個syslog的多線程加強版 從centos6開始,syslog由rsyslog替代 ~~~ /etc/rsyslog.conf service rsyslog restart ~~~  # codec編碼配置 codec:解碼編碼 json,msgpack,edn... logstash處理流程 ~~~ input-->decode-->filter-->encode-->output ~~~ ## plain編碼 plain是一個空的解析器,他可以讓用戶自己指定格式 例子  把這個寫到文件中然后運行 ~~~ ./logstash -f plain.conf ~~~ 然后你輸出什么他就顯示什么 ## json編碼 如果事件格式是json的話,直接 `codec=>json` 例子1: ~~~ input{ stdin{ } } output{ stdout{ codec=>json } } ~~~ 例子2: 如果你的json文件比較長,需要換行那么就用到json_lines的編碼方式 ~~~ input{ tcp{ port=>12388 host=>"127.0.0.1" codec=>json_lines{ } } } output{ stdout{} } ~~~ 不用json_line他會有反斜杠轉義 ## rubydebug 將采用RubyAwsonePrint庫來解析日志 輸出格式  例子: ~~~ input{ stdin{ codec=>json } } output{ stdout{ codec=>rubydebug } } ~~~ ## multiline多行事件編碼 有時候有的日志會用很多行去展現,這么多行其實都是一個事件 比如java的異常日志  例子 一段日志    # filter過濾配置 * Json filter * Grok filter * KV filter ## Json filter 數據格式是json,那么可以通過它把數據解析成你想要的數據結構 **設置參數**  source就是來源數據,target表示解析目標字段 例子:   如果多了target就會把結果放到target指定的下面 ## Grok filter grok是目前logstash里面最好的一種解析各種非結構化的日志數據的工具 原因是里面有很多定義好的patterns  **設置參數**  例子 日志  -- 配置  -- **patterns_dir** 路徑要寫絕對路徑不能寫相對路徑  **多匹配規則定義** 如果日志  可以在這個網址上測試`https://grokdebug.herokuapp.com` 可以檢驗你的pattern寫的是不是正確 ## KV filter 解析處理key-value這種鍵值對數據  例子  # output 如何讓數據經過logstash的解析和處理后,把結果輸出出來 * 輸出到file * 以tcp/udp方式輸出 * 輸出到elasticsearch ## 輸出到file 把解析過濾的結果,輸出到file文件里 比如放到一個txt文件里 例子1  還可以定義輸出的文件是被壓縮的,message指定輸出的字段  ## tcp/udp方式輸出 tcp  udp  ## 輸出到elasticsearch elasticsearch就是數據庫 把logstash解析過濾的結果輸入到elasticsearch里 方可存儲以及檢索  這邊host一般寫主節點,你也可以把集群名字寫進去 index是索引名稱,type是在input里面定義的,引用這個字段 也可以讓logstash的結果輸出到redis中