## 一、概述 Logstash 是免費且開放的服務器端數據處理管道，能夠從多個來源采集數據，轉換數據，然后將數據發送到您最喜歡的“存儲庫”中； ### **架構**  ### **核心功能** Logstash實現的功能主要分為接收數據、解析過濾并轉換數據、輸出數據三個部分，這三個功能對應的插件依次是input插件、filter插件、output插件，其中，filter插件是可選的，其它兩個是必須插件； * input：數據收集 * filter：數據加工，如過濾，修改等。 * output：數據輸出 ## 二、安裝運行 下載： ``` wget https://artifacts.elastic.co/downloads/logstash/logstash-7.15.1-linux-x86_64.tar.gz ``` 解壓： ``` tar -zxvf logstash-7.15.1-linux-x86_64.tar.gz ``` ``` mv logstash-7.15.1 logstash ``` 運行： ``` nohup bin/logstash -f config/logstash-sample.conf & ``` ``` tail -f nohup.out ``` ## 三、配置 Logstash配置文件有如下三部分組成，其中input、output部分是必須配置，filter部分是可選配置； ``` input { 輸入插件 } filter { 過濾匹配插件 } output { 輸出插件 } ``` ### **logstash-sample.conf樣例** ``` # Sample Logstash configuration for creating a simple # Beats -> Logstash -> Elasticsearch pipeline. input { beats { port => 5044 } } output { elasticsearch { hosts => ["http://localhost:9200"] index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}" #user => "elastic" #password => "changeme" } } ``` ## 四、輸出到ElasticSearch logstash可以將采集到的數據輸出到文件、Redis、ElasticSearch等各種存儲庫中去； ``` output { 　　elasticsearch{ action => "index" index => "%{[fields][product_type]}-transaction-%{+YYYY-MM}" 　　hosts => ["10.0.xx.xx:9200", "10.0.xx.xx:9200", "10.0.xx.xx:9200"] } } ```