[TOC]
## logstash模塊組成
Logstash由三個組件構造成,分別是input、filter以及output。三個組件的工作流為:
| 組件 | 功能 |
| --- | --- |
| input | 收集數據 |
| filter | 處理數據 |
| output | 輸出數據 |
filter過濾器插件非必須,但filter插件才能體現logtash的強大。
~~~yml
input{
輸入插件
}
filter{
過濾器插件
}
outer{
輸出插件
}
~~~
add\_field、remove\_field、add\_tag、remove\_tag 是所有 Logstash 插件都有。相關使用方法看字段名就可以知道。
### 常用啟動參數
|參數 |說明 |舉例|
| --- | --- | --- |
|-e |用命令行里的配置參數啟動實例 |./bin/logstash -e ‘input {stdin {}} output {stdout {}}’|
|-f |指定啟動實例的配置文件 |./bin/logstash -f config/test.conf|
|-t |測試配置文件的正確性 |./bin/logstash-f config/test.conf -t|
|-l |指定日志文件名稱 |./bin/logstash-f config/test.conf -l logs/test.log|
|-w |指定filter線程數量(5) |./bin/logstash-f config/test.conf -w 8|
### 數據類型
| 類型 | 示例 |
| --- | --- |
| bool | debug => true |
| bytes | my\_bytes => "113" # 113 bytes |
| string | host => "hostname" |
| number | port => 214 |
| array | match =>\[ "/var/log/messages", "/var/log/\*.log" \] |
| hash | options => {key1 => "value1",key2 => "value2" } |
### 條件判斷
logshash支持if...else的條件判斷,支持下面的操作符:
等性:==, !=, <, >, <=, >=
正則:=~, !~
包含:in, not in
布爾:and, or, nand, xor
取反:!
## input模塊
`input`[插件官方詳解:](https://www.elastic.co/guide/en/logstash/current/input-plugins.html)
### input是怎么樣接收日志的
logstash使用一個名為filewatch的ruby gem庫來監聽文件變化,讀取進度記錄到一個叫.sincedb的數據庫文件中。
這個文件的默認路徑在`plugins/inputs/file`下面。
### 從file-stdin-beat-redis讀取示例
logstash的input模塊可以從各種輸入類型獲取數據,如文件(file),日志(log),數據庫(mysql,reids)等,各個輸入類型涉及的內部關鍵字不一樣,下面以常用的幾個輸入類型講解
**從文件`file`輸入**
~~~
input{
file{
path => ["/var/log/messages"]
}
}
#其他選項
path 必須的選項,文件路徑,可以多個,中括號包圍
exclude 排除不想被監聽的文件
close_older 已經監聽的文件多久未更新就關閉監聽(3600秒 1小時)
ignore_older 檢查文件列表時,若有文件的最后修改時間超過(84600秒 一天)就忽略
discover_interval 多久去查一次被監聽的path下是否有新文件(15秒)
sincedb_path 自定義 sincedb 文件到其他位置。
sincedb_write_interval 每隔多久寫一次 sincedb 文件(15秒)
stat_interval 被監聽文件的檢查頻率(1秒)
start_position 從什么位置開始讀取文件數據,值"end(默認)/beginning"
~~~
**標準輸入`stdin{}`**
```sh
input{
stdin{
type => "stdin"
}
}
```
**filebeat輸入**
~~~
input {
beats {
hosts => "10.0.0.11"
port => "5044"
}
}
~~~
**redis輸入**
~~~
input {
redis {
data_type => "list"
key => "filebeat-1011"
host => "10.0.0.11"
port => 6379
password => 'abcd1234e'
db => "2"
threads => 5
codec => "json"
}
}
~~~
### input通用參數
下列6個參數,是所有input插件都支持的參數
```sh
codec 輸入編解碼器,在數據輸入之前解碼數據(line)
add_field 向輸入數據中添加一個K/V字段
enable_metric 禁用或啟用日志記錄
id 設置stdin的ID,不設置隨機生成,多個時stdin有用
tags 給數據數據添加標簽,方便后續處理
type 向此輸入的數據添加一個字段,主要用于過濾器
```
`codec`參數,在input/output中都有,接下來專門講解
## CODEC編碼插件
編碼插件(codec)可以在logstash輸入或輸出時處理不同類型的數據,同時,還可以更好更方便的與其他自定義格式的數據產品共存,比如:fluent、netflow、collectd等通用數據格式的其他產品。
因此,logstash不只是一個input-->filter-->output的數據流,而且是一個input-->decode-->filter-->encode-->output的數據流。
常用的codec插件有plain,json,multiline等
### **plain插件:**
plain是最簡單的編碼插件,你輸入什么信息,就返回什么信息
~~~sh
input {
stdin {
codec => plain {}
}
}
~~~
### **json插件:**
有時候logstash采集的日志是JSON格式,那我們可以在input字段加入codec => json來進行解析,這樣就可以根據具體內容生成字段,方便分析和儲存。
如果想讓logstash輸出為json格式,可以在output字段加入codec=>json。
如果數據為json格式,可直接使用該插件,從而省掉filter/grok的配置,降低過濾器的cpu消耗
~~~sh
input {
stdin {
codec => json
}
}
~~~
### **multiline插件:**
用于合并多行數據
java類程序,一條有用的數據可能輸出在很多行,分析日志時得把這些日志按一行處理,multiline插件用于解決此類問題。
例:tomcat的日志catalina.out有很多調試的日志,日志都以時間戳格式"20-Apr-2016 11:29:28.535"開頭,那么我們可以配置如下:
~~~sh
input {
file{
path => "xxx/tomcat/ogs/catalina.out"
tags => ["api-core"]
codec => multiline {
pattern => "^\d{2}\:\d{2}\:\d{2}\.\d{3}"
auto_flush_interval => 10
negate => true
what => "previous"
}
stat_interval => "1"
}
}
~~~
pattern 為正則表達式匹配
negate true表示不匹配正則表達式。默認false
what 如果匹配,事件屬于previous(上一個)或者next(下一個)事件
auto_flush_interval 多少秒沒有新數據,之前積累的多行數據轉換為一個事件
>以上的配置解釋:不匹配pattern時間戳格式開頭的行,都歸屬到上一個事件中,等待10秒沒有新數據產生,那么最后一個時間戳格式后的所有行數據就是最后一個事件。
## output模塊
[output官方插件地址:](https://www.elastic.co/guide/en/logstash/6.8/output-plugins.html)
Logstash的output模塊,相比于input模塊來說是一個輸出模塊,output模塊集成了大量的輸出插件,可以輸出到指定文件,也可輸出到指定的網絡端口,當然也可以輸出數據到ES.
### output通用參數
| 參數名 | 參數說明 |
| --- | --- |
| workers | 設置輸出線程數量 |
| codec | 輸出編解碼器,對輸出的數據編碼(line) |
| enable_metric | 禁用或啟用日志記錄|
### 輸出到標準輸出(stdout)
標準輸出默認使用`rubydebug`,還可以使用`json`
~~~bash
#使用rubydebug
output {
stdout {
codec => rubydebug
}
}
#使用json
output {
stdout { codec => json }
}
~~~
### 輸出到redis
```sh
output {
redis{
codec => plain
data_type => list
db => 3
host => ["10.0.0.11:6379"]
key => xxx
password => xxx
port => 6379
timeout => 5
}
}
```
### 輸出到Elasticsearch
到es的輸出參數有很多,但重要的就是hosts和index,其他參數可以參考官方文檔:
[es參數](https://www.elastic.co/guide/en/logstash/6.8/plugins-outputs-elasticsearch.html)
```sh
output {
elasticsearch {
hosts => ["10.0.0.12:9200"]
index => logstash-%{+YYYY.MM.dd}
}
}
```
### 增加條件的判斷的output
在logstash進行output時,可以根據type和tag值不同,做不同的條件判斷,輸出不同的數據,如:
```sh
output{
if "api-01" in [tags] {
elasticsearch {
hosts => ["10.0.0.12:9200"]
index => "pro-api-01-%{+YYYY.MM.dd}"
}
}
if "api-02" in [tags] {
elasticsearch{
hosts => ["10.0.0.12:9200"]
index => "pro-api-02-%{+YYYY.MM.dd}"
}
}
}
```
- shell編程
- 變量1-規范-環境變量-普通變量
- 變量2-位置-狀態-特殊變量
- 變量3-變量子串
- 變量4-變量賦值三種方法
- 變量5-數組相關
- 計算1-數值計算命令和案例
- 計算2-expr命令舉例
- 計算3-條件表達式和各種操作符
- 計算4-條件表達式和操作符案例
- 循環1-函數的概念與作用
- 循環2-if與case語法
- 循環3-while語法
- 循環4-for循環
- 其他1-判斷傳入的參數為0或整數的多種思路
- 其他2-while+read按行讀取文件
- 其他3-給輸出內容加顏色
- 其他4-shell腳本后臺運行知識
- 其他5-6種產生隨機數的方法
- 其他6-break,continue,exit,return區別
- if語法案例
- case語法案例
- 函數語法案例
- WEB服務軟件
- nginx相關
- 01-簡介與對比
- 02-日志說明
- 03-配置文件和虛擬主機
- 04-location模塊和訪問控制
- 05-status狀態模塊
- 06-rewrite重寫模塊
- 07-負載均衡和反向代理
- 08-反向代理監控虛擬IP地址
- nginx與https自簽發證書
- php-nginx-mysql聯動
- Nginx編譯安裝[1.12.2]
- 案例
- 不同客戶端顯示不同信息
- 上傳和訪問資源池分離
- 配置文件
- nginx轉發解決跨域問題
- 反向代理典型配置
- php相關
- C6編譯安裝php.5.5.32
- C7編譯php5
- C6/7yum安裝PHP指定版本
- tomcxat相關
- 01-jkd與tomcat部署
- 02-目錄-日志-配置文件介紹
- 03-tomcat配置文件詳解
- 04-tomcat多實例和集群
- 05-tomcat監控和調優
- 06-Tomcat安全管理規范
- show-busy-java-threads腳本
- LVS與keepalived
- keepalived
- keepalived介紹和部署
- keepalived腦裂控制
- keepalived與nginx聯動-監控
- keepalived與nginx聯動-雙主
- LVS負載均衡
- 01-LVS相關概念
- 02-LVS部署實踐-ipvsadm
- 03-LVS+keepalived部署實踐
- 04-LVS的一些問題和思路
- mysql數據庫
- 配置和腳本
- 5.6基礎my.cnf
- 5.7基礎my.cnf
- 多種安裝方式
- 詳細用法和命令
- 高可用和讀寫分離
- 優化和壓測
- docker與k8s
- docker容器技術
- 1-容器和docker基礎知識
- 2-docker軟件部署
- 3-docker基礎操作命令
- 4-數據的持久化和共享互連
- 5-docker鏡像構建
- 6-docker鏡像倉庫和標簽tag
- 7-docker容器的網絡通信
- 9-企業級私有倉庫harbor
- docker單機編排技術
- 1-docker-compose快速入門
- 2-compose命令和yaml模板
- 3-docker-compose命令
- 4-compose/stack/swarm集群
- 5-命令補全和資源限制
- k8s容器編排工具
- mvn的dockerfile打包插件
- openstack與KVM
- kvm虛擬化
- 1-KVM基礎與快速部署
- 2-KVM日常管理命令
- 3-磁盤格式-快照和克隆
- 4-橋接網絡-熱添加與熱遷移
- openstack云平臺
- 1-openstack基礎知識
- 2-搭建環境準備
- 3-keystone認證服務部署
- 4-glance鏡像服務部署
- 5-nova計算服務部署
- 6-neutron網絡服務部署
- 7-horizon儀表盤服務部署
- 8-啟動openstack實例
- 9-添加計算節點流程
- 10-遷移glance鏡像服務
- 11-cinder塊存儲服務部署
- 12-cinder服務支持NFS存儲
- 13-新增一個網絡類型
- 14-云主機冷遷移前提設置
- 15-VXALN網絡類型配置
- 未分類雜項
- 部署環境準備
- 監控
- https證書
- python3.6編譯安裝
- 編譯安裝curl[7.59.0]
- 修改Redhat7默認yum源為阿里云
- 升級glibc至2.17
- rabbitmq安裝和啟動
- rabbitmq多實例部署[命令方式]
- mysql5.6基礎my.cnf
- centos6[upstart]/7[systemd]創建守護進程
- Java啟動參數詳解
- 權限控制方案
- app發包倉庫
- 版本發布流程
- elk日志系統
- rsyslog日志統一收集系統
- ELK系統介紹及YUM源
- 快速安裝部署ELK
- Filebeat模塊講解
- logstash的in/output模塊
- logstash的filter模塊
- Elasticsearch相關操作
- ES6.X集群及head插件
- elk收集nginx日志(json格式)
- kibana說明-漢化-安全
- ES安裝IK分詞器
- zabbix監控
- zabbix自動注冊模板實現監控項自動注冊
- hadoop大數據集群
- hadoop部署
- https證書
- certbot網站
- jenkins與CI/CD
- 01-Jenkins部署和初始化
- 02-Jenkins三種插件安裝方式
- 03-Jenkins目錄說明和備份
- 04-git與gitlab項目準備
- 05-構建自由風格項目和相關知識
- 06-構建html靜態網頁項目
- 07-gitlab自動觸發項目構建
- 08-pipelinel流水線構建項目
- 09-用maven構建java項目
- iptables
- 01-知識概念
- 02-常規命令實戰
- 03-企業應用模板
- 04-企業應用模板[1鍵腳本]
- 05-企業案例-共享上網和端口映射
- SSH與VPN
- 常用VPN
- VPN概念和常用軟件
- VPN之PPTP部署[6.x][7.x]
- 使用docker部署softether vpn
- softEther-vpn靜態路由表推送
- SSH服務
- SSH介紹和部署
- SSH批量分發腳本
- 開啟sftp日志并限制sftp訪問目錄
- sftp賬號權限分離-開發平臺
- ssh配置文件最佳實踐
- git-github-gitlab
- git安裝部署
- git詳細用法
- github使用說明
- gitlab部署和使用
- 緩存數據庫
- zookeeper草稿
- mongodb數據庫系列
- mongodb基本使用
- mongodb常用命令
- MongoDB配置文件詳解
- mongodb用戶認證管理
- mongodb備份與恢復
- mongodb復制集群
- mongodb分片集群
- docker部署mongodb
- memcached
- memcached基本概念
- memcached部署[6.x][7.x]
- memcached參數和命令
- memcached狀態和監控
- 會話共享和集群-優化-持久化
- memcached客戶端-web端
- PHP測試代碼
- redis
- 1安裝和使用
- 2持久化-事務-鎖
- 3數據類型和發布訂閱
- 4主從復制和高可用
- 5redis集群
- 6工具-安全-pythonl連接
- redis配置文件詳解
- 磁盤管理和存儲
- Glusterfs分布式存儲
- GlusterFS 4.1 版本選擇和部署
- Glusterfs常用命令整理
- GlusterFS 4.1 深入使用
- NFS文件存儲
- NFS操作和部署
- NFS文件系統-掛載和優化
- sersync與inotify
- rsync同步服務
- rsyncd.conf
- rsync操作和部署文檔
- rsync常見錯誤處理
- inotify+sersync同步服務
- inotify安裝部署
- inotify最佳腳本
- sersync安裝部署
- 時間服務ntp和chrony
- 時間服務器部署
- 修改utc時間為cst時間
- 批量操作與自動化
- cobbler與kickstart
- KS+COBBLER文件
- cobbler部署[7.x]
- kickstart部署[7.x]
- kickstar-KS文件和語法解析
- kickstart-PXE配置文件解析
- 自動化之ansible
- ansible部署和實踐
- ansible劇本編寫規范
- 配置文件示例
- 內網DNS服務
- 壓力測試
- 壓測工具-qpefr測試帶寬和延時