## 一、說明
整個ELK搭建過程中最痛苦的就是調試Grok表達式去結構化日志數據,介紹兩個調試工具可以提升效率
## 二、調試工具
### 2.1. grokdebug
[http://grokdebug.herokuapp.com/](http://grokdebug.herokuapp.com/)
優點:在線調試
缺點:需要翻墻否則訪問速度非常慢,缺乏具體的報錯提示
> 表達式正確
> 
> 表達式錯誤
> 
### 2.2. kibana
kibana本身的`Dev Tools`菜單里面有個`Grok Debugger`就是用來調試Grok語法的,如下圖
> 表達式正確
> 
> 表達式錯誤:找不到pattern
> 
> 補充自定義patterns后表達式正確
> 
### 2.3. logstash
直接用logstash本身來進行配置調試
**(1) 創建測試配置**
在config目錄下新建`test.conf`配置文件,內容如下:
~~~
input { stdin { } }
filter {
grok {
match => {
"message" => "%{TIMESTAMP_ISO8601:log_time}\|%{WORD:resouce_id}"
}
}
}
output {
stdout { codec => rubydebug }
}
~~~
> 修改filter里面的內容為自己想要測試的配置
**(2) 運行**
執行一下命令啟動logstash
~~~
bin/logstash -f config/test.conf
~~~
當看到打印以下信息則代表啟動成功
~~~
Successfully started Logstash API endpoint {:port=>9600}
~~~
**(3) 測試**
在控制臺中輸入測試的內容
~~~
2021-01-12 10:00:00.000|123
~~~
輸出結果
~~~
{
"@version" => "1",
"log_time" => "2021-01-12 10:00:00.000",
"host" => "lf-172-16-21-134",
"message" => "2021-01-12 10:00:00.000|123",
"@timestamp" => 2021-01-13T09:18:28.397Z,
"resouce_id" => "123"
}
~~~
- springcloud
- springcloud的作用
- springboot服務提供者和消費者
- Eureka
- ribbon
- Feign
- feign在微服務中的使用
- feign充當http請求工具
- Hystrix 熔斷器
- Zuul 路由網關
- Spring Cloud Config 分布式配置中心
- config介紹與配置
- Spring Cloud Config 配置實戰
- Spring Cloud Bus
- gateway
- 概念講解
- 實例
- GateWay
- 統一日志追蹤
- 分布式鎖
- 1.redis
- springcloud Alibaba
- 1. Nacos
- 1.1 安裝
- 1.2 特性
- 1.3 實例
- 1. 整合nacos服務發現
- 2. 整合nacos配置功能
- 1.4 生產部署方案
- 環境隔離
- 原理講解
- 1. 服務發現
- 2. sentinel
- 3. Seata事務
- CAP理論
- 3.1 安裝
- 分布式協議
- 4.熔斷和降級
- springcloud與alibba
- oauth
- 1. abstract
- 2. oauth2 in micro-service
- 微服務框架付費
- SkyWalking
- 介紹與相關資料
- APM系統簡單對比(zipkin,pinpoint和skywalking)
- server安裝部署
- agent安裝
- 日志清理
- 統一日志中心
- docker安裝部署
- 安裝部署
- elasticsearch 7.x
- logstash 7.x
- kibana 7.x
- ES索引管理
- 定時清理數據
- index Lifecycle Management
- 沒數據排查思路
- ELK自身組件監控
- 多租戶方案
- 慢查詢sql
- 日志審計
- 開發
- 登錄認證
- 鏈路追蹤
- elk
- Filebeat
- Filebeat基礎
- Filebeat安裝部署
- 多行消息Multiline
- how Filebeat works
- Logstash
- 安裝
- rpm安裝
- docker安裝Logstash
- grok調試
- Grok語法調試
- Grok常用表達式
- 配置中常見判斷
- filter提取器
- elasticsearch
- 安裝
- rpm安裝
- docker安裝es
- 使用
- 概念
- 基礎
- 中文分詞
- 統計
- 排序
- 倒排與正排索引
- 自定義dynamic
- 練習
- nested object
- 父子關系模型
- 高亮
- 搜索提示
- kibana
- 安裝
- docker安裝
- rpm安裝
- 整合
- 收集日志
- 慢sql
- 日志審計s
- 云
- 分布式架構
- 分布式鎖
- Redis實現
- redisson
- 熔斷和降級