### 拓撲圖 ### 軟件選型 #### 文件數據收集（Filebeat） - Nginx、Tomcat訪問日志（Json）（單行） - Nginx錯誤日志（單行） - Tomcat日志（多行） - JAVA程序日志（單行） - JAVA程序日志（多行） - 系統日志（messages）（單行） - 系統日志（lastlog）（單行） #### 緩沖消息隊列（消費） - Redis - Kafka(待補充) #### 數據處理（轉發） - Logstash #### 數據檢索（存儲） - Elasticsearch #### 數據展示 - Kibana ### 基礎環境 #### Web01 | 收集對象 | 位置 | | :------------: | :------------: | | 系統日志 | /var/log/messages | | 系統日志 | /var/log/lastlog | | Nginx訪問日志 | /usr/local/nginx/logs/*_access.log | | Nginx錯誤日志 | /usr/local/nginx/logs/error.log | |Tomcat訪問日志 |/usr/local/tomcat1/logs/ding_access.*.log | |Java程序輸出日志 | /usr/local/tomcat1/logs/ding_Info.log| |Java程序錯誤日志 | /usr/local/tomcat1/logs/ding_Error.log| #### ELK | 服務 | 配置 | | :------------: | :------------: | | Elasticsearch | /etc/elasticsearch/elasticsearch.yml | | Logstash | /etc/logstash/conf.d/*.conf | | Kibana | /etc/kibana/kibana.yml | #### 硬件配置 ES寫入數據時主要消耗CPU和磁盤IP，磁盤越快越好（RAID0或RAID10） Logstash寫入數據時，主要消耗CPU #### 常用Logstash插件 - **Json過濾** 處理Nginx、Tomcat已經Json化的訪問日志 - **Grok過濾** 處理非結構化的日志，比如IIS日志，MySQL滿日志或原始的Nginx日志 - **Mutate過濾** 處理字段的合并、拆解、轉換，比如分解Nginx中的request字段，分解為請求方法，請求URL和http版本 - **Geoip過濾** 結合Maxmind的開源GeoLite2數據庫，解析IP地址，生成GEO相關字段，用于地圖類展示 - **Data過濾** 對時間進行匹配轉換 - **Useragent過濾** 拆解日志中的useragent字段 - **Drop過濾** 根據條件，刪除數據 ### 已知的問題 #### 1.性能瓶頸 Elasticsearch對磁盤IO要求很高，建議數據放在當讀分區中，可以考慮用多塊磁盤，建立RAID0或RAID0+1，緩解數據查詢緩慢的問題 #### 2.索引的命名規則 Elasticsearch默認會將Geoip過濾后的location字段轉換為geo_point類型，但是前提是索引要以logstash-開頭，否則不轉換 #### 3.字符集亂碼 Filebeat中設置encoding：UTF-8 如未使用Filebeat，Logstash設置codec => plain{charset=>"UTF-8"} #### 4.Logstash使用不同的端口，接收不同日志數據 拆分配置文件，避免同一個Logstash配置文件過于龐大 #### 4.一些感悟 1.Nginx的訪問日志和Tomcat的訪問日志并不能很好的關聯 2.動態請求的字符串，在Tomcat中獲取