# ELK系統框架介紹 ## 一 ELK套件介紹 ELK是一組軟件的組合實現,官網如下:https://www.elastic.co/cn/products 1. Elasticsearch(es) Elasticsearch 是基于 JSON 的分布式搜索和分析引擎，專為實現水平擴展、高可靠性和管理便捷性而設計 Elasticsearch 是一個分布式的 RESTful 風格的搜索和數據分析引擎，能夠解決不斷涌現出的各種用例。 作為Elastic Stack 的核心，它集中存儲您的數據，幫助您發現意料之中以及意料之外的情況。 2. Kibana Kibana 能夠以圖表的形式呈現數據，并且具有可擴展的用戶界面，數據來源于Elasticsearch。 Kibana 讓您能夠自由地選擇如何呈現您的數據。 3. Logstash Logstash 是動態數據收集管道，擁有可擴展的插件生態系統，能夠與 Elasticsearch 產生強大的協同作用。 Logstash 是開源的服務器端數據處理管道，能夠同時從多個來源采集數據，轉換數據，然后將數據發送到您最喜歡的 “存儲庫” 中。 4. Beats 由于Logstash消耗資源大，而服務器資源相當寶貴，所以引進另一個輕量級日志采集框架Beats，其中包含以下6種 | beats類型 | 用途 | | ---------- | ----------------------- | | Packetbeat | 用于搜集網絡流量數據 | | Heartbeat | 用于運行時間監控 | | Filebeat | 用于搜集文件數據 | | Winlogbeat | 用于搜集winodws事件數據 | | Metricbeat | 用于指標 | | Auditbeat | 用于審計數據 | ## 二 ELK系統典型架構 1. Logstash(采集)+Elasticsearch(存儲)+Kibana(展示) 最典型的elk架構 logstash安裝在所有的服務器上收集數據,往es上存放數據 Logstash耗資源較大，運行占用CPU和內存高 2. Filebeat(采集)+Elasticsearch(存儲) +Kibana(展示) 將logstash替換為filebeat,原因是logstash是java寫的,性能相對filebeat要弱 filebeat只采集數據,不對數據進行過濾 3. Filebeat(采集)+Logstash(過濾)+Es(存儲)+Kibana(展示) 將filebeat和logstash聯合使用 所有客戶端安裝filebeat收集數據,然后統一發送給一個logstash logstash統一處理和過濾數據后存儲到es中 4. Filebeat(采集)+緩存(數據傳輸)+Logstash(過濾)+Es(存儲)+Kibana(展示) 在filebeat和logstash中間加一層緩存層(如redis),實現軟件間的解耦  ## 三 自定義YUM源 官方yum訪問速度太慢,網上沒有一個好的第三方源設置方法 這里使用了清華的yum源,版本是[6.x] ```sh cat >/etc/yum.repos.d/elk-6.repo <<EOF [elk-6.x] name=Elastic repository for 6.x packages #baseurl=https://artifacts.elastic.co/packages/6.x/yum baseurl=https://mirrors.tuna.tsinghua.edu.cn/elasticstack/6.x/yum/ gpgcheck=1 gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch enabled=1 autorefresh=1 type=rpm-md EOF ``` ## 四 實驗架構和系統配置 本次使用的操作系統版本:`centos7.6` | 服務器IP | 用途 | | --- | --- | | 10.0.0.11 | filebeat+redis | | 10.0.0.12 | logstash+kibana+es |