集中式管道管理 · Logstash中文文檔（個人翻譯）

管道管理特性在Kibana中集中了創建和管理Logstash管道配置的功能. > NOTE:集中式管道管理是不包括在基本許可內的X-Pack的特性.如果你想要使用所有的功能,你可以試用30天.試用結束后,你可以購買我們的訂閱來繼續使用X-Pack的所有功能.更多信息請參考<https://www.elastic.co/subscriptions> 和 [License Management](https://www.elastic.co/guide/en/elastic-stack-overview/6.5/license-management.html). 你可以在Kibana的管理頁面中控制多個Logstash的實例.你可以增加,編輯和刪除管道配置.在Logstash端,你只需要簡單的配置以開啟配置管理以及注冊Logstash以使用集中式的管道配置. > IMPORTANT:在你配置Logstash使用集中式管道管理之后,你可以不必在指定本地配置.并且`pipelins.yml`文件以及`path.config`和`config.string`的設置也將在開啟集中式管道管理之后失效. ### 管理管道在使用管道管理之前,你必須: + [Configure centralized pipeline management](https://www.elastic.co/guide/en/logstash/current/configuring-centralized-pipelines.html). (配置集中式管道管理) + 如果Kibana使用了基本認證,確保你在[配置Logstash使用基本認證](https://www.elastic.co/guide/en/logstash/current/ls-security.html)的時候你的Kibana用戶扮演了`logstash_admin`和`logstash_writer`兩個角色.另外,為了在管理界面查看(只讀方式)非集中式管道,確保同時扮演了`monitoring_user`角色. > 額外信息:上面兩個鏈接中的章節,在官方文檔目錄中并不存在.但根據頁面上的前后翻頁信息來看,是有完整的一個章節的. 在Kibana中管理Logstash管道: 1. 在你的瀏覽器中打開Kibana并切換到Management標簽.如果你正確配置了配置管理,你會看到一個管理Logstash的區域.![static/management/images/centralized_config.png](https://www.elastic.co/guide/en/logstash/current/static/management/images/centralized_config.png) 2. 點擊 **Pipeline**鏈接. 3. 要添加新的管道,點擊**Create pipeline**并制定值. | Pipeline ID | A name that uniquely identifies the pipeline. This is the ID that you used when you [configured centralized pipeline management](https://www.elastic.co/guide/en/logstash/current/configuring-centralized-pipelines.html) and specified a list of pipeline IDs in the `xpack.management.pipeline.id` setting. | | ----------------------- | ------------------------------------------------------------ | | Description | 管道配置的描述.這個信息是你自己用的. | | Pipeline | 管道配置,你可以像對待其他編輯器一樣對待這里的編輯器.并且你不必擔心空白和所進的問題. | | Pipeline workers | 管道中運行filter以及output階段并行工作的worker的數量 | | Pipeline batch size | 每個工作線程向filter和output傳遞事件的時候,每次傳送的事件的最大數量 | | Pipeline batch delay | 每個工作線程在獲取事件時,在無法達到最大事件數量的時候每個worker等待的時長(以毫秒為單位) (這個配置和上一個是有關系的,即Logstash在處理事件的時候每個worker會收集一定量的事件交由后續處理,如果在在規定時間內依舊無法收集到足夠的事件,worker不會在繼續等待.這里配置的就是這個等待時間.)| | Queue type | 事件緩沖區的隊列模型. | | Queue max bytes | 所有隊列的容量 | | Queue checkpoint writes | 啟用持久隊列時，在強制檢查點之前寫入的最大事件數。The maximum number of events written before a checkpoint is forced when persistent queues are enabled. | ### 管道行為 + 管道的配置和元數據存儲在Elasticsearch中.對管道定義所做的任何更改都會被注冊使用的所有Logstash示例自動讀取和加載.(類似配置中心的概念).更改會立即生效.如果Logstash注冊使用了管道,你不必重新啟動Logstash來讀取配置. + 管道將在所有注冊使用的Logstash上運行.Kibana保存新的配置,Logstash嘗試載入.There is no validation done at the UI level. + 你需要在本地Logstash日志中檢查配置錯誤.如果你使用了X-Pack的監控功能,在監控頁面查看Logstash實例的狀態. + 你可以定義多個管道配置并行運行在同一個Logstash節點上. + 如果你編輯并保存了配置,Logstash會在后臺重新加載配置并繼續處理事件. + 如果你嘗試在Kibana中刪除一個正在運行中的管道,Logstash將會嘗試停止這個管道.Logstash會等待事件處理完畢.在你刪除一個管道之前,確保你理解你的數據源.停止管道可能會導致數據丟失.