Q：我現在要部署es集群，最少需要配置幾臺es服務器？如果配置3臺es服務器，一臺用于主節點，一臺用于客戶端節點，一臺用于數據節點，怎么配置分片數和副本分片數？ >部署 ES 集群的節點數量并沒有硬性的規定，而是要根據業務需求和實際情況來設計。通常，為了確保數據的高可用性和性能，建議運行至少三個節點的集群。一般來說，使用以下的安排來部署這三個節點： - 兩個節點用作數據節點，存儲索引的數據和搜索操作。 - 另一個節點可以配置為主節點和客戶端節點，負責集群和元數據的管理。 因此，如果你有三臺服務器可以使用，可以根據以下方式來部署 ES 集群： - 將兩個節點配置為數據節點。 - 將第三個節點配置為主節點和客戶端節點。 關于分片和副本的配置，具體取決于你的使用情況。在一般情況下，以下是分片和副本的一些建議設置： - 索引分片數（Primary Shards）：通常建議將索引分片數設置為 5 或更多，具體數量可以根據數據量、查詢并發數、存儲性能和可用性等因素調整。 - 副本分片數（Replica Shards）：建議將副本分片數設置為 1 或更多，以確保高度可用性和數據的備份。通常建議將副本數量設置為更高的奇數，例如 1、3 或 5。這是因為當節點故障時，集群可以保持節點數量的奇偶性，并避免出現數據不一致的情況。 在實際部署時，必須將分片和副本的配置考慮在內。你可以在創建索引時進行設置，也可以在之后單獨更改分片和副本參數。可以使用 Elasticsearch 的控制臺或 API 進行這些操作。 Q：我現在要部署es集群，需要配置3臺es服務器，一臺用于主節點，一臺用于客戶端節點，一臺用于數據節點，請問需要分別購買幾核幾G的服務器，請推薦一個配置？ > 為了配置一個滿足這種情況的ES集群，需要好好考慮下面幾點，來決定服務器的硬件： 1.主節點（Master Node）：主節點僅管理群集狀態和Master-eligible Node中的集群元數據。在功能上對CPU、存儲和內存消耗都非常低，關鍵在于需要保證節點的高可用性。因此，對于主節點, 我們可以選擇較低配的服務器來實現主節點的高可用性。例如，4核8線程，8GB存的服務器就已經足夠。 2.客戶端節點（Client Node）：客戶端節點作為代理來處理路由，協調請求和將請求轉發到正確的節點合適，用于負責web或類似的操作和向上公共api的客戶端請求。 對于客戶端節點而言，存和CPU相對于主節點是更重要的, 因為它們需要處理來自外部web客戶端或者客戶端軟件的請求。我們薦選擇8核16線程，16GB內存的中高端級別的服務器。 3.數據節點 (Data Node): 數據節點用于存儲數據和執行查詢操作。在存儲和處理數據時，我們需要考慮服務器的性能和存儲容量。對于數據節點, 我們推薦選擇16核32線程，128GB內存，至少4TB存儲容量（如果你使用二級別存儲則可以滿足需求）。對于數據節點，硬盤性能是流式操作的瓶頸，因此使用SSD或NVMe硬盤將會有很大的幫助。 結合上面的介紹，如果預算允許，我的建議是，選用一臺16核32線程，128GB內存的服務器作為數據節點, 還需要統計你應用的請求量確定客戶端節點和有多少個master-eligible Node。還需要注意公網IP的數量, 特別是對于客戶端節點因為他們是提供給外部客戶端請求數據的入口。同時建議采用云廠商提供的彈性伸縮服務根據需求動態價集群數量。 Q：部署集群的話，索引數據只需要同步到數據節點？還是說主節點和客戶端節點也需要？ > 在一個ES集群中，數據索引是被存儲在數據節點上的，并且主節點和客戶節點不需要存儲實際的數據索引。具體來說，主節點僅管理集群狀態和Metadata（元數據），客戶端節點僅與客戶端相關操作和路由請求，將其轉發到相應的節點。而數據節點則承擔著存儲索引數據并處理搜索操作的任務。 當客戶端發送一個請求時，請求被發送到客戶端節點，客戶端節點再將請求轉發到最適合處理該請求的數據節點。數據節點在其本地請求，返回結果并將結果發送回客戶端節點，客戶端節點再結果發送回到客戶端。因此，像查詢和寫入索引的任務都是在數據節點上執行的，而并不需要主節點和客戶端節點存儲索引數據。 需要注意的是，所有的節點都需要知道集群狀態和元數據信息，因此主節點和客戶端節點需要與數據節點保持通信以獲取元數據和集群信息。但是，這些信息的大小相對較小，不像索引數據占用那么多硬空間。 Q：如果只是索引數據存在數據節點上的話，那如何保證數據的高可用性？es集群是否有自己的數據同步策略，將數據同步到主節點和客戶端節點上？ > 確保數據的高可用性是ES集群中最基本的要求之一。為了確保數據的高可用性，ES采用了一些機制： 1.副本機制：在ES集群中，數據可以分片，許多數據分片可以存放在不同的數據節點上。針對每一個分片，ES允許你分配零個或多個副本。副本是分片的精確的復制品并存儲在其他的節點上。當主分片的數據節點故障時，集群會從一個副本分片中選擇一個新的主分片。這種機制確保只要至少有一個副本分片沒有故障，數據就不會丟失。 2.主節點優化（Master Node Failure Detection）: 主節點負責在集群中協調元數據和狀態，但主節點故障后可能導致集群不可用，因此集群必須為主節點的失敗提供容錯。ES 通過使用超時和心跳等機制來監視主節點，并選舉新的主節點。因此，即使主節點故障，集群也可以繼續工作。 3.數據同步：雖然數據在存儲和查詢時只存放在數據節點上，但數據同步也是很重要的。ES會自動將新創建的索引分片和副本分配到不同的數據節點上，以實現負載均衡。當索引分片或副本在一個節點上失敗時，其他節點會接管這個分片或副本。這種機制確保數據在整個集群中是均衡和可用的。 因此，ES集群確實有自己的自動數據同步策略和機制來確保數據的高可用性。ES將使用副本、主節點優化和數據同步等機制來確保集群中的數據總是可用和一致的。雖然數據只存儲在數據節點上，但所有節點都有元數據和狀態的副本，以確保狀態在整個集群中是一致的。 Q：集群的元數據是指什么？ > 在 Elasticsearch 中，元數據（Metadata）是指用于管理集群和節點信息的數據。它們包含有關索引和映射的信息，用于跟蹤節點和集群狀態，并支持 Elasticsearch 的自我管理和自我維護。以下是一些常見的元數據類型： - 索引元數據：用于跟蹤索引和它們一些屬性，例如索引分片和副本的數量、索引設置和映射。這些元數據包含在集群的主節點中，可以協調集群中的所有節點并管理索引的創建和刪除等操作。 - 節點元數據：用于跟蹤節點狀態、硬件配置和節點標識符等信息。這些元數據包含在節點本身中，并且可以通過主節點查詢和管理。 - 集群元數據：用于跟蹤集群狀態和節點對等體信息，以及集群級別設置和配置等信息。這些元數據存儲在主節點中，可以預算和管理整個集群的狀態。 數據在 Elasticsearch 中起著重要的作用，因為它們允許 Elasticsearch 自我維護和自我管理，從而提高了系統的可用性和性能。在集群中，元數據被復制和分發到每個節點，以便在任何節點發生故障時都可以維護整個系統的連通性。此外，元數據還為像索引的自動擴展、自動故障轉移和系統監視等自動化功能提供支持。 Q：一臺服務器怎么同時部署主節點和客戶端節點？ > 在 Elasticsearch 中，主節點和客戶端節點默認是可以在同一臺服務器上部署的。在這種情況下，Elasticsearch 需要在同一節點上運行兩個角色：主節點來管理集群和元數據，客戶端節點作為查詢接口和跟蹤索引狀態的功能。要將一臺服務器配置為同時擔任主節點和客戶端節點角色，請按照以下步驟操作： 1. 在 Elasticsearch 的配置文件中設置 node 和 node.data 的參數都為 true，同時設置 node.client 參數也為 true。這樣可以啟動 Elasticserch 節點以擔任這兩個角色。 2. 啟動 Elasticsearch 服務，等待 Elasticsearch 將主節點和客戶端色啟用在同一節點上。這樣，Elasticsearch 將同時接受自其他節點的查詢請求，并維護整個集群的狀態和元數據。 需要注意的是，如果你將主節點和客戶端節點部署在同一個服務器上，可能會影響查詢性能，并且增加了由于服務器故障而導致數據不可用的風險。因此，在可行的情況下，應將主節點和客戶端節點分別部署在不同的服務器上確保更好的性能和高可用性。 Q：如果es集群里有2臺數據節點服務器，這時候我需要分別將數據同步到這2臺數據節點服務器上？還是說我只要同步到一臺上，es就會幫我自動幫我同步到另外一臺上？ > 當 Elasticsearch 集群中有多個數據節點時，Elasticsearch會自動在所有數據節點之間同步數據，這意味著你只需要先將數據同步到一個節點上，Elasticsearch 就會自動同步數據到其他數據節點。你無需在復制數據到每個節點，Elasticsearch 會自動負責數據的復制和分布。 所有Elasticsearch節點都是對等的，不像傳統的主從復制模式，它們都是等價的。這也就意味著您一旦將數據和索引提交到一個節點，這些數據和索引將會自動同步到集群中的其它數據節點上。這個機制叫做數據自動分片（sharding）和副本（replica）。 當你在操作一個節點時，集群將自動地索引和數據復制到其它幾個節點上。如果因為某種原因其中一個節點停機了，那么集群將自動選擇另一個節點來接管正在執行的任務，這個機制叫做主節點選舉。這也就是說當一個節點磁盤嚴重損壞或其他硬件故障時，Index數據不會丟失，系統會通過副本機制保護數據安全性。 因此，您只需要將數據同步到第一個數據節點上，該節點將自動將數據同步到其他節點。不需要額外的同步配置或操作。 Q：es是怎么實現負載均衡的，例如有哪些策略？需要配置嗎？如何配置？ >ES（Elasticsearch）通過分發和處理集群中不同節點上請求的方式實現負載均衡，具體實現方式為采用一致性哈希算法，將每個請求路由到不同的節點上，從而達到負載均衡的效果。 cluster.routing.allocation.balance.type: round_robin // 默認的負載均衡策略，如果在Elasticsearch集群上沒有手動更改負載均衡策略，它將默認使用輪詢策略來分配請求。通過使用_cat/allocation?v API，可以查看Elasticsearch集群當前的節點分配狀態和負載均衡策略。 ES中有多種負載均衡策略，例如： >1. Round Robin（輪詢）：ES在每個節點之間輪流分配請求，均衡地將請求分配到不同的節點。 >2. Least Connections（最少連接數）：ES在節點之間均勻地分配請求，但是只將請求分配給當前連接數最少的節點。 >3. Random（隨機）：ES將每個請求隨機地分配給節點，從而實現負載均衡。 Q：那我如何知道當前查詢請求是在哪一個節點處理的？ > 在Elasticsearch中，您可以使用 `_cat` API 來查詢、監控和管理節點和集群狀態。 通過使用 `_cat` API 并指定適當的參數，您可以查看與負載均衡相關的各種信息。 其中，您可以使用 `_cat/shards` API 來查看索引的副本和碎片在不同節點上的分配情況。 例如，以下命令將顯示對 `my_index` 索引進行查詢時碎片所在位置的信息： ``` GET _cat/shards/my_index?v ``` 命令返回值中的 `shard` 和 `node` 字段可以用來查看在哪個節點上處理了當前請求。 除了這個API之外，您還可以使用Elasticsearch自帶的 `_cat/nodes` API 查看節點的相關信息，包括節點的狀態、名稱、IP地址等。例如，以下命令將顯示Elasticsearch所有節點的當前信息和狀態： ``` GET _cat/nodes?v ``` 命令返回值中的 `name` 和 `ip` 幫助您知道當前請求是在哪個節點處理的。 更多的Elasticsearch `_cat` API，包括`_cat/indices`、`_cat/aliases`、`_cat/tasks`等，都可以讓您更好地跟蹤監控和管理Elasticsearch集群中的不同狀態。