## 為什么需要索引？ 當你抱怨MongoDB集合查詢效率低的時候，可能你就需要考慮使用索引了，為了方便后續介紹，先科普下MongoDB里的索引機制（同樣適用于其他的數據庫比如mysql）。 ~~~ mongo-9552:PRIMARY> db.person.find() { "_id" : ObjectId("571b5da31b0d530a03b3ce82"), "name" : "jack", "age" : 19 } { "_id" : ObjectId("571b5dae1b0d530a03b3ce83"), "name" : "rose", "age" : 20 } { "_id" : ObjectId("571b5db81b0d530a03b3ce84"), "name" : "jack", "age" : 18 } { "_id" : ObjectId("571b5dc21b0d530a03b3ce85"), "name" : "tony", "age" : 21 } { "_id" : ObjectId("571b5dc21b0d530a03b3ce86"), "name" : "adam", "age" : 18 } ~~~ 當你往某各個集合插入多個文檔后，每個文檔在經過底層的存儲引擎持久化后，會有一個位置信息，通過這個位置信息，就能從存儲引擎里讀出該文檔。比如[mmapv1引擎](https://docs.mongodb.org/manual/core/mmapv1/)里，位置信息是`『文件id + 文件內offset 』`， 在[wiredtiger存儲引擎](https://docs.mongodb.org/manual/core/wiredtiger/)（一個KV存儲引擎）里，位置信息是wiredtiger在存儲文檔時生成的一個key，通過這個key能訪問到對應的文檔；為方便介紹，統一用`pos(position的縮寫)`來代表位置信息。 比如上面的例子里，`person`集合里包含插入了4個文檔，假設其存儲后位置信息如下(為方便描述，文檔省去_id字段) | 位置信息 | 文檔 | | --- | --- | | pos1 | {“name” : “jack”, “age” : 19 } | | pos2 | {“name” : “rose”, “age” : 20 } | | pos3 | {“name” : “jack”, “age” : 18 } | | pos4 | {“name” : “tony”, “age” : 21} | | pos5 | {“name” : “adam”, “age” : 18} | 假設現在有個查詢?`db.person.find( {age: 18} )`, 查詢所有年齡為18歲的人，這時需要遍歷所有的文檔（『全表掃描』），根據位置信息讀出文檔，對比age字段是否為18。當然如果只有4個文檔，全表掃描的開銷并不大，但如果集合文檔數量到百萬、甚至千萬上億的時候，對集合進行全表掃描開銷是非常大的，一個查詢耗費數十秒甚至幾分鐘都有可能。 如果想加速?`db.person.find( {age: 18} ）`，就可以考慮對person表的age字段[建立索引](https://docs.mongodb.org/manual/reference/method/db.collection.createIndex/)。 ~~~ db.person.createIndex( {age: 1} ) // 按age字段創建升序索引 ~~~ 建立索引后，MongoDB會額外存儲一份按age字段升序排序的索引數據，索引結構類似如下，索引通常采用類似btree的結構持久化存儲，以保證從索引里快速（`O(logN)的時間復雜度`）找出某個age值對應的位置信息，然后根據位置信息就能讀取出對應的文檔。 | age | 位置信息 | | --- | --- | | 18 | pos3 | | 18 | pos5 | | 19 | pos1 | | 20 | pos2 | | 21 | pos4 | 簡單的說，索引就是將`文檔`按照某個（或某些）字段順序組織起來，以便能根據該字段高效的查詢。有了索引，至少能優化如下場景的效率： * 查詢，比如查詢年齡為18的所有人 * 更新/刪除，將年齡為18的所有人的信息更新或刪除，因為更新或刪除時，需要根據條件先查詢出所有符合條件的文檔，所以本質上還是在優化查詢 * 排序，將所有人的信息按年齡排序，如果沒有索引，需要全表掃描文檔，然后再對掃描的結果進行排序 眾所周知，MongoDB默認會為插入的文檔生成_id字段（如果應用本身沒有指定該字段），_id是文檔唯一的標識，為了保證能根據文檔id快遞查詢文檔，MongoDB默認會為集合創建_id字段的索引。 ~~~ mongo-9552:PRIMARY> db.person.getIndexes() // 查詢集合的索引信息 [ { "ns" : "test.person", // 集合名 "v" : 1, // 索引版本 "key" : { // 索引的字段及排序方向 "_id" : 1 // 根據_id字段升序索引 }, "name" : "_id_" // 索引的名稱 } ] ~~~ ## MongoDB索引類型 MongoDB支持多種類型的索引，包括單字段索引、復合索引、多key索引、文本索引等，每種類型的索引有不同的使用場合。 ### 單字段索引 （Single Field Index） ~~~ db.person.createIndex( {age: 1} ) ~~~ 上述語句針對age創建了單字段索引，其能加速對age字段的各種查詢請求，是最常見的索引形式，MongoDB默認創建的id索引也是這種類型。 {age: 1} 代表升序索引，也可以通過{age: -1}來指定降序索引，對于單字段索引，升序/降序效果是一樣的。 ### 復合索引 (Compound Index) 復合索引是Single Field Index的升級版本，它針對多個字段聯合創建索引，先按第一個字段排序，第一個字段相同的文檔按第二個字段排序，依次類推，如下針對age, name這2個字段創建一個復合索引。 ~~~ db.person.createIndex( {age: 1, name: 1} ) ~~~ 上述索引對應的數據組織類似下表，與{age: 1}索引不同的時，當age字段相同時，在根據name字段進行排序，所以pos5對應的文檔排在pos3之前。 | age | 位置信息 | | --- | --- | | 18 | pos5 | | 18 | pos3 | | 19 | pos1 | | 20 | pos2 | | 21 | pos4 | 復合索引能滿足的查詢場景比單字段索引更豐富，不光能滿足多個字段組合起來的查詢，比如`db.person.find( {age： 18， name: "jack"} )`，也能滿足所以能匹配符合索引前綴的查詢，這里{age: 1}即為{age: 1, name: 1}的前綴，所以類似`db.person.find( {age： 18} )`的查詢也能通過該索引來加速；但`db.person.find( {name: "jack"} )`則無法使用該復合索引。如果經常需要根據『name字段』以及『name和age字段組合』來查詢，則應該創建如下的復合索引 ~~~ db.person.createIndex( {name: 1, age: 1} ) ~~~ 除了查詢的需求能夠影響索引的順序，字段的值分布也是一個重要的考量因素，即使person集合所有的查詢都是『name和age字段組合』（指定特定的name和age），字段的順序也是有影響的。 age字段的取值很有限，即擁有相同age字段的文檔會有很多；而name字段的取值則豐富很多，擁有相同name字段的文檔很少；顯然先按name字段查找，再在相同name的文檔里查找age字段更為高效。 ### 多key索引 （Multikey Index） 當索引的字段為數組時，創建出的索引稱為多key索引，多key索引會為數組的每個元素建立一條索引，比如person表加入一個habbit字段（數組）用于描述興趣愛好，需要查詢有相同興趣愛好的人就可以利用habbit字段的多key索引。 ~~~ {"name" : "jack", "age" : 19, habbit: ["football, runnning"]} db.person.createIndex( {habbit: 1} ) // 自動創建多key索引 db.person.find( {habbit: "football"} ) ~~~ ### 其他類型索引 [哈希索引（Hashed Index）](https://docs.mongodb.org/manual/core/index-hashed/)是指按照某個字段的hash值來建立索引，目前主要用于[MongoDB Sharded Cluster](https://yq.aliyun.com/articles/32434?spm=5176.100238.yqhn2.22.0cUwgh)的Hash分片，hash索引只能滿足字段完全匹配的查詢，不能滿足范圍查詢等。 [地理位置索引（Geospatial Index）](https://docs.mongodb.org/manual/core/2d/)能很好的解決O2O的應用場景，比如『查找附近的美食』、『查找某個區域內的車站』等。 [文本索引（Text Index）](https://docs.mongodb.org/manual/core/index-text/)能解決快速文本查找的需求，比如有一個博客文章集合，需要根據博客的內容來快速查找，則可以針對博客內容建立文本索引。 ### 索引額外屬性 MongoDB除了支持多種不同類型的索引，還能對索引定制一些特殊的屬性。 * [唯一索引 (unique index)](https://docs.mongodb.org/v3.0/tutorial/create-a-unique-index/)：保證索引對應的字段不會出現相同的值，比如_id索引就是唯一索引 * [TTL索引](https://docs.mongodb.org/manual/core/index-ttl/)：可以針對某個時間字段，指定文檔的過期時間（經過指定時間后過期 或 在某個時間點過期） * [部分索引 (partial index)](https://docs.mongodb.org/manual/core/index-partial/): 只針對符合某個特定條件的文檔建立索引，3.2版本才支持該特性 * [稀疏索引(sparse index)](https://docs.mongodb.org/manual/core/index-sparse/): 只針對存在索引字段的文檔建立索引，可看做是部分索引的一種特殊情況 ## 索引優化 ### db profiling MongoDB支持對DB的請求進行[profiling](https://docs.mongodb.org/manual/tutorial/manage-the-database-profiler/)，目前支持3種級別的profiling。 * 0： 不開啟profiling * 1： 將處理時間超過某個閾值(默認100ms)的請求都記錄到DB下的system.profile集合 （類似于mysql、redis的slowlog） * 2： 將所有的請求都記錄到DB下的system.profile集合（生產環境慎用） 通常，生產環境建議使用1級別的profiling，并根據自身需求配置合理的閾值，用于監測慢請求的情況，并及時的做索引優化。 如果能在集合創建的時候就能『根據業務查詢需求決定應該創建哪些索引』，當然是最佳的選擇；但由于業務需求多變，要根據實際情況不斷的進行優化。索引并不是越多越好，集合的索引太多，會影響寫入、更新的性能，每次寫入都需要更新所有索引的數據；所以你system.profile里的慢請求可能是索引建立的不夠導致，也可能是索引過多導致。 ### 查詢計劃 索引已經建立了，但查詢還是很慢怎么破？這時就得深入的分析下索引的使用情況了，可通過查看下詳細的[查詢計劃](https://docs.mongodb.org/manual/core/query-plans/)來決定如何優化。通過執行計劃可以看出如下問題 1. 根據某個/些字段查詢，但沒有建立索引 2. 根據某個/些字段查詢，但建立了多個索引，執行查詢時沒有使用預期的索引。 建立索引前，`db.person.find( {age： 18} )`必須執行[COLLSCAN](https://docs.mongodb.org/manual/reference/explain-results/#queryplanner)，即全表掃描。 ~~~ mongo-9552:PRIMARY> db.person.find({age: 18}).explain() { "queryPlanner" : { "plannerVersion" : 1, "namespace" : "test.person", "indexFilterSet" : false, "parsedQuery" : { "age" : { "$eq" : 18 } }, "winningPlan" : { "stage" : "COLLSCAN", "filter" : { "age" : { "$eq" : 18 } }, "direction" : "forward" }, "rejectedPlans" : [ ] }, "serverInfo" : { "host" : "localhost", "port" : 9552, "version" : "3.2.3", "gitVersion" : "b326ba837cf6f49d65c2f85e1b70f6f31ece7937" }, "ok" : 1 } ~~~ 建立索引后，通過查詢計劃可以看出，先進行[IXSCAN](https://docs.mongodb.org/manual/reference/explain-results/#queryplanner)(從索引中查找)，然后[FETCH](https://docs.mongodb.org/manual/reference/explain-results/#queryplanner)，讀取出滿足條件的文檔。 ~~~ mongo-9552:PRIMARY> db.person.find({age: 18}).explain() { "queryPlanner" : { "plannerVersion" : 1, "namespace" : "test.person", "indexFilterSet" : false, "parsedQuery" : { "age" : { "$eq" : 18 } }, "winningPlan" : { "stage" : "FETCH", "inputStage" : { "stage" : "IXSCAN", "keyPattern" : { "age" : 1 }, "indexName" : "age_1", "isMultiKey" : false, "isUnique" : false, "isSparse" : false, "isPartial" : false, "indexVersion" : 1, "direction" : "forward", "indexBounds" : { "age" : [ "[18.0, 18.0]" ] } } }, "rejectedPlans" : [ ] }, "serverInfo" : { "host" : "localhost", "port" : 9552, "version" : "3.2.3", "gitVersion" : "b326ba837cf6f49d65c2f85e1b70f6f31ece7937" }, "ok" : 1 } ~~~ ## 參考資料 * [MongoDB索引介紹](https://docs.mongodb.org/manual/core/indexes) * [createIndex命令](https://docs.mongodb.org/manual/reference/method/db.collection.createIndex/) * [MongoDB Sharded Cluster](https://yq.aliyun.com/articles/32434?spm=5176.100238.yqhn2.22.0cUwgh) * [唯一索引 (unique index)](https://docs.mongodb.org/v3.0/tutorial/create-a-unique-index/) * [TTL索引](https://docs.mongodb.org/manual/core/index-ttl/) * [部分索引 (partial index)](https://docs.mongodb.org/manual/core/index-partial/) * [稀疏索引(sparse index)](https://docs.mongodb.org/manual/core/index-sparse/) * [database profiling](https://docs.mongodb.org/manual/tutorial/manage-the-database-profiler/)