## 倒排索引
Elasticsearch使用一種叫做**倒排索引(inverted index)**的結構來做快速的全文搜索。倒排索引由在文檔中出現的唯一的單詞列表,以及對于每個單詞在文檔中的位置組成。
例如,我們有兩個文檔,每個文檔`content`字段包含:
1. The quick brown fox jumped over the lazy dog
2. Quick brown foxes leap over lazy dogs in summer
為了創建倒排索引,我們首先切分每個文檔的`content`字段為單獨的單詞(我們把它們叫做**詞(terms)**或者**表征(tokens)**)(譯者注:關于`terms`和`tokens`的翻譯比較生硬,只需知道語句分詞后的個體叫做這兩個。),把所有的唯一詞放入列表并排序,結果是這個樣子的:
|Term | Doc_1 |Doc_2|
|--------|-------|-----|
|Quick | | X |
|The | X | |
|brown | X | X |
|dog | X | |
|dogs | | X |
|fox | X | |
|foxes | | X |
|in | | X |
|jumped | X | |
|lazy | X | X |
|leap | | X |
|over | X | X |
|quick | X | |
|summer | | X |
|the | X | ||
現在,如果我們想搜索`"quick brown"`,我們只需要找到每個詞在哪個文檔中出現即可:
|Term | Doc_1 |Doc_2|
|-----|-------|-----|
|brown| X | X |
|quick| X | |
|-----|-------|-----|
|Total| 2 | 1 |
兩個文檔都匹配,但是第一個比第二個有更多的匹配項。
如果我們加入簡單的**相似度算法(similarity algorithm)**,計算匹配單詞的數目,這樣我們就可以說第一個文檔比第二個匹配度更高——對于我們的查詢具有更多相關性。
但是在我們的倒排索引中還有些問題:
1. `"Quick"`和`"quick"`被認為是不同的單詞,但是用戶可能認為它們是相同的。
2. `"fox"`和`"foxes"`很相似,就像`"dog"`和`"dogs"`——它們都是同根詞。
3. `"jumped"`和`"leap"`不是同根詞,但意思相似——它們是同義詞。
上面的索引中,搜索`"+Quick +fox"`不會匹配任何文檔(記住,前綴`+`表示單詞必須匹配到)。只有`"Quick"`和`"fox"`都在同一文檔中才可以匹配查詢,但是第一個文檔包含`"quick fox"`且第二個文檔包含`"Quick foxes"`。(譯者注:這段真啰嗦,說白了就是單復數和同義詞沒法匹配)
用戶可以合理地希望兩個文檔都能匹配查詢,我們也可以做得更好。
如果我們將詞為統一為標準格式,這樣就可以找到不是確切匹配查詢,但是足以相似從而可以關聯的文檔。例如:
1. `"Quick"`可以轉為小寫成為`"quick"`。
2. `"foxes"`可以被轉為根形式`"fox"`。同理`"dogs"`可以被轉為`"dog"`。
3. `"jumped"`和`"leap"`同義就可以只索引為單個詞`"jump"`
現在的索引:
|Term | Doc_1 |Doc_2|
|--------|-------|-----|
|brown | X | X |
|dog | X | X |
|fox | X | X |
|in | | X |
|jump | X | X |
|lazy | X | X |
|over | X | X |
|quick | X | X |
|summer | | X |
|the | X | X |
但我們還未成功。我們的搜索`"+Quick +fox"`*依舊*失敗,因為`"Quick"`的確切值已經不在索引里,不過,如果我們使用相同的標準化規則處理查詢字符串的`content`字段,查詢將變成`"+quick +fox"`,這樣就可以匹配到兩個文檔。
>### IMPORTANT
>這很重要。你只可以找到確實存在于索引中的詞,所以**索引文本和查詢字符串都要標準化為相同的形式**。
這個標記化和標準化的過程叫做**分詞(analysis)**,這個在下節中我們討論。
- Introduction
- 入門
- 是什么
- 安裝
- API
- 文檔
- 索引
- 搜索
- 聚合
- 小結
- 分布式
- 結語
- 分布式集群
- 空集群
- 集群健康
- 添加索引
- 故障轉移
- 橫向擴展
- 更多擴展
- 應對故障
- 數據
- 文檔
- 索引
- 獲取
- 存在
- 更新
- 創建
- 刪除
- 版本控制
- 局部更新
- Mget
- 批量
- 結語
- 分布式增刪改查
- 路由
- 分片交互
- 新建、索引和刪除
- 檢索
- 局部更新
- 批量請求
- 批量格式
- 搜索
- 空搜索
- 多索引和多類型
- 分頁
- 查詢字符串
- 映射和分析
- 數據類型差異
- 確切值對決全文
- 倒排索引
- 分析
- 映射
- 復合類型
- 結構化查詢
- 請求體查詢
- 結構化查詢
- 查詢與過濾
- 重要的查詢子句
- 過濾查詢
- 驗證查詢
- 結語
- 排序
- 排序
- 字符串排序
- 相關性
- 字段數據
- 分布式搜索
- 查詢階段
- 取回階段
- 搜索選項
- 掃描和滾屏
- 索引管理
- 創建刪除
- 設置
- 配置分析器
- 自定義分析器
- 映射
- 根對象
- 元數據中的source字段
- 元數據中的all字段
- 元數據中的ID字段
- 動態映射
- 自定義動態映射
- 默認映射
- 重建索引
- 別名
- 深入分片
- 使文本可以被搜索
- 動態索引
- 近實時搜索
- 持久化變更
- 合并段
- 結構化搜索
- 查詢準確值
- 組合過濾
- 查詢多個準確值
- 包含,而不是相等
- 范圍
- 處理 Null 值
- 緩存
- 過濾順序
- 全文搜索
- 匹配查詢
- 多詞查詢
- 組合查詢
- 布爾匹配
- 增加子句
- 控制分析
- 關聯失效
- 多字段搜索
- 多重查詢字符串
- 單一查詢字符串
- 最佳字段
- 最佳字段查詢調優
- 多重匹配查詢
- 最多字段查詢
- 跨字段對象查詢
- 以字段為中心查詢
- 全字段查詢
- 跨字段查詢
- 精確查詢
- 模糊匹配
- Phrase matching
- Slop
- Multi value fields
- Scoring
- Relevance
- Performance
- Shingles
- Partial_Matching
- Postcodes
- Prefix query
- Wildcard Regexp
- Match phrase prefix
- Index time
- Ngram intro
- Search as you type
- Compound words
- Relevance
- Scoring theory
- Practical scoring
- Query time boosting
- Query scoring
- Not quite not
- Ignoring TFIDF
- Function score query
- Popularity
- Boosting filtered subsets
- Random scoring
- Decay functions
- Pluggable similarities
- Conclusion
- Language intro
- Intro
- Using
- Configuring
- Language pitfalls
- One language per doc
- One language per field
- Mixed language fields
- Conclusion
- Identifying words
- Intro
- Standard analyzer
- Standard tokenizer
- ICU plugin
- ICU tokenizer
- Tidying text
- Token normalization
- Intro
- Lowercasing
- Removing diacritics
- Unicode world
- Case folding
- Character folding
- Sorting and collations
- Stemming
- Intro
- Algorithmic stemmers
- Dictionary stemmers
- Hunspell stemmer
- Choosing a stemmer
- Controlling stemming
- Stemming in situ
- Stopwords
- Intro
- Using stopwords
- Stopwords and performance
- Divide and conquer
- Phrase queries
- Common grams
- Relevance
- Synonyms
- Intro
- Using synonyms
- Synonym formats
- Expand contract
- Analysis chain
- Multi word synonyms
- Symbol synonyms
- Fuzzy matching
- Intro
- Fuzziness
- Fuzzy query
- Fuzzy match query
- Scoring fuzziness
- Phonetic matching
- Aggregations
- overview
- circuit breaker fd settings
- filtering
- facets
- docvalues
- eager
- breadth vs depth
- Conclusion
- concepts buckets
- basic example
- add metric
- nested bucket
- extra metrics
- bucket metric list
- histogram
- date histogram
- scope
- filtering
- sorting ordering
- approx intro
- cardinality
- percentiles
- sigterms intro
- sigterms
- fielddata
- analyzed vs not
- 地理坐標點
- 地理坐標點
- 通過地理坐標點過濾
- 地理坐標盒模型過濾器
- 地理距離過濾器
- 緩存地理位置過濾器
- 減少內存占用
- 按距離排序
- Geohashe
- Geohashe
- Geohashe映射
- Geohash單元過濾器
- 地理位置聚合
- 地理位置聚合
- 按距離聚合
- Geohash單元聚合器
- 范圍(邊界)聚合器
- 地理形狀
- 地理形狀
- 映射地理形狀
- 索引地理形狀
- 查詢地理形狀
- 在查詢中使用已索引的形狀
- 地理形狀的過濾與緩存
- 關系
- 關系
- 應用級別的Join操作
- 扁平化你的數據
- Top hits
- Concurrency
- Concurrency solutions
- 嵌套
- 嵌套對象
- 嵌套映射
- 嵌套查詢
- 嵌套排序
- 嵌套集合
- Parent Child
- Parent child
- Indexing parent child
- Has child
- Has parent
- Children agg
- Grandparents
- Practical considerations
- Scaling
- Shard
- Overallocation
- Kagillion shards
- Capacity planning
- Replica shards
- Multiple indices
- Index per timeframe
- Index templates
- Retiring data
- Index per user
- Shared index
- Faking it
- One big user
- Scale is not infinite
- Cluster Admin
- Marvel
- Health
- Node stats
- Other stats
- Deployment
- hardware
- other
- config
- dont touch
- heap
- file descriptors
- conclusion
- cluster settings
- Post Deployment
- dynamic settings
- logging
- indexing perf
- rolling restart
- backup
- restore
- conclusion