# Compound Word Token Filter（復合詞過濾器）
原文鏈接 :[https://www.elastic.co/guide/en/elasticsearch/reference/5.4/analysis-compound-word-tokenfilter.html](https://www.elastic.co/guide/en/elasticsearch/reference/5.4/analysis-compound-word-tokenfilter.html)
譯文鏈接 : [http://www.apache.wiki/pages/viewpage.action?pageId=10027907](http://www.apache.wiki/pages/viewpage.action?pageId=10027907)
貢獻者 : [李亞運](/display/~liyayun)，[ApacheCN](/display/~apachecn)，[Apache中文網](/display/~apachechina)
## 簡述
`hyphenation_decompounder`和`dictionary_decompounder`過濾器可以將許多德語中的復合詞進行拆分。
兩個過濾器都需要單詞字典，可以按如下方式提供：
| `word_list` | 或一系列字，在令牌過濾器配置中內聯指定 |
| `word_list_path` | UTF-8編碼文件的路徑（絕對或相對于`config`目錄），每行包含一個字。 |
## Hyphenation decompounder（連詞分解）
`hyphenation_decompounder`使用連字符語法來查找潛在的字詞，然后對單詞字典進行檢查。?輸出的token質量與您使用的語法文件的質量直接相關。?對于像德語這樣的語言是非常適用的。?
基于XML的連字符語法文件可以在“?[對象格式化對象](http://offo.sourceforge.net/#FOP+XML+Hyphenation+Patterns)?（OFFO）Sourceforge”項目中找到。?目前僅支持FOP v1.2兼容連字符文件。?您可以直接下載[offo-hyphenation_v1.2.zip](https://sourceforge.net/projects/offo/files/offo-hyphenation/1.2/offo-hyphenation_v1.2.zip/downloadALkJrhh1HOK03GnbuWiuoThBDDDion7pCg)并查看`offo-hyphenation/hyph/`目錄。想了解更多可以去查看Apache FOP項目。
## Dictionary decompounder（字典分解）
`dictionary_decompounder`使用強力方法與僅字典字典結合使用復合詞中的子詞。?它比連字符分解器慢得多，但可以作為檢驗字典質量的第一步。
## Compound token filter parameters（復合詞元過濾器參數）
以下參數可用于配置復合詞元過濾器：
| `type` | 任何一個`dictionary_decompounder`或者是`hyphenation_decompounder`?。 |
| `word_list` | 包含用于單詞字典的單詞列表的數組。 |
| `word_list_path` | 單詞字典的路徑（絕對或相對于`config`目錄）。 |
| `hyphenation_patterns_path` | FOP XML連字符模式文件的路徑（絕對或相對于`config`目錄）。（當連詞分解時需要配置） |
| `min_word_size` | 最小字大小。?默認為5。 |
| `min_subword_size` | 最小子字大小。?默認為2。 |
| `max_subword_size` | 最大字大小。?默認為15。 |
| `only_longest_match` | 是否只包括最長的匹配子字。?默認為`false` |
如下例所示：
```
index :
analysis :
analyzer :
myAnalyzer2 :
type : custom
tokenizer : standard
filter : [myTokenFilter1, myTokenFilter2]
filter :
myTokenFilter1 :
type : dictionary_decompounder
word_list: [one, two, three]
myTokenFilter2 :
type : hyphenation_decompounder
word_list_path: path/to/words.txt
hyphenation_patterns_path: path/to/fop.xml
max_subword_size : 22
```
- Getting Started（入門指南）
- Basic Concepts（基礎概念）
- Installation（安裝）
- Exploring Your Cluster（探索集群）
- Cluster Health（集群健康）
- List All Indices（列出所有索引）
- Create an Index（創建索引）
- Index and Query a Document（索引和查詢文檔）
- Delete an Index（刪除索引）
- Modifying Your Data（修改數據）
- Updating Documents（更新文檔）
- Deleting Documents（刪除文檔）
- Batch Processing（批處理）
- Exploring Your Data（探索數據）
- The Search API（搜索 API）
- Introducing the Query Language（介紹查詢語言）
- Executing Searches（執行查詢）
- Executing Filters（執行過濾）
- Executing Aggregations（執行聚合）
- Conclusion（總結）
- Setup Elasticsearch（設置）
- Installing Elasticsearch（安裝）
- zip 或 tar.gz 安裝
- Debian軟件包安裝Elasticsearch
- 用RPM安裝Elasticsearch
- Windows 環境下安裝ES
- Docker 方式安裝
- 配置Elasticsearch
- 重要Elasticsearch配置
- 安全配置
- 啟動前檢查
- 堆大小檢查
- 文件描述符檢查
- 內存鎖定檢查
- 最大線程數檢查
- 最大虛擬內存檢查
- 最大map數檢查
- JVM Client模式檢查
- 串行收集使用檢查
- 系統調用過濾檢查
- OnError與OnOutOfMemoryError檢查
- G1GC檢查
- 重要的系統配置
- 系統設置
- 在jvm.options中設置JVM堆大小
- 禁用swapping
- 文件描述符
- 虛擬內存
- 線程數
- 升級Elasticsearch
- Elasticsearch停機
- 重大改變
- 在5.3 重大改變
- 在5.2 重大改變
- Shadow Replicas已被棄用
- 在5.1 重大改變
- 在5.0 重大改變
- 搜索和查詢DSL改變
- 映射改變
- 過濾器改變
- Suggester變化
- 索引API改變
- 文檔API改變
- 設置的改變
- 分配改變
- HTTP改變
- REST API改變
- CAT API改變
- Java API改變
- Packaging
- Plugin改變
- 文件系統相關改變
- 磁盤上數據的路徑
- 聚合改變
- 腳本相關改變
- API 規范
- Multiple Indices（多個索引）
- Date math support in index names（索引名稱對 Date 和 Math 的支持）
- 常見選項
- URL-based access control（基于 URL 的訪問控制）
- Document APIS
- Index API
- Get API
- Update API
- 通過查詢 API 更新
- 多個 GET API
- Bulk API
- Reading and Writing documents（讀寫文檔）
- Delete API
- Delete By Query API
- Reindex API
- Term Vectors
- Multi termvectors API
- ?refresh
- Search APIs
- Search
- URI Search
- Request Body Search
- Query
- From / Size
- Sort
- Source filtering
- Fields
- Script Fields
- Doc value Fields
- Post filter
- Highlighting
- Rescoring
- Search Type
- Scroll
- Preference
- Explain
- Version
- Index Boost
- min_score
- Named Queries
- Inner hits
- Search After
- Field Collapsing 字段折疊
- Search 模板
- Multi Search 模板
- Search Shards API
- Suggesters
- Completion Suggester
- Context Suggester
- Phrase Suggester
- Term suggester
- Multi Search API
- Count API
- Validate API
- Explain API
- Profile API
- Profiling Queries
- Profiling Aggregations
- Profiling Considerations
- Aggregations
- Metric Aggregations
- 值計數聚合（Value Count Aggregation）
- 地理邊界聚合
- 地理重心聚合
- 基數聚合
- 平均值聚合
- 擴展統計聚合
- 最大值聚合
- 最小值聚合
- Bucket Aggregations
- Children Aggregation
- Date Histogram Aggregation
- Date Range Aggregation
- Diversified Sampler Aggregation
- Filter Aggregation（過濾器聚合）
- Filters Aggregation
- Geo Distance Aggregation(地理距離聚合)
- GeoHash grid Aggregation(GeoHash網格聚合)
- Global Aggregation(全局聚合)
- Histogram Aggregation
- IP Range Aggregation(IP范圍聚合)
- Missing Aggregation
- Nested Aggregation（嵌套聚合）
- Range Aggregation(范圍聚合)
- Reverse nested Aggregation
- Sampler Aggregation
- Significant Terms Aggregation
- 鄰接矩陣聚合
- Pipeline Aggregations
- Avg Bucket Aggregation
- Derivative Aggregation（導數聚合）
- Max Bucket Aggregation
- Min Bucket Aggregation
- Sum Bucket Aggregation
- Stats Bucket Aggregation
- Extended Stats Bucket Aggregation（擴展信息桶聚合）
- Percentiles Bucket Aggregation（百分數桶聚合）
- Cumulative Sum Aggregation（累積匯總聚合）
- Bucket Script Aggregation（桶腳本聚合）
- Bucket Selector Aggregation（桶選擇器聚合）
- Serial Differencing Aggregation（串行差異聚合）
- Matrix Aggregations
- Matrix Stats
- Matrix Stats（矩陣統計）
- Caching heavy aggregations（緩存頻繁聚合）
- Returning only aggregation results（僅返回需要聚合的結果）
- Aggregation Metadata（聚合元數據）
- Returning the type of the aggregation（返回聚合的類型）
- 索引 API
- Create Index /創建索引
- Delete Index /刪除索引
- Get Index /獲取索引
- Indices Exists /索引存在
- Open / Close Index API /啟動關閉索引
- Shrink Index /縮小索引
- Rollover Index/滾動索引
- Put Mapping /提交映射
- Get Mapping /獲取映射
- Get Field Mapping /獲取字段映射
- 卷影副本索引
- 依賴卷影副本的節點級設置
- 索引統計信息
- 索引段
- 索引恢復
- 索引分片存儲
- 清理緩存
- 刷新
- 同步刷新
- 重新加載
- 強制合并
- cat APIs
- cat aliases
- cat allocation
- cat count
- cat fielddata
- cat health
- cat indices
- cat master
- cat nodeattrs
- cat nodes
- cat pending tasks
- cat plugins
- cat recovery
- cat repositories
- cat thread pool
- cat shards
- cat segments
- cat snapshots
- 集群 API
- Cluster Allocation Explain API
- Cluster Health
- Cluster Reroute
- Cluster State
- Cluster Stats
- Cluster Update Settings
- Nodes hot_threads
- Nodes Info
- Nodes Stats
- Pending cluster tasks
- Task Management API
- 查詢 DSL
- 查詢和過濾上下文
- Match ALL 查詢
- 全文搜索
- 匹配查詢
- 短語匹配查詢
- 短語前綴匹配查詢
- 多字段查詢
- 常用術語查詢
- 查詢語句查詢
- 簡單查詢語句
- 復合查詢家族
- Constant Score 查詢
- Bool 查詢
- Dis Max 查詢
- Function Score 查詢
- Boosting 查詢
- Indices 查詢
- Join 查詢
- Has Child Query
- Has Parent Query
- Nested Query(嵌套查詢)
- Parent Id Query
- 術語查詢
- Exists Query(非空值查詢)
- Fuzzy Query(模糊查詢)
- Ids Query(ID 查詢)
- Prefix Query(前綴查詢)
- Range Query(范圍查詢)
- Regexp Query(正則表達式查詢)
- Term Query(項查詢)
- Terms Query(多項查詢)
- Type Query(類型查詢)
- Wildcard Query(通配符查詢)
- 地理位置查詢
- GeoShape Query(地理形狀查詢)
- Geo Bounding Box Query（地理邊框查詢）
- Geo Distance Query（地理距離查詢）
- Geo Distance Range Query（地理距離范圍查詢）
- Geo Polygon Query（地理多邊形查詢）
- Span 查詢
- Span Term 查詢
- Span Multi Term 查詢
- Span First 查詢
- Span Near 查詢
- Span Or 查詢
- Span Not 查詢
- Span Containing 查詢
- Span Within 查詢
- Span Field Masking 查詢
- Specialized queries(專業查詢)
- Mapping(映射)
- 字段類型
- Array
- Binary
- Range
- Boolean
- Date
- Geo-point datatype
- String
- Text
- Token數
- 滲濾型
- KeyWord
- Nested
- Object
- Numeric
- Meta-Fields（元字段）
- _all field
- _field_names field
- _id field
- _index field
- _meta field
- _parent field
- _routing field
- _source field
- _type field
- _uid field
- Mapping parameters（映射參數）
- analyzer（分析器）
- normalizer(歸一化)
- boost(提升)
- Coerce（強制類型轉換）
- copy_to（合并參數）
- doc_values（文檔值）
- dynamic（動態設置）
- enabled（開啟字段）
- fielddata（字段數據）
- format （日期格式）
- ignore_above（忽略超越限制的字段）
- ignore_malformed（忽略格式不對的數據）
- include_in_all（_all 查詢包含字段）
- index_options（索引設置）
- index （索引）
- fields（字段)
- Norms （標準信息）
- null_value（空值）
- position_increment_gap（短語位置間隙）
- properties （屬性）
- search_analyzer （搜索分析器）
- similarity （匹配方法）
- store（存儲）
- Term_vectors（詞根信息）
- Dynamic Mapping（動態映射）
- default mapping(mapping中的_default_)
- Dynamic field mapping(動態字段映射)
- Dynamic templates(動態模板)
- Override default template(覆蓋默認模板)
- Mapping（映射）
- Analysis
- Tokenizers（分詞器）
- Standard Tokenizer（標準分詞器）
- Letter Tokenizer
- Lowercase Tokenizer (小寫分詞器)
- Whitespace Analyzer
- 停止分析器
- UAX URL Email Tokenizer
- Classic Tokenizer
- Thai Tokenizer（泰語分詞器）
- NGram Tokenizer
- Keyword Analyzer
- Path Hierarchy Tokenizer（路徑層次分詞器）
- Pattern Tokenizer
- Token Filters（詞元過濾器）
- Apostrophe Token Filter(撇號/單引號過濾器)
- ASCII Folding Token Filter（ASCII Folding 詞元過濾器）
- CJK Bigram Token Filter（CJK Bigram詞元過濾器）
- CJK Width Token Filter（CJK寬度過濾器）
- Classic Token Filter(經典過濾器)
- Common Grams Token Filter(近義詞詞元過濾器)
- Compound Word Token Filter（復合詞過濾器）
- Decimal Digit Token Filter(十進制數字過濾器)
- Delimited Payload Token Filter（Delimited Payload詞元分析器）
- Edge NGram Token Filter（Edge NGram 詞元過濾器）
- Elision Token Filter(Elision詞元過濾器)
- Fingerprint Token Filter(指紋過濾器)
- Flatten Graph Token Filter（Flatten Graph 詞元過濾器）
- Hunspell Token Filter(Hunspell 詞元過濾器)
- Keep Types Token Filter（保留指定類型過濾器）
- Keep Words Token Filter(保留字過濾器)
- Keyword Marker Token Filter（Keyword Marker 詞元過濾器）
- Keyword Repeat Token Filter（Keyword Repeat 詞元過濾器）
- KStem Token Filter（KStem 詞元過濾器）
- Length Token Filter（長度詞元過濾器）
- Limit Token Count Token Filter(限制詞元數量過濾器)
- Lowercase Token Filter（Lowercase 詞元過濾器）
- Minhash Token Filter(Minhash過濾器)
- NGram Token Filter（NGram詞元過濾器）
- Normalization Token Filter（標準化詞元過濾器）
- Pattern Capture Token Filter(模式匹配詞元過濾器)
- Pattern Replace Token Filter（模式替換詞元過濾器）
- Phonetic Token Filter（Phonetic 詞元過濾器）
- Porter Stem Token Filter（Porter Stem 詞元過濾器）
- Reverse Token Filteredit(反向詞元過濾器)
- Shingle Token Filter（Shingle 詞元過濾器）
- Snowball Token Filter（Snowball 詞元過濾器）
- Standard Token Filters（標準詞元過濾器）
- Stemmer Override Token Filter（Stemmer Override 詞元過濾器）
- Stemmer Token Filter（Stemmer 詞元過濾器）
- Stop Token Filter（Stop 詞元過濾器）
- Synonym Graph Token Filter（Synonym Graph 詞元過濾器）
- Synonym Token Filter（Synonym 詞元過濾器）
- Trim Token Filter(Trim詞元過濾器)
- Truncate Token Filter（截斷詞元過濾器）
- Unique Token Filter（唯一詞元過濾器）
- Uppercase Token Filter（Uppercase詞元過濾器）
- Word Delimiter Token Filter（Word Delimiter 詞元過濾器）
- Character Filters（字符過濾器）
- md Strip Character Filter
- Mapping Character Filter
- Pattern Replace Character Filter
- Anatomy of an analyzer（分析器的分析）
- Testing analyzers（測試分析器）
- Analyzers(分析器)
- Configuring built-in analyzers（配置內置分析器）
- Standard Analyzer（標準分析器）
- Simple Analyzer（簡單分析器）
- 空白分析器
- Stop Analyzer
- 指紋分析器
- 模式分析器
- 自定義分析器
- 語言分析器
- 模塊
- Indices（索引）
- Circuit breakers（熔斷器）
- Fielddata cache(列數據緩存)
- indexing buffer(索引寫入緩沖)
- indices Recovery(索引恢復)
- NetWork Setting(網絡配置)
- Node Query Cache（節點查詢緩存）
- Shard request cache(分片請求緩存)
- 腳本
- Groovy 腳本語言
- Painless 腳本語言
- Painless 語法
- Painless 調試
- Lucene表達式語言
- 原生（Java）腳本
- 高級文本評分腳本
- 快照和還原
- 線程池
- 傳輸
- HTTP
- Tribe Node (部落節點)
- 跨集群搜索
- Cluster（集群）
- Disk-based Shard Allocation ( 基于磁盤的分片分配 )
- Shard Allocation Awareness ( 分片分配意識 )
- 群集級別分片分配
- Node
- 插件
- Index Modules（索引模塊）
- Analysis（分析）
- 索引分片分配
- 分片分配過濾
- 節點丟失時的延遲分配
- 索引恢復的優先級
- 每個節點的總分片數
- Mapper（映射）
- Merge（合并）
- Similarity module（相似模塊）
- Slow log（慢日志）
- Store
- 預加載數據到文件系統緩存
- Translog（事務日志）
- Ingest Node（預處理節點）
- Pipeline Definition（管道定義）
- Ingest APIs
- Put Pipeline API
- Get Pipeline API
- Delete Pipeline API
- Simulate Pipeline API（模擬管道 API）
- Accessing Data in Pipelines（訪問管道中的數據）
- Handling Failures in Pipelines（處理管道中的故障）
- Processors（處理器）
- Append Processor（追加處理器）
- Convert Processor（轉換處理器）
- Date Processor（日期處理器）
- Date Index Name Processor（日期索引名稱處理器）
- Fail Processor（故障處理器）
- Foreach Processor（循環處理器）
- Grok Processor（Grok 處理器）
- Gsub Processor（Gsub 處理器）
- Join Processor（連接處理器）
- JSON Processor（JSON 處理器）
- KV Processor（KV 處理器）
- Lowercase Processor（小寫處理器）
- Remove Processor（刪除處理器）
- Rename Processor（重命名處理器）
- Script Processor（腳本處理器）
- Set Processor（設置處理器）
- Split Processor（拆分處理器）
- Sort Processor（排序處理器）
- Trim Processor（修剪處理器）
- Uppercase Processor（大寫處理器）
- Dot Expander Processor（點擴展器處理器）
- How to（操作方式）
- 一些建議
- Recipes（訣竅）
- 索引速率調優
- 查詢優化
- 磁盤使用調優
- Testing（測試）
- Java Testing Framework（測試框架）
- ( why randomized testing ) 為什么隨機測試？
- Using the elasticsearch test classes ( 使用 elasticsearch 測試類 )
- unit tests（單元測試）
- integreation test（集成測試）
- Randomized testing（隨機測試）
- Assertions（）
- Glossary of terms (詞匯表)
- Release Notes（版本說明）
- 5.3.0 版本說明
- 5.2.2 Release Notes
- 5.2.1 Release Notes
- 5.2.0 Release Notes
- 5.1.2 Release Notes
- 5.1.1 Release Notes
- 5.1.0 Release Notes
- 5.0.1 Release Notes