# Standard Tokenizer（標準分詞器） **`standard`?tokenizer（標準分詞器）**提供基于語法的分詞（基于Unicode文本分割算法，如?[Unicode標準附件29](http://unicode.org/reports/tr29/)?中所述），并且適用于大多數語言。 原文鏈接 :[https://www.elastic.co/guide/en/elasticsearch/reference/5.3/analysis-standard-tokenizer.html](https://www.elastic.co/guide/en/elasticsearch/reference/5.3/analysis-standard-tokenizer.html) 譯文鏈接 :[http://www.apache.wiki/pages/viewpage.action?pageId=9405453](http://www.apache.wiki/pages/viewpage.action?pageId=9405453) 貢獻者 :?[陳益雷](http://cwiki.apachecn.org/display/~chenyilei)，[ApacheCN](http://cwiki.apachecn.org/display/~apachecn)，[Apache中文網](http://cwiki.apachecn.org/display/~apachechina) ## **輸出示例** | `POST _analyze` `{` `"tokenizer"``:?``"standard"``,` `"text"``:?``"The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."` `}` | 上面的句子會生成如下的詞元： | `[ The, 2, QUICK, Brown, Foxes, jumped, over, the, lazy, dog's, bone ]` | ## **配置** **`standard`?tokenizer（標準分詞器)?**?接受以下參數： ***max_token_length***?? 單個?token 的最大長度。如果一個 token 超過這個長度，則以?`max_token_length 為間隔分割。默認值是`?`255`.。 ## **配置示例** 下面的例子中，我們配置標準分詞器的??`***max_token_length***?為 5 (便于展示)：` | `PUT my_index` `{` `"settings"``: {` `"analysis"``: {` `"analyzer"``: {` `"my_analyzer"``: {` `"tokenizer"``:?``"my_tokenizer"` `}` `},` `"tokenizer"``: {` `"my_tokenizer"``: {` `"type"``:?``"standard"``,` `"max_token_length"``: 5` `}` `}` `}` `}` `}` `POST my_index``/_analyze` `{` `"analyzer"``:?``"my_analyzer"``,` `"text"``:?``"The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."` `}` | 輸出如下： | `[ The, 2, QUICK, Brown, Foxes, jumpe, d, over, the, lazy, dog's, bone ]` |