# 映射改變
原文鏈接 : [https://www.elastic.co/guide/en/elasticsearch/reference/5.0/breaking_50_mapping_changes.html](https://www.elastic.co/guide/en/elasticsearch/reference/5.0/breaking_50_mapping_changes.html)
譯文鏈接 : [http://www.apache.wiki/pages/viewpage.action?pageId=4260763](http://www.apache.wiki/pages/viewpage.action?pageId=4260763)
貢獻者 : [片刻](/display/~jiangzhonglian)
## string字段替換為text / keyword 字段
string字段數據類型已替換為全文分析內容的text字段,以及未分析精確字符串值的keyword字段。 出于向后兼容的目的,在5.x系列期間:
* 5.0之前的索引上的string字段將像以前一樣工作。
* 新的string字段可以像以前一樣添加到5.0之前的索引。
* text和keyword字段也可以添加到5.0之前的索引。
* 當將string字段添加到新索引時,如果可能,字段映射將重寫為text或keyword字段,否則將拋出異常。 使用string字段可能的某些配置不再適用于 text / keyword 字段,例如在未分析的keyword字段上啟用term_vectors。
## 默認字符串映射
字符串映射現在具有以下默認映射:
```
{
"type": "text",
"fields": {
"keyword": {
"type": "keyword",
"ignore_above": 256
}
}
}
```
這允許對原始字段名稱執行全文搜索,并在子關鍵字字段上對聚合進行排序和運行。
## 數字字段
數字字段現在用完全不同的數據結構(稱為BKD樹)索引,預期需要更少的磁盤空間,并且對于范圍查詢比之前索引數字的方式更快。
術語查詢現在將返回常數分數,而由于文檔頻率的貢獻,它們用于返回較高分數的罕見術語,這種新的BKD結構不記錄。 如果需要評分,那么建議將數字字段映射為[`keyword`](https://www.elastic.co/guide/en/elasticsearch/reference/5.0/keyword.html)。
請注意,此?[`keyword`](https://www.elastic.co/guide/en/elasticsearch/reference/5.0/keyword.html "Keyword datatype")?映射不需要替換數字映射。 例如,如果您需要在數字字段上同時排序和評分,則可以使用?`[fields](https://www.elastic.co/guide/en/elasticsearch/reference/5.0/multi-fields.html "fields")?`將其映射為number和keyword:
```
PUT my_index
{
"mappings": {
"my_type": {
"properties": {
"my_number": {
"type": "long",
"fields": {
"keyword": {
"type": "keyword"
}
}
}
}
}
}
}
```
此外,precision_step參數現在不相關,并且將在5.0之后或之后創建的索引上被拒絕。
## geo_point字段
像數值字段一樣,地理點字段現在使用新的BKD樹結構。由于此結構基本上設計用于多維空間數據,因此不再需要或支持以下字段參數:geohash,geohash_prefix,geohash_precision,lat_lon。從API角度仍然支持Geohash,仍然可以使用.geohash字段擴展訪問,但它們不再用于索引地理點數據。
## _timestamp和_ttl
_timestamp和_ttl字段已棄用,現在已刪除。作為_timestamp的替代品,您應該使用應用程序端的當前時間戳填充常規日期字段。對于_ttl,您應該在適用時使用基于時間的索引,或者在時間戳字段上使用范圍查詢cron刪除查詢
## index 屬性
在所有字段數據類型(除了已棄用的字符串字段)中,index屬性現在只接受true / false,而不接受not_analyzed / no。字符串字段仍接受analyze / not_analyzed / no。
## 未索引字段上的文檔值
以前,將字段設置為index:no也會禁用doc值。現在,除非將doc_values設置為false,否則會始終對數字和布爾字段啟用文檔值。
## 浮點使用float而不是double
當動態映射包含浮點數的字段時,該字段現在默認使用float而不是double。 推理是浮點在大多數情況下應該足夠了,但會顯著降低存儲要求。
## norms
norms現在采用布爾而不是對象。 這個布爾值是norms.enabled的替換。 沒有norms.loading的替代,因為迫切的加載規范是不再有用了,現在規范是基于磁盤的。
## fielddata.format
在用于在字段上隱式啟用文檔值的映射中設置fielddata.format:doc_values。 這不再有效:啟用或停用文檔值的唯一方法是使用映射的doc_values屬性。
## fielddata.filter.regex
正則表達式過濾器不再受支持,將在升級時刪除。
## 源變換已刪除
源變換要素已刪除。 相反,使用ingest管道。
## 字段映射限制
為了防止映射爆炸,以下限制應用于在5.x中創建的索引:
* 索引中的最大字段數限制為1000。
* 字段的最大深度(1加上對象或嵌套父對象的數量)限制為20。
* 索引中嵌套字段的最大數量限制為50。
有關更多信息,請參閱“[防止映射爆炸的設置](https://www.elastic.co/guide/en/elasticsearch/reference/5.0/mapping.html#mapping-limit-settings)”一節。
## _parent字段不再索引
父文檔和子文檔之間的聯接不再依賴于索引字段,因此從5.0.0開始,_parent字段不再索引。為了查找引用特定父標識的文檔,可以使用新的parent_id查詢。 GET響應和搜索響應內的命中仍包括_parent鍵下的父標識。
## 源format選項
_source映射不再支持format選項。在升級到5.0之前創建的索引仍然可以被接受,以實現向后兼容性,但是它沒有效果。在5.0之前或之后創建的指數將拒絕此選項。
## 對象符號
核心類型不再支持對象符號,用于提供每個文檔的提升如下:
```
{
"value": "field_value",
"boost": 42
}
```
## 提高對_all的查詢的準確性
_all上的每字段增強現在壓縮為單個字節,而不是先前使用的4個字節。 雖然這將使索引更具空間效率,但這也意味著索引時間提升將不太準確地編碼。
## _ttl和_timestamp不能被創建
您不能再使用_ttl或_timestamp創建索引。 在5.0之前創建的啟用的索引將繼續工作。
您應該在新索引中替換_timestamp,方法是在生成數據的應用程序中或使用如下所示的ingest pipline向源中添加字段:
```
PUT _ingest/pipeline/timestamp
{
"description" : "Adds a timestamp field at the current time",
"processors" : [ {
"set" : {
"field": "timestamp",
"value": "{{_ingest.timestamp}}"
}
} ]
}
PUT newindex/type/1?pipeline=timestamp
{
"example": "data"
}
GET newindex/type/1
```
哪個生產
```
{
"_source": {
"example": "data",
"timestamp": "2016-06-21T18:48:55.560+0000"
},
...
}
```
如果您有使用2.x創建的舊索引已啟用_timestamp,那么您可以將其遷移到具有reindex的源中的時間戳字段的新索引:
```
POST _reindex
{
"source": {
"index": "oldindex"
},
"dest": {
"index": "newindex"
},
"script": {
"lang": "painless",
"inline": "ctx._source.timestamp = ctx._timestamp; ctx._timestamp = null"
}
}
```
可以使用基于時間的索引名稱(首選)替換_ttl,或者通過添加在源文檔中的時間戳字段上運行按查詢刪除的cron作業。如果你有這樣的文件:
```
POST index/type/_bulk
{"index":{"_id":1}}
{"example": "data", "timestamp": "2016-06-21T18:48:55.560+0000" }
{"index":{"_id":2}}
{"example": "data", "timestamp": "2016-04-21T18:48:55.560+0000" }
```
然后,您可以從6月1日之前刪除所有文檔:
```
POST index/type/_delete_by_query
{
"query": {
"range" : {
"timestamp" : {
"lt" : "2016-05-01"
}
}
}
}
```
請記住,從索引中刪除文檔與刪除整個索引相比非常昂貴。這就是為什么推薦基于時間的索引超過這種事情,為什么_ttl首先被廢棄。
## 不支持空字段名稱
在5.0之后不允許在映射中出現空字段名稱。
- Getting Started(入門指南)
- Basic Concepts(基礎概念)
- Installation(安裝)
- Exploring Your Cluster(探索集群)
- Cluster Health(集群健康)
- List All Indices(列出所有索引)
- Create an Index(創建索引)
- Index and Query a Document(索引和查詢文檔)
- Delete an Index(刪除索引)
- Modifying Your Data(修改數據)
- Updating Documents(更新文檔)
- Deleting Documents(刪除文檔)
- Batch Processing(批處理)
- Exploring Your Data(探索數據)
- The Search API(搜索 API)
- Introducing the Query Language(介紹查詢語言)
- Executing Searches(執行查詢)
- Executing Filters(執行過濾)
- Executing Aggregations(執行聚合)
- Conclusion(總結)
- Setup Elasticsearch(設置)
- Installing Elasticsearch(安裝)
- zip 或 tar.gz 安裝
- Debian軟件包安裝Elasticsearch
- 用RPM安裝Elasticsearch
- Windows 環境下安裝ES
- Docker 方式安裝
- 配置Elasticsearch
- 重要Elasticsearch配置
- 安全配置
- 啟動前檢查
- 堆大小檢查
- 文件描述符檢查
- 內存鎖定檢查
- 最大線程數檢查
- 最大虛擬內存檢查
- 最大map數檢查
- JVM Client模式檢查
- 串行收集使用檢查
- 系統調用過濾檢查
- OnError與OnOutOfMemoryError檢查
- G1GC檢查
- 重要的系統配置
- 系統設置
- 在jvm.options中設置JVM堆大小
- 禁用swapping
- 文件描述符
- 虛擬內存
- 線程數
- 升級Elasticsearch
- Elasticsearch停機
- 重大改變
- 在5.3 重大改變
- 在5.2 重大改變
- Shadow Replicas已被棄用
- 在5.1 重大改變
- 在5.0 重大改變
- 搜索和查詢DSL改變
- 映射改變
- 過濾器改變
- Suggester變化
- 索引API改變
- 文檔API改變
- 設置的改變
- 分配改變
- HTTP改變
- REST API改變
- CAT API改變
- Java API改變
- Packaging
- Plugin改變
- 文件系統相關改變
- 磁盤上數據的路徑
- 聚合改變
- 腳本相關改變
- API 規范
- Multiple Indices(多個索引)
- Date math support in index names(索引名稱對 Date 和 Math 的支持)
- 常見選項
- URL-based access control(基于 URL 的訪問控制)
- Document APIS
- Index API
- Get API
- Update API
- 通過查詢 API 更新
- 多個 GET API
- Bulk API
- Reading and Writing documents(讀寫文檔)
- Delete API
- Delete By Query API
- Reindex API
- Term Vectors
- Multi termvectors API
- ?refresh
- Search APIs
- Search
- URI Search
- Request Body Search
- Query
- From / Size
- Sort
- Source filtering
- Fields
- Script Fields
- Doc value Fields
- Post filter
- Highlighting
- Rescoring
- Search Type
- Scroll
- Preference
- Explain
- Version
- Index Boost
- min_score
- Named Queries
- Inner hits
- Search After
- Field Collapsing 字段折疊
- Search 模板
- Multi Search 模板
- Search Shards API
- Suggesters
- Completion Suggester
- Context Suggester
- Phrase Suggester
- Term suggester
- Multi Search API
- Count API
- Validate API
- Explain API
- Profile API
- Profiling Queries
- Profiling Aggregations
- Profiling Considerations
- Aggregations
- Metric Aggregations
- 值計數聚合(Value Count Aggregation)
- 地理邊界聚合
- 地理重心聚合
- 基數聚合
- 平均值聚合
- 擴展統計聚合
- 最大值聚合
- 最小值聚合
- Bucket Aggregations
- Children Aggregation
- Date Histogram Aggregation
- Date Range Aggregation
- Diversified Sampler Aggregation
- Filter Aggregation(過濾器聚合)
- Filters Aggregation
- Geo Distance Aggregation(地理距離聚合)
- GeoHash grid Aggregation(GeoHash網格聚合)
- Global Aggregation(全局聚合)
- Histogram Aggregation
- IP Range Aggregation(IP范圍聚合)
- Missing Aggregation
- Nested Aggregation(嵌套聚合)
- Range Aggregation(范圍聚合)
- Reverse nested Aggregation
- Sampler Aggregation
- Significant Terms Aggregation
- 鄰接矩陣聚合
- Pipeline Aggregations
- Avg Bucket Aggregation
- Derivative Aggregation(導數聚合)
- Max Bucket Aggregation
- Min Bucket Aggregation
- Sum Bucket Aggregation
- Stats Bucket Aggregation
- Extended Stats Bucket Aggregation(擴展信息桶聚合)
- Percentiles Bucket Aggregation(百分數桶聚合)
- Cumulative Sum Aggregation(累積匯總聚合)
- Bucket Script Aggregation(桶腳本聚合)
- Bucket Selector Aggregation(桶選擇器聚合)
- Serial Differencing Aggregation(串行差異聚合)
- Matrix Aggregations
- Matrix Stats
- Matrix Stats(矩陣統計)
- Caching heavy aggregations(緩存頻繁聚合)
- Returning only aggregation results(僅返回需要聚合的結果)
- Aggregation Metadata(聚合元數據)
- Returning the type of the aggregation(返回聚合的類型)
- 索引 API
- Create Index /創建索引
- Delete Index /刪除索引
- Get Index /獲取索引
- Indices Exists /索引存在
- Open / Close Index API /啟動關閉索引
- Shrink Index /縮小索引
- Rollover Index/滾動索引
- Put Mapping /提交映射
- Get Mapping /獲取映射
- Get Field Mapping /獲取字段映射
- 卷影副本索引
- 依賴卷影副本的節點級設置
- 索引統計信息
- 索引段
- 索引恢復
- 索引分片存儲
- 清理緩存
- 刷新
- 同步刷新
- 重新加載
- 強制合并
- cat APIs
- cat aliases
- cat allocation
- cat count
- cat fielddata
- cat health
- cat indices
- cat master
- cat nodeattrs
- cat nodes
- cat pending tasks
- cat plugins
- cat recovery
- cat repositories
- cat thread pool
- cat shards
- cat segments
- cat snapshots
- 集群 API
- Cluster Allocation Explain API
- Cluster Health
- Cluster Reroute
- Cluster State
- Cluster Stats
- Cluster Update Settings
- Nodes hot_threads
- Nodes Info
- Nodes Stats
- Pending cluster tasks
- Task Management API
- 查詢 DSL
- 查詢和過濾上下文
- Match ALL 查詢
- 全文搜索
- 匹配查詢
- 短語匹配查詢
- 短語前綴匹配查詢
- 多字段查詢
- 常用術語查詢
- 查詢語句查詢
- 簡單查詢語句
- 復合查詢家族
- Constant Score 查詢
- Bool 查詢
- Dis Max 查詢
- Function Score 查詢
- Boosting 查詢
- Indices 查詢
- Join 查詢
- Has Child Query
- Has Parent Query
- Nested Query(嵌套查詢)
- Parent Id Query
- 術語查詢
- Exists Query(非空值查詢)
- Fuzzy Query(模糊查詢)
- Ids Query(ID 查詢)
- Prefix Query(前綴查詢)
- Range Query(范圍查詢)
- Regexp Query(正則表達式查詢)
- Term Query(項查詢)
- Terms Query(多項查詢)
- Type Query(類型查詢)
- Wildcard Query(通配符查詢)
- 地理位置查詢
- GeoShape Query(地理形狀查詢)
- Geo Bounding Box Query(地理邊框查詢)
- Geo Distance Query(地理距離查詢)
- Geo Distance Range Query(地理距離范圍查詢)
- Geo Polygon Query(地理多邊形查詢)
- Span 查詢
- Span Term 查詢
- Span Multi Term 查詢
- Span First 查詢
- Span Near 查詢
- Span Or 查詢
- Span Not 查詢
- Span Containing 查詢
- Span Within 查詢
- Span Field Masking 查詢
- Specialized queries(專業查詢)
- Mapping(映射)
- 字段類型
- Array
- Binary
- Range
- Boolean
- Date
- Geo-point datatype
- String
- Text
- Token數
- 滲濾型
- KeyWord
- Nested
- Object
- Numeric
- Meta-Fields(元字段)
- _all field
- _field_names field
- _id field
- _index field
- _meta field
- _parent field
- _routing field
- _source field
- _type field
- _uid field
- Mapping parameters(映射參數)
- analyzer(分析器)
- normalizer(歸一化)
- boost(提升)
- Coerce(強制類型轉換)
- copy_to(合并參數)
- doc_values(文檔值)
- dynamic(動態設置)
- enabled(開啟字段)
- fielddata(字段數據)
- format (日期格式)
- ignore_above(忽略超越限制的字段)
- ignore_malformed(忽略格式不對的數據)
- include_in_all(_all 查詢包含字段)
- index_options(索引設置)
- index (索引)
- fields(字段)
- Norms (標準信息)
- null_value(空值)
- position_increment_gap(短語位置間隙)
- properties (屬性)
- search_analyzer (搜索分析器)
- similarity (匹配方法)
- store(存儲)
- Term_vectors(詞根信息)
- Dynamic Mapping(動態映射)
- default mapping(mapping中的_default_)
- Dynamic field mapping(動態字段映射)
- Dynamic templates(動態模板)
- Override default template(覆蓋默認模板)
- Mapping(映射)
- Analysis
- Tokenizers(分詞器)
- Standard Tokenizer(標準分詞器)
- Letter Tokenizer
- Lowercase Tokenizer (小寫分詞器)
- Whitespace Analyzer
- 停止分析器
- UAX URL Email Tokenizer
- Classic Tokenizer
- Thai Tokenizer(泰語分詞器)
- NGram Tokenizer
- Keyword Analyzer
- Path Hierarchy Tokenizer(路徑層次分詞器)
- Pattern Tokenizer
- Token Filters(詞元過濾器)
- Apostrophe Token Filter(撇號/單引號過濾器)
- ASCII Folding Token Filter(ASCII Folding 詞元過濾器)
- CJK Bigram Token Filter(CJK Bigram詞元過濾器)
- CJK Width Token Filter(CJK寬度過濾器)
- Classic Token Filter(經典過濾器)
- Common Grams Token Filter(近義詞詞元過濾器)
- Compound Word Token Filter(復合詞過濾器)
- Decimal Digit Token Filter(十進制數字過濾器)
- Delimited Payload Token Filter(Delimited Payload詞元分析器)
- Edge NGram Token Filter(Edge NGram 詞元過濾器)
- Elision Token Filter(Elision詞元過濾器)
- Fingerprint Token Filter(指紋過濾器)
- Flatten Graph Token Filter(Flatten Graph 詞元過濾器)
- Hunspell Token Filter(Hunspell 詞元過濾器)
- Keep Types Token Filter(保留指定類型過濾器)
- Keep Words Token Filter(保留字過濾器)
- Keyword Marker Token Filter(Keyword Marker 詞元過濾器)
- Keyword Repeat Token Filter(Keyword Repeat 詞元過濾器)
- KStem Token Filter(KStem 詞元過濾器)
- Length Token Filter(長度詞元過濾器)
- Limit Token Count Token Filter(限制詞元數量過濾器)
- Lowercase Token Filter(Lowercase 詞元過濾器)
- Minhash Token Filter(Minhash過濾器)
- NGram Token Filter(NGram詞元過濾器)
- Normalization Token Filter(標準化詞元過濾器)
- Pattern Capture Token Filter(模式匹配詞元過濾器)
- Pattern Replace Token Filter(模式替換詞元過濾器)
- Phonetic Token Filter(Phonetic 詞元過濾器)
- Porter Stem Token Filter(Porter Stem 詞元過濾器)
- Reverse Token Filteredit(反向詞元過濾器)
- Shingle Token Filter(Shingle 詞元過濾器)
- Snowball Token Filter(Snowball 詞元過濾器)
- Standard Token Filters(標準詞元過濾器)
- Stemmer Override Token Filter(Stemmer Override 詞元過濾器)
- Stemmer Token Filter(Stemmer 詞元過濾器)
- Stop Token Filter(Stop 詞元過濾器)
- Synonym Graph Token Filter(Synonym Graph 詞元過濾器)
- Synonym Token Filter(Synonym 詞元過濾器)
- Trim Token Filter(Trim詞元過濾器)
- Truncate Token Filter(截斷詞元過濾器)
- Unique Token Filter(唯一詞元過濾器)
- Uppercase Token Filter(Uppercase詞元過濾器)
- Word Delimiter Token Filter(Word Delimiter 詞元過濾器)
- Character Filters(字符過濾器)
- md Strip Character Filter
- Mapping Character Filter
- Pattern Replace Character Filter
- Anatomy of an analyzer(分析器的分析)
- Testing analyzers(測試分析器)
- Analyzers(分析器)
- Configuring built-in analyzers(配置內置分析器)
- Standard Analyzer(標準分析器)
- Simple Analyzer(簡單分析器)
- 空白分析器
- Stop Analyzer
- 指紋分析器
- 模式分析器
- 自定義分析器
- 語言分析器
- 模塊
- Indices(索引)
- Circuit breakers(熔斷器)
- Fielddata cache(列數據緩存)
- indexing buffer(索引寫入緩沖)
- indices Recovery(索引恢復)
- NetWork Setting(網絡配置)
- Node Query Cache(節點查詢緩存)
- Shard request cache(分片請求緩存)
- 腳本
- Groovy 腳本語言
- Painless 腳本語言
- Painless 語法
- Painless 調試
- Lucene表達式語言
- 原生(Java)腳本
- 高級文本評分腳本
- 快照和還原
- 線程池
- 傳輸
- HTTP
- Tribe Node (部落節點)
- 跨集群搜索
- Cluster(集群)
- Disk-based Shard Allocation ( 基于磁盤的分片分配 )
- Shard Allocation Awareness ( 分片分配意識 )
- 群集級別分片分配
- Node
- 插件
- Index Modules(索引模塊)
- Analysis(分析)
- 索引分片分配
- 分片分配過濾
- 節點丟失時的延遲分配
- 索引恢復的優先級
- 每個節點的總分片數
- Mapper(映射)
- Merge(合并)
- Similarity module(相似模塊)
- Slow log(慢日志)
- Store
- 預加載數據到文件系統緩存
- Translog(事務日志)
- Ingest Node(預處理節點)
- Pipeline Definition(管道定義)
- Ingest APIs
- Put Pipeline API
- Get Pipeline API
- Delete Pipeline API
- Simulate Pipeline API(模擬管道 API)
- Accessing Data in Pipelines(訪問管道中的數據)
- Handling Failures in Pipelines(處理管道中的故障)
- Processors(處理器)
- Append Processor(追加處理器)
- Convert Processor(轉換處理器)
- Date Processor(日期處理器)
- Date Index Name Processor(日期索引名稱處理器)
- Fail Processor(故障處理器)
- Foreach Processor(循環處理器)
- Grok Processor(Grok 處理器)
- Gsub Processor(Gsub 處理器)
- Join Processor(連接處理器)
- JSON Processor(JSON 處理器)
- KV Processor(KV 處理器)
- Lowercase Processor(小寫處理器)
- Remove Processor(刪除處理器)
- Rename Processor(重命名處理器)
- Script Processor(腳本處理器)
- Set Processor(設置處理器)
- Split Processor(拆分處理器)
- Sort Processor(排序處理器)
- Trim Processor(修剪處理器)
- Uppercase Processor(大寫處理器)
- Dot Expander Processor(點擴展器處理器)
- How to(操作方式)
- 一些建議
- Recipes(訣竅)
- 索引速率調優
- 查詢優化
- 磁盤使用調優
- Testing(測試)
- Java Testing Framework(測試框架)
- ( why randomized testing ) 為什么隨機測試?
- Using the elasticsearch test classes ( 使用 elasticsearch 測試類 )
- unit tests(單元測試)
- integreation test(集成測試)
- Randomized testing(隨機測試)
- Assertions()
- Glossary of terms (詞匯表)
- Release Notes(版本說明)
- 5.3.0 版本說明
- 5.2.2 Release Notes
- 5.2.1 Release Notes
- 5.2.0 Release Notes
- 5.1.2 Release Notes
- 5.1.1 Release Notes
- 5.1.0 Release Notes
- 5.0.1 Release Notes