ElasticSearch系列 - Mapping

待我称王封你为后i 2023-06-13 12:30 13阅读 0赞

### ElasticSearch系列 - Mapping ###

### 文章目录 ###

*   *   *  ElasticSearch系列 - Mapping
         *   *   *  dynamic Mapping
                 *  自定义Mapping
                 *  Index Template & Dynamic Template

##### dynamic Mapping #####

Mapping类似数据库中的schema定义，作用如下

*  定义索引中的字段的名义
 *  定义字段的数据类型，例如字符串，数字，布尔
 *  字段，倒排索引的相关配置

Mapping会把JSON文档映射成Lucene所需要的扁平格式。一个Mapping属于一个索引的Type （MySQL中的Table）

*  每个文档都属于一个Type
 *  一个Type有一个Mapping定义
 *  7.0开始，不在需要在Mapping定义指定Type信息

字段的数据类型

*  简单类型：text(全文检索)/keyword(关键词检索)，Date，integer/floating，Boolean，IPV4&IPV6
 *  复杂类型：对象类型/嵌套类型
 *  特殊类型：geo\_point geo\_shape percolator （地理位置，经纬度之类）

Dynamic Mapping  
在写入文档时候，如果索引不在会自动创建，es根据文档信息自动推测字段类型

**有时候不准，例如地理位置信息**

当类型如果设置不对，一些功能无法正常运行，例如range查询

类型的自动识别

<table> 
 <thead> 
  <tr> 
   <th>类型</th> 
   <th>具体</th> 
   <th>ES类型</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>字符串</td> 
   <td>日期</td> 
   <td>Date</td> 
  </tr> 
  <tr> 
   <td></td> 
   <td>数字</td> 
   <td>float/long</td> 
  </tr> 
  <tr> 
   <td></td> 
   <td>一般字符串</td> 
   <td>text/keyword</td> 
  </tr> 
  <tr> 
   <td>布尔值</td> 
   <td></td> 
   <td>boolean</td> 
  </tr> 
  <tr> 
   <td>浮点数</td> 
   <td></td> 
   <td>float</td> 
  </tr> 
  <tr> 
   <td>整数</td> 
   <td></td> 
   <td>long</td> 
  </tr> 
  <tr> 
   <td>对象</td> 
   <td></td> 
   <td>object</td> 
  </tr> 
  <tr> 
   <td>数组</td> 
   <td></td> 
   <td>第一个非空数值决定</td> 
  </tr> 
  <tr> 
   <td>空值</td> 
   <td></td> 
   <td>忽略</td> 
  </tr> 
 </tbody> 
</table>

能否更改Mapping字段类型（mysql能否改表定义）  
\- 新增字段  
dynamic设置为true 一旦有新增字段文档写入，Mapping更新  
dynamic设置false，Mapping不会更新，新增字段无法索引，但会出现在\_source中（文档可以被索引出来）  
dynamic设置strict 文档写入失败

*  已有字段 一旦有数据写入无法修改字段定义；如果希望改字段类型，**必须Reindex API 重建索引**

<table> 
 <thead> 
  <tr> 
   <th>Dynamic Mappings</th> 
   <th>true</th> 
   <th>false</th> 
   <th>strict</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>文档可索引</td> 
   <td>yes</td> 
   <td>yes</td> 
   <td>no</td> 
  </tr> 
  <tr> 
   <td>字段可索引</td> 
   <td>yes</td> 
   <td>no</td> 
   <td>no</td> 
  </tr> 
  <tr> 
   <td>Mapping被更新</td> 
   <td>yes</td> 
   <td>no</td> 
   <td>no</td> 
  </tr> 
 </tbody> 
</table>

##### 自定义Mapping #####

PUT users1
    {
        
        "mappings" : {
        
          "properties" : {
        
            "firstName" : {
        
              "type" : "text"
            },
            "lastName" : {
        
              "type" : "text"
            },
            "mobile" : {
        
              "type" : "text",
              "index_options":"docs"  //注1
            }
          }
        }
    }

除了动态类型推测，用户还可以自定义mappings

四种不同级别的Index Options配置

<table> 
 <thead> 
  <tr> 
   <th>Index Options</th> 
   <th>含义</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>docs</td> 
   <td>记录docid</td> 
  </tr> 
  <tr> 
   <td>freqs</td> 
   <td>记录docid和term frequencies</td> 
  </tr> 
  <tr> 
   <td>positions</td> 
   <td>记录docid 记录docid和term frequencies和term positions</td> 
  </tr> 
  <tr> 
   <td>offsets</td> 
   <td>记录docid和term frequencies和term positions和character offects</td> 
  </tr> 
 </tbody> 
</table>

Text类型默认是positions，其他默认是docs  
**记录内容越多，占用存储内存越大**

##### Index Template & Dynamic Template #####

Index Template 帮助设定Mapping和Settings，并且按照一定规则自动匹配到新创建的索引上

Mapping ：负责定义字段&类型

Settings ： 负责分片&副本数

模板仅在一个索引被新创建时，才会产生作用，**修改模板不会影响已经创建的索引**

可以设定多个模板，这些设定会被merge在一起

可以指定order的数值，控制merging的过程

当一个索引被创建

1.  es使用默认的settings和mappings
2.  应用order低的index template中的设定
3.  应用order高的index template中的设定，覆盖之前的
4.  应用创建索引时，用户所指定的settings和mappings，并覆盖之前的模板设定

**创建一个Index template**

PUT /_template/template_test_1
    {
        
        "index_patterns" : ["test*"],
        "order" : 1,  
        "settings" : {
           
        	"number_of_shards": 1,
            "number_of_replicas" : 2
        },
        "mappings" : {
           
        	"date_detection": false,
        	"numeric_detection": true
        }
    }
    
    
    PUT /_template/template_test_2
    {
        
        "index_patterns" : ["test*"],
        "order" : 2,  
        "settings" : {
           
        	"number_of_shards": 1,
            "number_of_replicas" : 2
        },
        "mappings" : {
           
        	"date_detection": false,
        	"numeric_detection": true
        }
    }

创建索引时候，template\_test\_1会先被使用，然后template\_test\_2因为order高，覆盖了template\_test\_1

如果还有手动自定义的，那么再次覆盖

**Dynamic Template**：根据es设别数据类型，结合字段名称，来动态设定字段类型

例如：

1.  所有字符串设定为keyword，或者关闭keyword字段
2.  is开头字段设置为boolean
3.  long开头都设置long类型

PUT my_index
    {
        
      "mappings": {
        
        "dynamic_templates": [   //定义在某个索引的Mapping中
          {
        
            "full_name": {
          //Template有一个名称
              "path_match":   "csdn.*",
              "path_unmatch": "*.com",
              "mapping": {
        
                "type":       "text",  //为匹配到的字段设置Mapping
                "copy_to":    "full_name"
              }
            }
          }
        ]
      }
    }

所有csdn.开头和.com结尾的字段都是text类型，并且copy到full\_name中