ElasticSearch教程——基于term vector深入探查数据的情况

我就是我 2021-09-28 00:44 208阅读 0赞

**ElasticSearch汇总请查看：[ElasticSearch教程——汇总篇][ElasticSearch]**

# 一.term vector介绍 #

获取document中的某个field内的各个term的统计信息。

## 1.term的基本信息 ##

term\_freq：在在该字段中的频率

position：词在该字段中的位置

start\_offset：从什么偏移量开始的

end\_offset: 到什么偏移量结束

## 2.term的统计信息 ##

term statistics: 设置term\_statistics=true;

total term frequency(ttf):一个term在所有document中出现的频率;

document frequency(doc\_freq):有多少document包含这个term;

## 3.字段的统计信息 ##

field statistics: field\_statistics设为true

document count(doc\_count):有多少document包含这个field;

sum of document frequency(sum\_doc\_freq)，一个field中所有term的df之和;

sum of total term frequency(sum\_ttf)，一个field中的所有term的tf之和;

term statistics和field statistics并不精准，不会被考虑有的doc可能被删除了  
其实很少用，用的时候，一般来说，就是你需要对一些数据做探查的时候。比如说，你想要看到某个term，某个词条，大话西游，这个词条，在多少个document中出现了。或者说某个field，film\_desc，电影的说明信息，有多少个doc包含了这个说明信息。

# 二.采集term信息的方式 #

采集term信息的方式有两种：index-time 和 query-time

（1）index-time，你在mapping里配置一下，然后建立索引的时候，就直接给你生成这些term和field的统计信息了；  
（2）query-time，你之前没有生成过任何的Term vector信息，然后在查看term vector的时候，直接就可以看到了，会on the fly，现场计算出各种统计信息，然后返回给你；

## 1.index-time ##

### (1)设置mapping ###

PUT /my_index
    {
      "mappings": {
        "my_type": {
          "properties": {
            "text": {
                "type": "text",
                "term_vector": "with_positions_offsets_payloads",
                "store" : true,
                "analyzer" : "fulltext_analyzer"
             },
             "fullname": {
                "type": "text",
                "analyzer" : "fulltext_analyzer"
            }
          }
        }
      },
      "settings" : {
        "index" : {
          "number_of_shards" : 1,
          "number_of_replicas" : 0
        },
        "analysis": {
          "analyzer": {
            "fulltext_analyzer": {
              "type": "custom",
              "tokenizer": "whitespace",
              "filter": [
                "lowercase",
                "type_as_payload"
              ]
            }
          }
        }
      }
    }

## (2)初始化数据 ##

PUT /my_index/my_type/1
    {
      "fullname" : "Leo Li",
      "text" : "hello test test test "
    }
    
    PUT /my_index/my_type/2
    {
      "fullname" : "Leo Li",
      "text" : "other hello test ..."
    }

### （3）\_termvectors探查数据 ###

GET /my_index/my_type/1/_termvectors
    {
      "fields" : ["text"],
      "offsets" : true,
      "payloads" : true,
      "positions" : true,
      "term_statistics" : true,
      "field_statistics" : true
    }

### （4）返回结果 ###

{
      "_index": "my_index",
      "_type": "my_type",
      "_id": "1",
      "_version": 1,
      "found": true,
      "took": 10,
      "term_vectors": {
        "text": {
          "field_statistics": {
            "sum_doc_freq": 6,  //sum of document  所有field中的所有term的tf（term frequency）之和
            "doc_count": 2,     //查询document的数量
            "sum_ttf": 8       //sum of total term frequency，所有field中的所有term的tf（term frequency）之和
          },
          "terms": {
            "hello": {
              "doc_freq": 2,   //document frequency，有多少document包含这个term
              "ttf": 2,		   // total term frequency, 一个term在所有document中出现的频率
              "term_freq": 1,  // term frequency, 一个term在当前document中出现的频率
              "tokens": [      //hello这个term的信息
                {
                  "position": 0,      //hello在field中的位置
                  "start_offset": 0,  //hello的首字母在field中的位置
                  "end_offset": 5,    //hello的最后一个字母在field中的位置
                  "payload": "d29yZA=="
                }
              ]
            },
            "test": {
              "doc_freq": 2,
              "ttf": 4,
              "term_freq": 3,
              "tokens": [
                {
                  "position": 1,
                  "start_offset": 6,
                  "end_offset": 10,
                  "payload": "d29yZA=="
                },
                {
                  "position": 2,
                  "start_offset": 11,
                  "end_offset": 15,
                  "payload": "d29yZA=="
                },
                {
                  "position": 3,
                  "start_offset": 16,
                  "end_offset": 20,
                  "payload": "d29yZA=="
                }
              ]
            }
          }
        }
      }
    }

## 2.query-time ##

即之前没有在mapping里配置过，而是通过查询的方式产生这些统计信息。一般来说，如果条件允许，你就用query time的term vector就可以了，你要探查什么数据，现场去探查一下就好了。

（1）探查数据

GET /my_index/my_type/1/_termvectors
    {
      "fields" : ["fullname"],
      "offsets" : true,
      "positions" : true,
      "term_statistics" : true,
      "field_statistics" : true
    }

# 三.手动指定doc的term vector #

GET /my_index/my_type/_termvectors
    {
      "doc" : {
        "fullname" : "Leo Li",
        "text" : "hello test test test"
      },
      "fields" : ["text"],
      "offsets" : true,
      "payloads" : true,
      "positions" : true,
      "term_statistics" : true,
      "field_statistics" : true
    }

手动指定一个doc，实际上不是要指定doc，而是要指定你想要安插的词条，hello test，那么就可以放在一个field中  
将这些term分词，然后对每个term，都去计算它在现有的所有doc中的一些统计信息  
这个挺有用的，可以让你手动指定要探查的term的数据情况，你就可以指定探查“大话西游”这个词条的统计信息。

# 四.手动指定analyzer来生成term vector #

# 五.terms filter #

max_num_terms 最大的词条数目
    min_term_freq 最小的词频，比如忽略那些在字段中出现次数小于一定值的词条。
    max_term_freq 最大的词频
    min_doc_freq 最小的文档频率，比如忽略那些在文档中出现次数小于一定的值的词条
    max_doc_freq 最大的文档频率
    min_word_length 忽略的词的最小长度
    max_word_length 忽略的词的最大长度

这个就是说，根据term统计信息，过滤出你想要看到的term vector统计结果

也挺有用的，比如你探查数据把，可以过滤掉一些出现频率过低的term，就不考虑了。

# 六.multi term vector #

手动指定查询多个doc的term vector

GET _mtermvectors
    {
       "docs": [
          {
             "_index": "my_index",
             "_type": "my_type",
             "_id": "2",
             "term_statistics": true
          },
          {
             "_index": "my_index",
             "_type": "my_type",
             "_id": "1",
             "fields": [
                "text"
             ]
          }
       ]
    }

GET /my_index/_mtermvectors
    {
       "docs": [
          {
             "_type": "test",
             "_id": "2",
             "fields": [
                "text"
             ],
             "term_statistics": true
          },
          {
             "_type": "test",
             "_id": "1"
          }
       ]
    }

GET /my_index/my_type/_mtermvectors
    {
       "docs": [
          {
             "_id": "2",
             "fields": [
                "text"
             ],
             "term_statistics": true
          },
          {
             "_id": "1"
          }
       ]
    }

GET /_mtermvectors
    {
       "docs": [
          {
             "_index": "my_index",
             "_type": "my_type",
             "doc" : {
                "fullname" : "Leo Li",
                "text" : "hello test test test"
             }
          },
          {
             "_index": "my_index",
             "_type": "my_type",
             "doc" : {
               "fullname" : "Leo Li",
               "text" : "other hello test ..."
             }
          }
       ]
    }

[ElasticSearch]: https://blog.csdn.net/gwd1154978352/article/details/82781731