ElasticSearch学习笔记之三十三 IK分词器扩展字典及text全文类型数据分词聚合查询

Dear 丶 2022-04-08 08:46 247阅读 0赞

### ElasticSearch学习笔记之三十三 IK分词器扩展字典及text全文类型数据分词聚合查询 ###

*  专属词汇分词失败
 *  扩展字典
 *   *  查看当前词库
     *  自定义词典
     *  更新配置
 *  再次查看分词
 *  text全文类型数据分词聚合
 *   *  新建索引
     *  插入数据
     *  聚合查询

# 专属词汇分词失败 #

前面我们已经知道了IK分词器已经可以很好的为中文的text全文类型数据分词，但是有一些特定行业的特定专属词汇，IK分词器却不能按照我们的设想来分词，例如 人名／书名／专属词汇 等等

例如我们分析一下

GET _analyze?pretty
    { 
      "analyzer": "ik_smart",
      "text": ["斗破苍穹真好看"]
    }

结果如下

{ 
      "tokens": [
        { 
          "token": "斗",
          "start_offset": 0,
          "end_offset": 1,
          "type": "CN_CHAR",
          "position": 0
        },
        { 
          "token": "破",
          "start_offset": 1,
          "end_offset": 2,
          "type": "CN_CHAR",
          "position": 1
        },
        { 
          "token": "苍穹",
          "start_offset": 2,
          "end_offset": 4,
          "type": "CN_WORD",
          "position": 2
        },
        { 
          "token": "真",
          "start_offset": 4,
          "end_offset": 5,
          "type": "CN_CHAR",
          "position": 3
        },
        { 
          "token": "好看",
          "start_offset": 5,
          "end_offset": 7,
          "type": "CN_WORD",
          "position": 4
        }
      ]
    }

很显然，按照我们的设想，我们希望的分词结果是`斗破苍穹`,`真`,`好看`，但是我们却没有得到我们想要的结果。这个时候扩展字典就可以派上用场了。

# 扩展字典 #

## 查看当前词库 ##

# ls -l /usr/local/elasticsearch/config/analysis-ik/
    总用量 8260
    -rw-rw----. 1 elk  elk  5225922 10月 16 10:49 extra_main.dic
    -rw-rw----. 1 elk  elk    63188 10月 16 10:49 extra_single_word.dic
    -rw-rw----. 1 elk  elk    63188 10月 16 10:49 extra_single_word_full.dic
    -rw-rw----. 1 elk  elk    10855 10月 16 10:49 extra_single_word_low_freq.dic
    -rw-rw----. 1 elk  elk      156 10月 16 10:49 extra_stopword.dic
    -rw-rw----. 1 elk  elk      644 12月  4 13:15 IKAnalyzer.cfg.xml
    -rw-rw----. 1 elk  elk  3058510 10月 16 10:49 main.dic
    -rw-rw----. 1 elk  elk      123 10月 16 10:49 preposition.dic
    -rw-rw----. 1 elk  elk     1824 10月 16 10:49 quantifier.dic
    -rw-rw----. 1 elk  elk      164 10月 16 10:49 stopword.dic
    -rw-rw----. 1 elk  elk      192 10月 16 10:49 suffix.dic
    -rw-rw----. 1 elk  elk      752 10月 16 10:49 surname.dic

## 自定义词典 ##

mkdir /usr/local/elasticsearch/config/analysis-ik/custom && /usr/local/elasticsearch/config/analysis-ik/custom
    
    vim new_word.dic

将`斗破苍穹`写入到new\_word.dic

## 更新配置 ##

vim /usr/local/elasticsearch/config/analysis-ik/IKAnalyzer.cfg.xml

将自定义词典路径配置进去

<?xml version="1.0" encoding="UTF-8"?>
    <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
    <properties>
            <comment>IK Analyzer 扩展配置</comment>
            
            <entry key="ext_dict">custom/new_word.dic</entry>
             
            <entry key="ext_stopwords"></entry>
            
            
            
            
    </properties>

然后重启elasticsearch就可以了。

# 再次查看分词 #

GET _analyze?pretty
    { 
      "analyzer": "ik_smart",
      "text": ["斗破苍穹真好看"]
    }

结果如下：

{ 
      "tokens": [
        { 
          "token": "斗破苍穹",
          "start_offset": 0,
          "end_offset": 4,
          "type": "CN_WORD",
          "position": 0
        },
        { 
          "token": "真",
          "start_offset": 4,
          "end_offset": 5,
          "type": "CN_CHAR",
          "position": 1
        },
        { 
          "token": "好看",
          "start_offset": 5,
          "end_offset": 7,
          "type": "CN_WORD",
          "position": 2
        }
      ]
    }

# text全文类型数据分词聚合 #

当我们使用elasticsearch对text全文类型数据进行索引词聚合的时候，elasticsearch会自动进行分词将分词后的结果进行聚合。获取每一个分词出现在文档的文档个数。

## 新建索引 ##

PUT message
    { 
      "mappings": { 
        "message": { 
          "properties": { 
            "title": { 
              "type": "text",
              "analyzer": "ik_smart",
              "fielddata": true
            },
            "content": { 
              "type": "text",
              "analyzer": "ik_smart",
              "fielddata": true
            }
          }
        }
      }
    }

## 插入数据 ##

PUT /message/message/1
    { 
      "title":"斗破苍穹好看",
      "content":"斗破苍穹真好看，就是更新慢 "
    }
    
    PUT /message/message/2
    { 
      "title":"斗破苍穹没看过",
      "content":"斗破苍穹听说好看没看过"
    }
    
    PUT /message/message/3
    { 
      "title":"斗破苍穹是啥",
      "content":"不知道没看过"
    }
    
    PUT /message/message/4
    { 
      "title":"斗破苍穹是啥",
      "content":"斗破苍穹是小说"
    }

## 聚合查询 ##

GET message/message/_search
    { 
      "aggs": { 
        "term_content": { 
          "terms": { 
            "field": "content",
            "size": 20
          }
        }
      },
      "size": 0
    }

结果如下：

{ 
      "took": 3,
      "timed_out": false,
      "_shards": { 
        "total": 5,
        "successful": 5,
        "skipped": 0,
        "failed": 0
      },
      "hits": { 
        "total": 4,
        "max_score": 0,
        "hits": []
      },
      "aggregations": { 
        "term_content": { 
          "doc_count_error_upper_bound": 0,
          "sum_other_doc_count": 0,
          "buckets": [
            { 
              "key": "斗破苍穹",
              "doc_count": 3
            },
            { 
              "key": "好看",
              "doc_count": 2
            },
            { 
              "key": "没",
              "doc_count": 2
            },
            { 
              "key": "看过",
              "doc_count": 2
            },
            { 
              "key": "不知道",
              "doc_count": 1
            },
            { 
              "key": "听说",
              "doc_count": 1
            },
            { 
              "key": "小说",
              "doc_count": 1
            },
            { 
              "key": "就是",
              "doc_count": 1
            },
            { 
              "key": "慢",
              "doc_count": 1
            },
            { 
              "key": "是",
              "doc_count": 1
            },
            { 
              "key": "更新",
              "doc_count": 1
            },
            { 
              "key": "真",
              "doc_count": 1
            }
          ]
        }
      }
    }