Solr8.0速成系列 | Solr整合IKAnalyzer分词器 05

电玩女神 2022-02-01 14:19 334阅读 0赞

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6aHVhbl8x_size_16_color_FFFFFF_t_70][]

Solr默认不支持中文分词，我们可以配置Solr自带的中文分词或者IK分词

## **ikAnalyzer分词**  ##

1、先下载solr对应版本的ik分词器，下载地址：

[https://search.maven.org/search?q=com.github.magese][https_search.maven.org_search_q_com.github.magese]

分词器GitHub源码地址：[https://github.com/magese/ik-analyzer-solr7][https_github.com_magese_ik-analyzer-solr7]

2.将下载好的jar包放入solr-7.4.0/server/solr-webapp/webapp/WEB-INF/lib目录中

3.将resources目录下的5个配置文件放入solr服务的Jetty或Tomcat的webapp/WEB-INF/classes/目录下；（如果无classes新建一个）

IKAnalyzer.cfg.xml、 ext.dic、 stopword.dic、 ik.conf、 dynamicdic.txt

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6aHVhbl8x_size_16_color_FFFFFF_t_70 1][]

注意修改文件stopword.dic，ext.dic的编码方式为无BOM的UTF-8编码方式

至此IK扩充词典配置完成，需要注意几点：

> 1）词典文件必须是UTF-8无BOM格式的，否则配置了，词典也不会生效。
> 
> 2）项目编码是UTF-8，在Properties中设置。
> 
> 3）IKAnalyzer.cfg.xml和词典路径问题。词典路径可以随意放，但是IkAnalyzer.cfg.xml必须放在src根目录下。补充一句配置词典路径的时候，路径中com前不要加“/”，否则找不到词典。
> 
> 4）若中途修改了词典，需要重新刷新下项目，修改的词典才能生效。  
>

4.server/solr/coreXX/conf目录中打开managed-schema文件，增加如下代码

<fieldType name="text_ik" class="solr.TextField">
      <analyzer type="index">
          <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="false" conf="ik.conf"/>
          <filter class="solr.LowerCaseFilterFactory"/>
      </analyzer>
      <analyzer type="query">
          <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="true" conf="ik.conf"/>
          <filter class="solr.LowerCaseFilterFactory"/>
      </analyzer>
    </fieldType>

## 分词演示 ##

**效果：如 对“我是架构师速成记”分词**

4）IKAnalyzer.cfg.xml 是配置扩展词库的配置文件，可以看一下里面的代码如下：

<?xml version="1.0" encoding="UTF-8"?>
    <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">  
    <properties>  
        <comment>IK Analyzer 扩展配置</comment>
        
        <entry key="ext_dict">ext.dic;</entry> 
        
        
        <entry key="ext_stopwords">stopword.dic;</entry> 
    </properties>

可以写多个扩展词库，只要用 ; 分隔即可

ext.dic添加扩展词  **成记  是架**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6aHVhbl8x_size_16_color_FFFFFF_t_70 2][]

未添加扩展词之前：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6aHVhbl8x_size_16_color_FFFFFF_t_70 3][]

添加扩展词之后：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6aHVhbl8x_size_16_color_FFFFFF_t_70 4][]

## **solr自带分词中文分词器**  ##

因为自带的分词效果以及扩展性不是很好，我们这就暂时不采用这种了

1、复制jar包

cp contrib/analysis-extras/lucene-libs/lucene-analyzers-smartcn-7.4.0.jar  server/solr-webapp/webapp/WEB-INF/lib

2.配置

End  
希望大家初步掌握中文分词，有问题可及时反馈

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6aHVhbl8x_size_16_color_FFFFFF_t_70]: /images/20220201/5f4090e8b50c458081921d350d98e3c0.png
[https_search.maven.org_search_q_com.github.magese]: https://search.maven.org/search?q=com.github.magese
[https_github.com_magese_ik-analyzer-solr7]: https://github.com/magese/ik-analyzer-solr7
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6aHVhbl8x_size_16_color_FFFFFF_t_70 1]: /images/20220201/b059afc15179492db34eecec1e921094.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6aHVhbl8x_size_16_color_FFFFFF_t_70 2]: /images/20220201/e98dae63443547db9e21fe11433b99c1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6aHVhbl8x_size_16_color_FFFFFF_t_70 3]: /images/20220201/b9975572c8f54732b19f11bd2e1fb6d0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6aHVhbl8x_size_16_color_FFFFFF_t_70 4]: /images/20220201/fa213812422949beb63cf02725755bb6.png