solr配置同义词，停止词，和扩展词库（IK分词器为例）

喜欢ヅ旅行 2022-09-24 14:21 114阅读 0赞

# 定义 #

**同义词**：搜索结果里出现的同义词。如我们输入”还行”，得到的结果包括同义词”还可以”。

**停止词**：在搜索时不用出现在结果里的词。比如is 、a 、are 、”的”，“得”，“我” 等，这些词会在句子中多次出现却无意义，所以在分词的时候需要把这些词过滤掉。

**扩展词**：在搜索结果里额外出现的词。扩展词只能是你输入词的本身或子串。比如我们 输入”重庆开县人”，正常分词得到的结果是“重庆” “开县”“人”；当我们在扩展词里加入“重庆开县”时，分词的结果是“重庆开县”“重庆” “开县”“人”。

# 配置同义词 #

1.在solr\_home的conf目录下的schema.xml 中配置同义词text\_syn：

<fieldType name="text_syn" class="solr.TextField">
        <analyzer type="query">
            <tokenizer class="solr.WhitespaceTokenizerFactory"/>
            <filter class="solr.LowerCaseFilterFactory"/>
        </analyzer>
        <analyzer type="index">
            <tokenizer class="solr.WhitespaceTokenizerFactory"/>
            <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="false" />
            <filter class="solr.LowerCaseFilterFactory"/>
        </analyzer>
    </fieldType>

2.假定在solr\_home的conf目录下的schema.xml 中要对shortName字段进行同义词配置，则我们需要将type属性设为上向配置的”text\_syn”

3.在conf目录下的 synonyms.txt 中增加同义词，如：

![这里写图片描述][20160802140301377]  
这里我多说两句：上面红框里的 => 右侧的词是左侧词的同义词，多个时用空格隔开。还有就是，最好不要直接打开synonyms.txt这个文件，因为加入的汉字在保存后会查不出来，因为txt不是UTF-8的格式保存的。

4.测试同义词

输入高兴：

![这里写图片描述][20160802141053418]

输入中华：

![这里写图片描述][20160802141112793]

5.基于上面的问题，说下怎么解决，毕竟不论我们输入中华还是中国，都能有对应的同义词结果。

首先，我们**将synonyms.txt里的同义词用英文逗号隔开，然后将上面配置IK同义词里的expand属性设为true**。

![这里写图片描述][20160802154857583]

我们输入：大大的，结果如下：

![这里写图片描述][20160802155015012]

# 配置停止词和扩展词库。 #

1.将IKAnalyzer解压文件夹下的stopword.dic和IKAnalyzer.cfg.xml复制到tomcat/webapps/solr/WEB-INF/classes下，再新建一个ext.dic,里面的格式和stopword.dic一致。

2.修改IKAnalyzer.cfg.xml如下面的格式可以配置多个停止词或者扩展词库文件。

<properties> 
        <comment>IK Analyzer 扩展配置</comment>
        
        <entry key="ext_dict">ext.dic;</entry>
    
        
        <entry key="ext_stopwords">english_stopword.dic;stopword.dic</entry>
    <properties>

输入“重庆开县”时，正常分词是只有”重庆” “开县”的  
在ext.dic里添加了”重庆开县”后，测试结果：  
![这里写图片描述][20160803180339207]

输入“重庆开县”时，正常分词是只有”重庆” “开县”的  
在stopword.dic里添加了“开县”之后，测试结果：  
![这里写图片描述][20160803181250954]

# 注意 #

字段如果要能被分词，或是停止词，或是扩展词，需要在schema.xml里配置该字段时，给该字段的type属性配成分词类型，我们这里是text\_ik，例：

[20160802140301377]: /images/20220719/e299deac066c43a0b3cd165e0eeb7953.png
[20160802141053418]: /images/20220719/cbc2f365601a40819c74dd63bb4e6fc1.png
[20160802141112793]: /images/20220719/0050aacb505349d9a0f19564b5809db8.png
[20160802154857583]: /images/20220719/dc4b0b305583449486941dc5d3d2cc5f.png
[20160802155015012]: /images/20220719/5672d17474ce478a812380b42058f9fd.png
[20160803180339207]: /images/20220719/b21261eefe464181936cd82ef3b23f59.png
[20160803181250954]: /images/20220719/d395be0b846c42f89aaa8fd6cb27ea07.png