SimBERT（基于UniLM思想、融检索与生成于一体的BERT模型）【主要应用场景：相似文本生成、相似文本检索】

矫情吗；* 2023-09-30 10:27 3阅读 0赞

SimBERT是追一科技开源的一款基于BERT根据文本语义相似度进行召回的项目。[https://github.com/ZhuiyiTechnology/simbert][https_github.com_ZhuiyiTechnology_simbert]。

## 一、SimBERT作用 ##

SimBERT主要的应用场景分成相似文本生成、相似文本检索。

### 1、相似文本生成 ###

相似文本生成任务其实就是用户输入一段文本，SimBERT会生成相似的文本。下面是生成任务效果展示图：  
图1 生成任务效果展示图：  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_10_color_FFFFFF_t_70_g_se_x_16]  
这个任务其实和我们的文案生成模型非常相似，广告主输入一些生成条件，比如“捕鱼游戏，好玩，金币”，模型就会生成对应的广告文案。下面是我们根据SimBERT构造文案生成模型的效果图：

![在这里插入图片描述][dabb4237f9184da1973d75d3d0710669.png]

### 2、相似文本检索 ###

相似文本检索任务就是用户输入一段文本，模型会从文本库检索出语义相似的文本。

这个任务的本质是获取文本的语义向量，然后在文本库中根据相似度(这里计算相似度的方法很多，比如余弦相似度等等)计算和当前文本的语义向量相近的文本向量，这里文本库存储的也是文本对应的语义向量。

因为最重要的是获取文本的语义向量，所以用BERT或者SimBERT都可以。

### 3、文本分类任务获取伪标签语料 ###

基于SimBERT生成相似文本和检索相似文本的能力，我们会在文本分类任务中通过SimBERT来获取更多的伪标签语料。通过SimBERT根据现有的标注语料来生成相似文本，或者构建搜索库从搜索库中检索相似文本可以获取很多语义相关性较好的伪标签语料数据。这在实际的业务中也证明了可以有效提升我们分类器的效果。

## 二、SimBERT的原理 ##

### 1、Seq2Seq任务和UniLM模型 ###

Seq2Seq任务是输入一段文本，模型会输出另外一段文本。Seq2Seq任务主要使用编码器和解码器结构，编码器会将输入的一段文本编码成固定大小的向量hn，然后解码器会根据这个向量hn通过自回归的方式来解码生成对应的文本。

BERT因为使用的是双向可见的注意力机制，对于每个词来说所有词都是可见的，所以主要用来做NLU自然语言理解任务，比如文本分类啥的。

后来微软通过构建前缀双向可见的注意力机制将BERT改造成可以处理NLG自然语言生成任务，这就是UniLM模型。

通过UniLM我们可以完成文本生成任务，这就是SimBERT可以进行文本生成的前提。

### 2、SimBERT的文本生成能力就来源于UniLM模型 ###

上一节说过SimBERT同时具备相似文本生成能力和相似文本检索能力，因为相似文本检索能力其实BERT也可以做，所以咱们重点关注SimBERT的相似文本生成能力。

SimBERT本身就是基于UniLM模型完成的，所以自然具备文本生成能力。

### 3、SimBERT的损失函数和训练流程 ###

SimBERT模型训练属于有监督学习任务，使用的训练数据是相似语句对，下面是SimBERT训练数据格式：  
![在这里插入图片描述][6551724a9889440daf9bd714a9499c5d.png]  
从上图可以看出，训练数据是相似文本对的方式，包括一条文本和对应的相似语义文本列表。

SimBERT模型的损失函数包括两部分：

*  第一块是构建Seq2Seq任务，也就是通过输入文本去预测对应相似文本；
 *  第二块是构建语义相似度任务，会根据文本对应的CLS向量来计算相似度。

下面是SimBERT训练方式的示意图：  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_15_color_FFFFFF_t_70_g_se_x_16]  
上图是SimBERT训练方式的示意图，右边是Seq2Seq任务部分，将输入文本和对应的相似文本通过SEP进行拼接，比如现在有sentence1和sentence2，那么会将数据转化成`CLS_sentence1_SEP_sentence2_SEP`这样的方式。然后根据sentence1去预测sentence2；左边是语义相似度部分，本质是把batch里面不相似的样本作为负样本，然后通过softmax函数计算相似样本的相似度。

举例说明，上面6条数据中，和第1条样本s1相似的是s2，其他都不相似，将本身Mask掉，那么就会得到Mask\_1\_0\_0\_0\_0这样的数据。这里需要说明的是因为使用UniLM模型所以数据中有效的仅仅是CLS\_sentence1\_SEP部分。SimBERT通过这种训练方式，既可以完成相似文本生成任务，还可以获取文本语义向量完成相似文本检索任务。

## 三、源码实践SimBERT ##

### 1、实践相似文本生成任务 ###

相似文本生成任务因为和文案生成模型非常相似，所以这里主要实践文案生成模型。基本上可以复用SimBERT的训练流程。

文案生成模型损失函数代码如下图所示：

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_13_color_FFFFFF_t_70_g_se_x_16]

构建模型非常简单，只需要下面几行代码就可以搞定，构建文案生成模型代码如下图所示：  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_15_color_FFFFFF_t_70_g_se_x_16 1]  
文案生成模型解码器部分使用随机采样生成random\_sample函数，解码器每轮解码的时候会从概率值top(k)里随机采样一个token用于生成，这种方式有利于生成结果的多样性。而对于自动摘要类任务，解码器则主要使用beam search策略，因为同一篇文档得到的摘要一般是确定的。具体代码如下图所示：

文案生成模型解码器代码：  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_14_color_FFFFFF_t_70_g_se_x_16]  
这里重点讲下文案生成模型的训练数据集构建。模拟广告主使用文案生成模型来生成广告文案，主要是输入行业标签、对应的关键词，然后模型会生成对应的文案。任务初期主要根据行业标签来生成对应的文案，后续会根据更加丰富的生成条件来生成对应的文案，下面是训练数据举例：

文案生成模型初期和后续版本数据集：  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_15_color_FFFFFF_t_70_g_se_x_16 2]  
如上图所示，文案生成模型初期是根据行业标签名来生成对应的文案。

这种方式的生成条件粒度比较粗，参考头条的巨量创意平台，会同时根据行业和用户输入的关键词来生成对应的广告文案，相当于生成的文案不仅是属于当前行业标签，而且会尽量包含用户输入的关键词，相当于生成的文案粒度更细了。

针对这种情况，后续版本会在初期版本的基础上再增加细粒度的训练数据，比如输入是“传奇游戏，爆率”时对应的文案也尽量包含爆率或者同义词，这样生成的文案就会更加符合广告主的需求。

### 2、实践相似文本检索任务 ###

相似文本检索任务其实就是先根据SimBERT或者BERT来获得文本对应的语义向量，同时将文本库中的文本也加工成语义向量，最后计算向量相似度找距离最近的文本作为相似文本。

目前线上主要使用基于SimBERT+Faiss的方案来构建大规模相似文本检索。整体流程如下所示：

#### 2.1 安装faiss库 ####

Python环境下安装faiss库如果用pip会报错，主要需要使用conda。需要提前保证是完整的conda环境，下面是conda安装faiss的命令：

conda install faiss-gpu cudatoolkit=10.0 -cpytorch 
    conda install faiss-cp

#### 2.2 通过simbert来生成文本库的向量 ####

这个过程其实就是用simbert将文本数据转化成对应的768维度向量。

#### 2.3 使用pca进行降维(可选操作) ####

因为我们线上主要是短文本，所以使用pca将768维向量转化成256维向量。在内存一定的情况下通过降维可以有效提升文本检索库的量级。这个流程是可选项，如果文本库量级本身不大，那么直接用768维度也没问题。

#### 2.4 使用faiss生成索引 ####

使用faiss生成对应的索引需要选择合适的index类型。

这里重点注意下内存开销，如果不在意内存占用空间，使用“HNSWx”，如果稍微有点在意，使用“…,Flat“，如果很在意，使用”PCARx,…,SQ8“，如果非常非常在意，使用"OPQx\_y,…,PQx"。

#### 2.5 输入文本根据索引进行检索 ####

最后就是根据输入文本去检索库里面检索相似文本流程。

下面给一个基于SimBERT+Faiss的方案来构建大规模相似文本检索的例子，根据一个csv文本的数据集先构建Faiss索引库，然后输入文本，输出相似的文本。开源代码在这里：

[https://github.com/wilsonlsm006/simbert\_task/edit/main/simbert\_search.py][https_github.com_wilsonlsm006_simbert_task_edit_main_simbert_search.py]

import faiss
    import pandas as pd
    import numpy as np
    import keras
    from bert4keras.snippets import DataGenerator, sequence_padding
    from bert4keras.models import build_transformer_model
    from bert4keras.tokenizers import Tokenizer
    
    # 数据只包含一列copywriter
    df1 = pd.read_csv('/root/ad_title.csv', error_bad_lines=False)
    
    max_len = 64
    
    # simbert配置
    simbert_model_path = "/root/simbert/"
    config_path = simbert_model_path + '/chinese_simbert_L-12_H-768_A-12/bert_config.json'
    checkpoint_path = simbert_model_path + '/chinese_simbert_L-12_H-768_A-12/bert_model.ckpt'
    dict_path = simbert_model_path + '/chinese_simbert_L-12_H-768_A-12/vocab.txt'
    
    class data_generator(DataGenerator):
        '''新的迭代器，注意这里得到dict_path没有定义，需要外部定义'''
        def __iter__(self, random=False):
            tokenizer = Tokenizer(dict_path, do_lower_case=True)
            batch_token_ids, batch_segment_ids= [], []
            for is_end, text in self.sample(random):
                token_id, segment_id = tokenizer.encode(text, maxlen=max_len)
                batch_token_ids.append(token_id)
                batch_segment_ids.append(segment_id)
                if len(batch_token_ids) == self.batch_size or is_end:
                    batch_token_ids = sequence_padding(batch_token_ids)
                    batch_segment_ids = sequence_padding(batch_segment_ids)
                    yield [batch_token_ids, batch_segment_ids]
                    batch_token_ids, batch_segment_ids = [], []
        def forpred(self, random=False):
            while True:
                for d in self.__iter__(random):
                    yield d
    
    def buildSimbertEncoder():
        '''构建simbert的encoder'''
        tokenizer = Tokenizer(dict_path, do_lower_case=True)  # 建立分词器
    
        # 建立加载模型
        bert = build_transformer_model(
            config_path,
            checkpoint_path,
            with_pool='linear',
            application='unilm',
            return_keras_model=False,
        )
    
        encoder = keras.models.Model(bert.model.inputs, bert.model.outputs[0])
        return encoder,tokenizer
    
    def setIndex(dim, index_param):
        """
        设置faiss的index
        """
        if index_param[0:4] == 'HNSW' and ',' not in index_param:
            hnsw_num = int(index_param.split('HNSW')[-1])
            print(f'Index维度为{
          dim}，HNSW参数为{
          hnsw_num}')
            index = faiss.IndexHNSWFlat(dim, hnsw_num, faiss.METRIC_INNER_PRODUCT)
        else:
            index = faiss.index_factory(dim, index_param, faiss.METRIC_INNER_PRODUCT)
        index.verbose = True
        index.do_polysemous_training = False
        return index
    
    def dumpIndex(index, index_save_path):
        """
        保存index索引
        """
        faiss.write_index(index, index_save_path)
    
    def get_tag_data_vecs(tag_data, encoder, tokenizer):
        """
        根据文本数据得到768维向量
        """
        data_gen = data_generator(data=tag_data, batch_size=32)
        vecs = encoder.predict_generator(data_gen.forpred(), steps=len(data_gen), verbose=1)
        vecs = vecs / (vecs**2).sum(axis=1, keepdims=True)**0.5
        return vecs 
    
    encoder, tokenizer = buildSimbertEncoder()
    dim, index_param = 768, 'Flat'
    vecs_dic, index_dic = {
        }, {
        }
    tag_list = list(df.prediction.unique()) + [-1]
    
    tag_data = list(df1.copywriter.values)
    data_vecs = get_tag_data_vecs(tag_data, encoder, tokenizer)
    
    type(data_vecs)
    data_vecs[:1]
    
    ids = setIndex(dim, index_param)
    ids.add(data_vecs)
    
    def search_ad(key_word, df, topK=10):
        target_vecs = get_tag_data_vecs(key_word, encoder, tokenizer)
        C, I = ids.search(target_vecs, topK)
        df_tag = df1['copywriter'].reset_index(drop=True)
        print(df_tag[I[0]])
        print(C[0])
        
    key_word = '传奇，爆率，装备'
    search_ad(key_word, df)

--------------------

参考资料：  
[广告行业中那些趣事系列30：实际业务超好用的SimBERT][30_SimBERT]

--------------------

参考资料：  
[广告行业中那些趣事系列28：基于半监督或自监督解决文本分类中样本不均衡问题][28]  
[广告行业中那些趣事系列29：文案生成之路-基于BERT构建文案生成模型][29_-_BERT]

[https_github.com_ZhuiyiTechnology_simbert]: https://github.com/ZhuiyiTechnology/simbert
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_10_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/27b02ab07d244725afa2c98013bbf82e.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO,size_10,color_FFFFFF,t_70,g_se,x_16
[dabb4237f9184da1973d75d3d0710669.png]: https://img-blog.csdnimg.cn/dabb4237f9184da1973d75d3d0710669.png
[6551724a9889440daf9bd714a9499c5d.png]: https://img-blog.csdnimg.cn/6551724a9889440daf9bd714a9499c5d.png
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_15_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/41c01e406cb84b2ab4152ad62ee30caa.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO,size_15,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_13_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/7cd459c1b2d9495d8365972c0e699410.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO,size_13,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_15_color_FFFFFF_t_70_g_se_x_16 1]: https://img-blog.csdnimg.cn/e29f466e4ec643f8b0d087845abb7066.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO,size_15,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_14_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/c36cc3c727f2421b82ff00815b358cdc.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO,size_14,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_15_color_FFFFFF_t_70_g_se_x_16 2]: https://img-blog.csdnimg.cn/2e2fd9e683c348c383557175ce6475c4.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO,size_15,color_FFFFFF,t_70,g_se,x_16
[https_github.com_wilsonlsm006_simbert_task_edit_main_simbert_search.py]: https://github.com/wilsonlsm006/simbert_task/edit/main/simbert_search.py
[30_SimBERT]: https://zhuanlan.zhihu.com/p/355552495
[28]: https://zhuanlan.zhihu.com/p/352102967
[29_-_BERT]: https://zhuanlan.zhihu.com/p/353836069