BERT初学者九问

刺骨的言语ヽ痛彻心扉 2022-11-27 12:22 107阅读 0赞

# 0.前言 #

*  本文总结了初学者对`BERT`的一些常见疑惑
 *  BERT 的五个关键词： `Pre-training、Deep、Bidirectional、Transformer、Language Understanding`
 *  文章来源： CSDN@LawsonAbs

--------------------

# 1. `Bert`是什么？ #

首先要明白什么是预训练模型【这个我后面再更~】。在这个基础上，我们来看 Bert 模型。

## 1.1 定义 ##

*  标志BERT出身的那篇论文的标题是`BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding`，[论文链接][Link 1]。
 *  BERT（ `Bidirectional Encoder Representation from Transformers`，其中文译名应该就是“基于transformers 的双向（深度）编码表示”）

> Bert is a method of pretraining language representations

*  BERT是首个无监督的、深度双向预训练NLP模型，仅使用纯文本语料库进行训练。

## 1.2 特点 ##

*  Bert最关键两点，一点是特征抽取器采用Transformer；第二点是预训练的时候采用双向语言模型。
 *  BERT 是从大量的文本中经过半监督训练得来

# 2.`BERT`可以做什么？ #

> You can either use these models to extract high quality language features from your text data, or you can fine-tune these models on a specific task (classification, entity recognition, question answering, etc.) with your own data to produce state of the art predictions.

主要可以用于两种用途，也就是：

*  extract feature
 *  fine-tuning model

# 3.`Embedding` 有什么用？ #

> First, these embeddings are useful for keyword/search expansion, semantic search and information retrieval.  
> 【即使没有关键字重叠，还是可以找出比较相似的句子】

> Second, and perhaps more importantly, these vectors are used as high-quality feature inputs to downstream models.  
> 这句话说的意思就是：使用Bert得到的embedding可以为下游任务提供高质量的特征。

# 4.`BERT` 和 `word2vector` #

这两者都是nlp发展路程上的一个里程碑，只不过`word2vec`很少出现在当下的论文里，而bert尚流行于世。但是二者的思想都是相通的，都是想将文本的特征映射到一个高维的向量中，并尽可能完整地保留所有特征（实际上这是很难的）。

# 4.1 二者的关系 #

`BERT`是 `word2vec`的高级进化版，进化的后果【用进废退】就是：`BERT`广泛成长，`word2vec`逐渐废弃。

## 4.2 二者的区别 ##

`Bert` 与 `word2vec` 的区别是：`word2vec`中每个单词都有一个固定的表示，而与单词出现的上下文无关；bert生成的单词表示是由单词周围的单词动态形成的。

*  为什么使用`word2vec`得到的embedding 与上下文无关？  
    传统的`word2vec`包括很多种方法，比如：cbow,skip-gram 等都是常用的基础算法。这些算法都会有一个固定大小的词表，与这个词表对应有一个相应大小的矩阵（这个矩阵可训练，根据预先得到的数据训练，训练好就停止了）。如果需要某个词的embedding，就去这个词表矩阵中获取就可以了，所以说传统的`word2vec`得到的向量是固定的，那么以后无论在什么上下文中得到的向量都是相同的，所以说是上下文无关。

### 4.3 `Bert` 也做 `word embedding`吗？ ###

Bert 有自己的word to vector方法，可以将其看做是embedding生成机制中的一种，但Bert得到embedding是动态的，即使同一个单词得到的embedding可能都不是一样的（因为其上下文可能不同）。但有个问题是：BERT 是由12层 `Transformer` 构成，每个层得到的输出embedding各不相同，所以就需要我们自己考虑取哪些层的输出。通常情况下，取最后一层的`embedding`就OK了。

Bert 可以得到word的embedding，句子的embedding，句子的`embedding`是通过`[CLS]`获取的。

### 4.4 `BERT` 相比 `word2vec` 的优势是什么？ ###

> BERT produces word representations that are dynamically informed by the words around them.【最主要的就是利用了上下文信息，每个单词都不是一座孤岛】

# 5. `BERT、Transformer、Attention`之间的关系 #

## 5.1 Attention ##

`Attention` 是一种算法，可以将其看成是平级于 `RNN,LSTM` 的一种方法。这种方法的特别之处在于它对一个句子不同的词赋以不同的优先级。

## 5.2 Transformer ##

`transformer` 是一种架构，它基于Attention 机制实现。所谓的`transformer`也就是数个ecoder layer叠加得到的块。【同时需要注意，我们平常也会使用一个包叫做`Transformer`，这个包实现了诸如`BERT,GPT`这种常用且著名的算法，这个包由著名的`hugging face`团队开发】

### 5.3 Bert ###

`BERT`是一种集合`transfomer+双向检索`思想得到的算法，它可以很好的提取出文本中的信息。

# 6. BERT的 tokenize 过程 #

### 6.1 常见术语 ###

*  `sentence`

> a “sentence” can be an arbitrary span of contiguous text, rather than an actual linguistic sentence.A “sequence” refers to the input token sequence to BERT, which may be a single sentence or two sentences packed together.

*  Tokens：标记  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70_pic_center]

常用的`[CLS]`,`[SEP]`都是token，只不过他们是 `special token`；`token` 也可以是常见的汉字，也可以是常见的英语单词。但是也有可能  
把常见的单词拆分成几个字母的组合。

> Here are some examples of the tokens contained in our vocabulary.  
> 说明单词表中存在的词就可以称之为 tokens 。

*  Tokenize: 将文本处理成token 的过程就是tokenize。这个过程常常使用Transformer中的Tokenizer类
 *  Tokenizer:这个是代码中的类，用于实现tokenize的具体操作。例如BERT 有一个tokenzier 就叫做 BertTokenizer

## 6.2 tokenize的过程 ##

预训练好的模型是在一个固定大小的单词表上搞出来的，这个单词表包含四种词汇：

*  整个单词
 *  单词的开头部分
 *  单词的子成分
 *  独立的字符

当然，任何单词表也不一定能涵盖text中所有的单词。其中`OOV:out of vocabulary; UNK:unknown vocabulary`就是常出现的两种情况。对于单词表无法涵盖所有的单词，`BERT`并没有用`OOV，UNK`来表示这些不认识的单词，而是将不认识的单词拆分成多个部分。基于这个模型【指的是WordPiece模型】，tokenize的过程是：  
01.先查找单词表中有没有这样的完整单词  
02.如果有，则直接解析，执行下一个单词；如果没有，则拆分成概率最大的几个零散单词  
03.如果还不行，则拆分成字符

讲完，即怎么用`BERT` 提取出 `embedding`？

# 7. 如何用Bert提取出embedding？【如何用NLP预训练模型做`word embedding`？】 #

这个过程现在回过头来看实际比较简单，可以参考我的其它文章来理解。根据 `sentence` 得出 `embedding`的过程可以参考[文章][Link 2] 来实现，这文章写的真的超级好。【英语不好读起来真是超要命】

## 7.1 代码实现 ##

光说不练假把式，这些东西还是需要自己动手，使用bert生成embedding是个非常简单的过程。

""" 实现bert做embedding """
    import torch
    from transformers import BertTokenizer, BertModel # 导入transformer 的包
    #torch.set_printoptions(profile="full") # 输出tensor的整个部分
    """ 1.from_pretrained()方法是类PreTrainedModel的一个方法 2.这里的如果加上 output_hidden_states=True，那么就会把所有的hidden_states 给输出 如果没有加，那么就只能得到最后一个隐层的输出。 """
    model = BertModel.from_pretrained("bert-base-uncased",
                                        output_hidden_states = True)
    
    tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
    
    inputs = tokenizer("hello,my dog",return_tensors='pt')
    # 执行model[BertModel实例]的forward()方法，但是在执行之前，仍然做了很多其他的事情
    with torch.no_grad():
        outputs = model(**inputs)
        hiddden_states = outputs[2] # get the hidden states
    
    # The last hidden-state is the first element of the output tuple
    last_hidden_states = outputs[0]
    
    print(last_hidden_states)
    
    """ 1.如果我的句子是 "hello,my dog is cute"，那么得到last_hidden_state 的size 就是torch.Size([1, 8, 768])；如果我的句子是"hello,my dog"，那么得到的last_hidden_state 的 就是 torch.size([1,6,768])。也就是中间那个维度的大小是跟句子长度有关系 """
    print(last_hidden_states.size())  #
    
    """ inputs 是个字典，的内容如下： {'input_ids': tensor([[ 101, 7592, 1010, 2026, 3899, 2003, 10140, 102]]), 'token_type_ids': tensor([[0, 0, 0, 0, 0, 0, 0, 0]]), 'attention_mask': tensor([[1, 1, 1, 1, 1, 1, 1, 1]]) } """

得到的每个单词的 `embedding` 如下所示，因为这里共有4+2个`token`，所以其各个`embedding`显示如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70_pic_center 1]  
output\_hidden\_states 的控制在 modeling\_bert.py 中的 BertModel类的forward()方法中，如下所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70_pic_center 2]有了这个参数，就可以看到每个隐层的输出结果，如下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70_pic_center 3]output是个包含三个元素的tuple，分别的含义就是====

上面这段代码我放到了[github][]中。库里面还有更好的内容哦，也在不断整理中~

### 7.2 关键点 ###

我觉得关键点主要就如下几个：

*  熟悉BERT的输入、输出长什么样子
 *  熟悉BERT的模型结构，只有这样才能理解BERT的工作流程，才能清楚数据在BERT中的流动过程  
    上面这两点是比较关键的，
 *  再次者，我觉得熟悉源码操作的过程是比较重要的

## 8.BERT实战相关？ ##

### 8.1 如何使用BERT? ###

可以使用 `Hugging Face`组织提供的 `Transformers`包，里面提供了Bert的实现。其中`transformers`提供了将BERT应用到不同下游任务【`token classification,text classification....`】的许多类。

> `transformers` provides a number of classes for applying BERT to different tasks (token classification, text classification, …).

*  安装包  
    可以采用普通命令进行安装`pip install transformers`  
    这里我建议可以尝试源码安装，毕竟后面会常用到bert，阅读其源码也是一个基本学习方法。
 *  使用包  
    `import transformers`
 *  导入包中指定的模型  
    `from transformers import BertModel, BertTokenizer`  
    这句话的含义是从模块`transformers`中导入`BertTokenizer` 和 `BertModel`。这里请记住`BertModel` 这个类，可以说这是源码中较为重要的一个类了。以后肯定会更加经常的碰到~
 *  指定格式的输入  
    因为Bert是一个预训练好的模型，所以有很严格的数据输入格式。格式主要如下：  
    每个sentence都用`SEP, CLS` 分割；分割得到的`tokens`必须与代码中预训练的`BERT`模型使用相一致的的词表【也就是我们在下载的文件中常见到的`vocab.txt`文件】；Tokens的Token IDs，来自于BERT 的tokenzier；Mask IDs:表明句中的元素谁是tokens，谁是被 padding 的元素； Segment IDs ：用于区分不同的句子；`Positional Embeddings`： 用于展示剧中的token位置  
    这部分不再赘述，可以在参考博客中查看。  
    上面这些东西都可由 `BertTokenizer`的实例 的tokenize()方法得到。

### 8.2 `BERT tokenizer` 是基于什么模型构建的？ ###

> BERT tokenizer was created with a WordPiece model.

这个部分尚未深入，待更新吧~

# 9.Bert结构 #

这部分我们主要讲讲Bert 的具体架构。这是初学者需要格外注意的问题，也是NLP工程师面试常考的问题。

### 9.1 体系结构 ###

提纲挈领的一句话就是：

> BERT is basically a trained Transformer Encoder stack.

我们常用的BERT分成`bert-base` 和 `bert-large` 版，但是无论哪一种结构都是由一些`encoder layers`构成的，这些`encoder layers`又被叫做`Transformer blocks`。如下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70_pic_center 4]但实际代码中使用 BERT 的架构同论文中BERT的架构是稍有不同的【大致相似】。

## 9.2 Bert预训练中输入的Embedding ##

Bert 输入的Embedding 有三个，如下图所示：  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATGF3c29uQWJz_size_20_color_FFFFFF_t_70_g_se_x_16]  
其各个含义是，

*  Token Embeddings : 使用 `WordPiece`方法得到的Embedding
 *  Segement Embeddings: 在Bert中，我们称一个输入为sequence，原文中是这么说的：

> A “sequence” refers to the input token sequence to BERT, which may be a single sentence or two sentences packed together. Throughout this work, a “sentence” can be an arbitrary span of contiguous text, rather than an actual linguistic sentence.

那问题来了，如果我们传入的是两个 `setence` ，那么该怎么区分开呢（因为这也是一种信息，所以需要利用上）？bert中使用的方法就是使用 `Segment Embedding` 用于区分不同的句子。【论文中说，这个Segment Embedding 是一个可学习的参数】

*  Position Embeddings: 每个输入的token在sentence 中的位置是不同的，所以现在就需要对各个token的位置信息利用，所以提出使用position embedding .

# 参考资料 #

*  http://jalammar.github.io/illustrated-bert/
 *  https://mccormickml.com/2019/05/14/BERT-word-embeddings-tutorial  
    应该是这篇文章是国内大多数BERT相关博文的材料来源了吧，那么这篇文章主要讲什么？

> we will use BERT to extract features, namely word and sentence embedding vectors, from text data.

*  https://www.zhihu.com/question/404312195  
    上面这个问题提到了如何使用BERT构建 `word embedding`

[Link 1]: https://arxiv.org/abs/1810.04805
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70_pic_center]: /images/20221124/a49d4192259e42a790225a20e1c7615f.png
[Link 2]: https://mccormickml.com/2019/05/14/BERT-word-embeddings-tutorial/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221124/503884c7ebcd498092e095565fafc134.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221124/9e97082ccb1649d7bf5157ee7dcfe036.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221124/d01e6c9a6bc549ca81ea2b5af93caeec.png
[github]: https://github.com/LawsonAbs/learn/blob/master/nlp/%E4%BD%BF%E7%94%A8bert%E7%94%9F%E6%88%90embedding.ipynb
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221124/15f09ac9efb140d1b67c4ba7dba3c98d.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATGF3c29uQWJz_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20221124/9d156c5eb8dd4c508b4b9c0d6ff2b73a.png