BERT模型基本理念、工作原理、配置讲解（图文解释）

野性酷女 2023-09-30 21:30 23阅读 0赞

## 一、BERT的基本理念 ##

BERT是Birdirectional Encoder Representation from Transformers的缩写，意为多Transformer的双向编码器表示法，它是由谷歌发布的先进的嵌入模型，BERT是自然语言处理领域的一个重大突破，它在许多自然语言处理任务中取得了突出的成果，比如问答任务，文本生成，句子分类等等，BERT成功的一个主要原因是，它是基于上下文的嵌入模型，这是它与其他流行的嵌入模型的最大不同，首先让我么了解有上下文的嵌入模型和无上下文的嵌入模型之间的区别，如以下两个句子

A：he got bit by python(他被蟒蛇咬了)

B：python is my favorite programming lauguage(python是我最喜爱的编程语言)

如果使用上下文无关的的嵌入模型进行计算单词python的嵌入值，则两个句子中python嵌入值相同，因为它会忽略语境

BERT是一个基于上下文的模型，它先理解预警，然后根据上下文生成该词的嵌入值，对于上面两个句子它将生成python不同的嵌入值，BERT将该句中的每个单词与句子中的所有单词相关联，以了解每个单词的上下文含义

![7296dcb3939c4ad3b2774a2c720fa129.png][]

![b467ad841ad34d439c1a4010747beae0.png][]

由此可见，与上下文无关的模型生成的静态嵌入不同，BERT能够根据语境生成动态嵌入

## 二、BERT的工作原理 ##

顾名思义，BERT是基于Transformer的，我们可以把它看成只有编码器的Transformer

Transformer的编码器是双向的，它可以从两个方向读取一个句子，因此BERT由Transformer获得双向编码器特征，通过BERT模型，对于一个给定的句子，我们可以获得每个单词的上下文特征

## 三、BERT的配置 ##

BERT的研究人员在发布该模型是提出了两种标准配置

> BERT-base
> 
> BERT-large

### 1：BERT-base ###

它由十二层编码器叠加而成，每层编码器都使用十二个注意力头，其中前馈网络层由768个隐藏神经元组成，所以它得到的特征向量的大小为768

我们使用符号来表示上述内容

编码器的层数用L表示

注意力头的数量用A表示

隐藏神经元的数量用H表示

它的网络参数总数可达1.1亿个

### 2：BERT-large ###

该模型由二十四层编码器叠加而成，每层编码器都使用十六个注意力头，其中前馈网络层包含1024个隐藏神经元，所以得到的特征向量大小为1024

它的网络参数可达3.4亿个

### 3：BERT的其他配置 ###

除了上述两种标准配置外，BERT还有多种不同的配置，下面列举一些小型配置

> BERT-tiny L=2 H=128
> 
> BERT-mini L=4 H=256
> 
> BERT-small L=4 H=512
> 
> BERT-medium L=8 H=512

在计算资源有限的情况下，我们可以使用较小的BERT配置，但是标准的BERT配置可以得到更准确的结果并且应用更为广泛

**创作不易 觉得有帮助请点赞关注收藏~~~**

[7296dcb3939c4ad3b2774a2c720fa129.png]: https://img-blog.csdnimg.cn/7296dcb3939c4ad3b2774a2c720fa129.png
[b467ad841ad34d439c1a4010747beae0.png]: https://img-blog.csdnimg.cn/b467ad841ad34d439c1a4010747beae0.png

发表评论取消回复

表情：

评论列表（有 0 条评论，23人围观）

还没有评论，来说两句吧...

相关阅读

相关预训练语言模型中Transfomer模型、自监督学习、BERT模型概述（图文解释）

一、Transformer变换器模型 Transformer模型的编码器是由6个完全相同的层堆叠而成，每一层有两个子层。第一个子层是多头自注意力机制层

小咪咪/ 2023年10月09日 20:12/ 0 赞/ 76 阅读

相关 BERT模型基本理念、工作原理、配置讲解（图文解释）

一、BERT的基本理念 BERT是Birdirectional Encoder Representation from Transformers的缩写，意为多Transf

野性酷女/ 2023年09月30日 21:30/ 0 赞/ 24 阅读

相关 Transformer中解码器decoder的详细讲解（图文解释）

假设我们想把英语句子i am good翻译成法语句子 Je Vais bein，首先将原句送入编码器，使编码器学习原句，并计算特征值，在上一篇博客中已经讲解了编码器是如何计算原

妖狐艹你老母/ 2023年09月30日 21:30/ 0 赞/ 56 阅读

相关【大数据技术Hadoop+Spark】Spark架构、原理、优势、生态系统等讲解（图文解释）

一、Spark概述 Spark最初由美国加州伯克利大学（UCBerkeley）的AMP（Algorithms， Machines and People）实验室于2009年

红太狼/ 2023年09月30日 18:01/ 0 赞/ 55 阅读

相关【机器学习】算法术语、决策函数、概率模型、神经网络的详细讲解（图文解释）

一、机器学习算法术语 1）数据集（Data Set），训练集（Training Set），验证集（Validation Set）和测试集（Test Set） ![46a

电玩女神/ 2023年09月30日 17:56/ 0 赞/ 42 阅读

相关 BERT 模型

![20191009191333910.png][] [日萌社][Link 1] [人工智能AI：Keras PyTorch MXNet TensorFlow Pa

我会带着你远行/ 2023年07月02日 05:26/ 0 赞/ 38 阅读

相关 markdown的基本语法，图文清楚解释

markdown基本语法 markdown是一种纯文本格式的标记语言，通过简单的标记语法，使得文本具有一定的格式。一、标题在要设置为标题的文本前加“\ ”（注

古城微笑少年丶/ 2023年02月28日 12:48/ 0 赞/ 130 阅读

相关 springmvc 原理图文解释

![Center][] 上面的是springMVC的工作原理图： 1、客户端发出一个http请求给web服务器，web服务器对http请求进行解析，如果匹配Dispatch

短命女/ 2022年07月28日 01:05/ 0 赞/ 167 阅读

相关 HttpURLConnection基本工作原理

运行截图 ![这里写图片描述][SouthEast] MainActivity.java package csdn.example.com.notificat

旧城等待，/ 2022年06月12日 13:54/ 0 赞/ 214 阅读

相关 springmvc基本工作原理

1.springmvc介绍：　springMVC是一个MVC的开源框架，springMVC=struts2+spring，springMVC就相当于是Struts2加上

拼搏现实的明天。/ 2022年04月18日 04:37/ 0 赞/ 231 阅读