Transformer中的Positional Encoding

柔光的暖阳◎ 2022-12-07 15:05 137阅读 0赞

参考资料：[https://wmathor.com/index.php/archives/1453/][https_wmathor.com_index.php_archives_1453]

首先你需要知道，Transformer 是以字作为输入，将字进行 **字嵌入**之后，再与 **位置嵌入**进行 **相加（不是拼接，就是单纯的对应位置上的数值进行加和）**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzOTMyOTI1_size_16_color_FFFFFF_t_70][]

需要使用位置嵌入的原因也很简单，因为 Transformer 摈弃了 RNN 的结构，因此需要一个东西来标记各个字之间的时序 or 位置关系，而这个东西，就是位置嵌入

>  *  One possible solution to give the model some sense of order is to add a piece of information to each word about its position in the sentence. We call this “piece of information”, the positional encoding.

如果让我们从 0 开始设计一个 Positional Encoding，比较容易想到的第一个方法是取 \[0,1\] 之间的数分配给每个字，其中 0 给第一个字，1 给最后一个字，具体公式就是 ![gif.latex_PE_20_3D_5Cfrac_7Bpos_7D_7BT-1_7D][]. 这样做的问题在于，假设在较短文本中任意两个字位置编码的差为 0.0333，同时在某一个较长文本中也有两个字的位置编码的差是 0.0333。假设较短文本总共 30 个字，那么较短文本中的这两个字其实是相邻的；假设较长文本总共 90 个字，那么较长文本中这两个字中间实际上隔了两个字。这显然是不合适的，因为相同的差值，在不同的句子中却不是同一个含义

另一个想法是线性的给每个时间步分配一个数字，也就是说，第一个单词被赋予 1，第二个单词被赋予 2，依此类推。这种方式也有很大的问题：1. 它比一般的字嵌入的数值要大，难免会抢了字嵌入的「风头」，对模型可能有一定的干扰；2. 最后一个字比第一个字大太多，和字嵌入合并后难免会出现特征在数值上的倾斜

### **理想的设计** ###

理想情况下，位置嵌入的设计应该满足以下条件：

*  它应该为每个字输出唯一的编码
 *  不同长度的句子之间，任何两个字之间的差值应该保持一致
 *  它的值应该是有界的

作者设计的位置嵌入满足以上的要求。首先，它不是一个数字，而是一个包含句子中特定位置信息的d维向量。其次，这种嵌入方式没有集成到模型中，相反，这个向量是用来给句子中的每个字提供位置信息的，换句话说，我们通过注入每个字位置信息的方式，增强了模型的输入（ **其实说白了就是将位置嵌入和字嵌入相加，然后作为输入**）

设t为一句话中某个字的位置， ![gif.latex_5Coverrightarrow_7Bp_7Bt_7D_7D_5Cepsilon_20_5Cmathbb_7BR_7D_5E_7Bd_7D][]表示位置t时刻这个词位置嵌入的向量， ![gif.latex_5Coverrightarrow_7Bp_7Bt_7D_7D_5C][]的定义如下 ![gif.latex_5Cbegin_7Balign_7D_20_5Cvec_7Bp_t_7D_5E_7B_28i_29_7D_20_3D_20f_28t_29_5E_7B_28i_29_7D_20_26_20_3A_3D_20_5Cbegin_7Bcases_7D_20_5Csin_28_7B_5Comega_k_7D_20._20t_29_2C_20_26_20_5Ctext_7Bif_7D_5C_20i_20_3D_202k_20_5C_5C_20_5Ccos_28_7B_5Comega_k_7D_20._20t_29_2C_20_26_20_5Ctext_7Bif_7D_5C_20i_20_3D_202k_20_plus_201_20_5Cend_7Bcases_7D_20_5Cend_7Balign_7D][]

其中 ![20d_7D_7D][]

k指的是位置嵌入中维度的下标，为了使得位置嵌入和字嵌入能够相加，因此位置嵌入维度和字嵌入的维度必须相同

所以 ![gif.latex_i_5Cin_20_5B0_2C_20d_29][],所以就有 ![gif.latex_k_5Cin_20_5B0_2C_20_5Cfrac_20_7Bd-1_7D_7B2_7D_29][]

对于三角函数 ![gif.latex_y_3DAsin_20_28Bx_plus_C_29_plus_D][]来说，周期是 ![gif.latex_5Cfrac_20_7B2_5Cpi_7D_7BB_7D][],因此 B 越大，频率值越大，一个周期内函数图像重复次数越多，波长越短.

回到 ![gif.latex_5Coverrightarrow_7Bp_7Bt_7D_7D_5C][]的定义中，k是越来越大的，因此wk越来越小，所以 ![gif.latex_5Cfrac_20_7Bw_k_7D_7B2_5Cpi_7D][]也越来越小，于是频率随着向量维度下标的递增而递减，频率递减 = 周期变长。我们计算一下周期最小是 ![gif.latex_2_5Cpi][](k=0时)，周期最大是1000\* ![gif.latex_2_5Cpi][]（k=d/2时)

你可以想象下t时刻字的位置编码 ![gif.latex_5Coverrightarrow_7Bp_7Bt_7D_7D_5C][]是一个包含 sin 和 cos 函数的向量（假设d可以被 2 整除）

![gif.latex_5Cvec_7Bp_t_7D_20_3D_20_5Cbegin_7Bbmatrix_7D_20_5Csin_28_7B_5Comega_0_7D.t_29_5C_5C_20_5Ccos_28_7B_5Comega_0_7D.t_29_5C_5C_20_5C_5C_20_5Csin_28_7B_5Comega_1_7D.t_29_5C_5C_20_5Ccos_28_7B_5Comega_1_7D.t_29_5C_5C_20_5C_5C_20_5Cvdots_5C_5C_20_5C_5C_20_5Csin_28_7B_5Comega_7B_5Cfrac_7Bd_7D_7B2_7D-1_7D_7D.t_29_5C_5C_20_5Ccos_28_7B_5Comega_7B_5Cfrac_7Bd_7D_7B2_7D-1_7D_7D.t_29_20_5Cend_7Bbmatrix_7D_7Bd_20_5Ctimes_201_7D][]

### 直观展示 ###

你可能想知道 sin 和 cos 的组合是如何表示位置信息的？这其实很简单，假设你想用二进制表示一个数字，你会怎么做？

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzOTMyOTI1_size_16_color_FFFFFF_t_70 1][]

用二进制表示一个数字太浪费空间了，因此我们可以使用与之对应的连续函数 —— 正弦函数

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzOTMyOTI1_size_16_color_FFFFFF_t_70 2][]

[https_wmathor.com_index.php_archives_1453]: https://wmathor.com/index.php/archives/1453/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzOTMyOTI1_size_16_color_FFFFFF_t_70]: /images/20221123/e0e73734ff5e458e87e7d5a22f794819.png
[gif.latex_PE_20_3D_5Cfrac_7Bpos_7D_7BT-1_7D]: https://latex.codecogs.com/gif.latex?PE%20%3D%5Cfrac%7Bpos%7D%7BT-1%7D
[gif.latex_5Coverrightarrow_7Bp_7Bt_7D_7D_5Cepsilon_20_5Cmathbb_7BR_7D_5E_7Bd_7D]: https://latex.codecogs.com/gif.latex?%5Coverrightarrow%7Bp_%7Bt%7D%7D%5Cepsilon%20%5Cmathbb%7BR%7D%5E%7Bd%7D
[gif.latex_5Coverrightarrow_7Bp_7Bt_7D_7D_5C]: https://latex.codecogs.com/gif.latex?%5Coverrightarrow%7Bp_%7Bt%7D%7D%5C
[gif.latex_5Cbegin_7Balign_7D_20_5Cvec_7Bp_t_7D_5E_7B_28i_29_7D_20_3D_20f_28t_29_5E_7B_28i_29_7D_20_26_20_3A_3D_20_5Cbegin_7Bcases_7D_20_5Csin_28_7B_5Comega_k_7D_20._20t_29_2C_20_26_20_5Ctext_7Bif_7D_5C_20i_20_3D_202k_20_5C_5C_20_5Ccos_28_7B_5Comega_k_7D_20._20t_29_2C_20_26_20_5Ctext_7Bif_7D_5C_20i_20_3D_202k_20_plus_201_20_5Cend_7Bcases_7D_20_5Cend_7Balign_7D]: https://latex.codecogs.com/gif.latex?%5Cbegin%7Balign%7D%20%5Cvec%7Bp_t%7D%5E%7B%28i%29%7D%20%3D%20f%28t%29%5E%7B%28i%29%7D%20%26%20%3A%3D%20%5Cbegin%7Bcases%7D%20%5Csin%28%7B%5Comega_k%7D%20.%20t%29%2C%20%26%20%5Ctext%7Bif%7D%5C%20i%20%3D%202k%20%5C%5C%20%5Ccos%28%7B%5Comega_k%7D%20.%20t%29%2C%20%26%20%5Ctext%7Bif%7D%5C%20i%20%3D%202k%20&plus;%201%20%5Cend%7Bcases%7D%20%5Cend%7Balign%7D
[20d_7D_7D]: https://latex.codecogs.com/gif.latex?%5Comega_k%20%3D%20%5Cfrac%7B1%7D%7B10000%5E%7B2k%20/%20d%7D%7D
[gif.latex_i_5Cin_20_5B0_2C_20d_29]: https://latex.codecogs.com/gif.latex?i%5Cin%20%5B0%2C%20d%29
[gif.latex_k_5Cin_20_5B0_2C_20_5Cfrac_20_7Bd-1_7D_7B2_7D_29]: https://latex.codecogs.com/gif.latex?k%5Cin%20%5B0%2C%20%5Cfrac%20%7Bd-1%7D%7B2%7D%29
[gif.latex_y_3DAsin_20_28Bx_plus_C_29_plus_D]: https://latex.codecogs.com/gif.latex?y%3DAsin%20%28Bx&plus;C%29&plus;D
[gif.latex_5Cfrac_20_7B2_5Cpi_7D_7BB_7D]: https://latex.codecogs.com/gif.latex?%5Cfrac%20%7B2%5Cpi%7D%7BB%7D
[gif.latex_5Cfrac_20_7Bw_k_7D_7B2_5Cpi_7D]: https://latex.codecogs.com/gif.latex?%5Cfrac%20%7Bw_k%7D%7B2%5Cpi%7D
[gif.latex_2_5Cpi]: https://latex.codecogs.com/gif.latex?2%5Cpi
[gif.latex_5Cvec_7Bp_t_7D_20_3D_20_5Cbegin_7Bbmatrix_7D_20_5Csin_28_7B_5Comega_0_7D.t_29_5C_5C_20_5Ccos_28_7B_5Comega_0_7D.t_29_5C_5C_20_5C_5C_20_5Csin_28_7B_5Comega_1_7D.t_29_5C_5C_20_5Ccos_28_7B_5Comega_1_7D.t_29_5C_5C_20_5C_5C_20_5Cvdots_5C_5C_20_5C_5C_20_5Csin_28_7B_5Comega_7B_5Cfrac_7Bd_7D_7B2_7D-1_7D_7D.t_29_5C_5C_20_5Ccos_28_7B_5Comega_7B_5Cfrac_7Bd_7D_7B2_7D-1_7D_7D.t_29_20_5Cend_7Bbmatrix_7D_7Bd_20_5Ctimes_201_7D]: https://latex.codecogs.com/gif.latex?%5Cvec%7Bp_t%7D%20%3D%20%5Cbegin%7Bbmatrix%7D%20%5Csin%28%7B%5Comega_0%7D.t%29%5C%5C%20%5Ccos%28%7B%5Comega_0%7D.t%29%5C%5C%20%5C%5C%20%5Csin%28%7B%5Comega_1%7D.t%29%5C%5C%20%5Ccos%28%7B%5Comega_1%7D.t%29%5C%5C%20%5C%5C%20%5Cvdots%5C%5C%20%5C%5C%20%5Csin%28%7B%5Comega_%7B%5Cfrac%7Bd%7D%7B2%7D-1%7D%7D.t%29%5C%5C%20%5Ccos%28%7B%5Comega_%7B%5Cfrac%7Bd%7D%7B2%7D-1%7D%7D.t%29%20%5Cend%7Bbmatrix%7D_%7Bd%20%5Ctimes%201%7D
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzOTMyOTI1_size_16_color_FFFFFF_t_70 1]: /images/20221123/0b0ea2b3258c499f96b304104fc17631.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzOTMyOTI1_size_16_color_FFFFFF_t_70 2]: /images/20221123/ec9aa8b5606d4311b4e07f0e51c01410.png