Attention （学习笔记）

妖狐艹你老母 2023-03-13 05:19 22阅读 0赞

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70]  
Seq-Seq 模型的困难：

p ( y 1 , . . . y T ) ∣ x 1 , . . . x T = ∏ t = 1 T ′ p ( y t ∣ c , y 1 , . . . , y t − 1 ) = ∏ t = 1 T ′ g ( c , s t − 2 , y t − 1 ) p(y\_1,...y\_T)|x\_1,...x\_T=\\prod \_\{t=1\}^\{T^\{'\}\}p(y\_t|c,y\_1,...,y\_\{t-1\})=\\prod \_\{t=1\}^\{T^\{'\}\}g(c, s\_\{t-2\}, y\_\{t-1\}) p(y1,...yT)∣x1,...xT=∏t=1T′p(yt∣c,y1,...,yt−1)=∏t=1T′g(c,st−2,yt−1)  
困难：  
（1）编码到一个hidden state （c）有信息损失。  
c的表达能力不足。  
（2）梯度消失: decoder 梯度传播到encoder ，梯度传播过长。  
（3）非平稳性，实际中不同语言的顺序是不同的。  
**需要 Attention**  
Attention enbales the model to be globally. (时间上是globally ，但不是全连接网络,区别是全连接网络是特征组合，不区分每一个时刻的特征对应的对象。 attention对任意一个时刻计算词的相关性)。

### Temporal Attention ###

任何一个词对当前时刻的重要性，简单的方法是加权。  
 x j x\_j xj对 s i − 1 s\_\{i-1\} si−1的重要性， 学习  e i j = a ( s i − 1 , x j ) e\_\{ij\}=a(s\_\{i-1\}, x\_j) eij=a(si−1,xj)  
a 可以是全连接网络，例如 e i j = v a T t a n h ( W a s i − 1 + U a x j ) e\_\{ij\}=v\_a^T tanh(W\_a s\_\{i-1\} + U\_ax\_j) eij=vaTtanh(Wasi−1\+Uaxj)。a也可以是内积（不是很work）.

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 1]  
a的权重和是1， Softmax  a i j = e x p ( e i j ) ∑ k = 1 T e x p ( e i k ) a\_\{ij\}=\\frac\{exp(e\_\{ij\})\}\{\\sum\_\{k=1\}^Texp(e\_\{ik\})\} aij=∑k=1Texp(eik)exp(eij)  
简单的使用方法是a对x进行加权：  
 c i = ∑ j = 1 T a i j x j c\_i=\\sum\_\{j=1\}^Ta\_\{ij\}x\_j ci=∑j=1Taijxj ( c i c\_i ci是上下文向量)

s i = f ( s i − 1 , y i − 1 , c i ) s\_i = f(s\_\{i-1\},y\_\{i-1\},c\_i) si=f(si−1,yi−1,ci) ,这里的f是GRU或者LSTM，

**区别与LSTM与RNN的单元创新，这里的创新是网络架构的创新（增加了上下文的向量）**。

*  双向的RNN

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 2]  
蓝色区域是 encoder.  
f代表网络的节点，可以是LSTM或者GRU  
 s i = f ( s i − 1 , y i − 1 , c i ) s\_i = f(s\_\{i-1\},y\_\{i-1\},c\_i) si=f(si−1,yi−1,ci)

c i = ∑ j = 1 T a i j h j , h j = \[ → h j ; ← h j \] c\_i=\\sum\_\{j=1\}^Ta\_\{ij\}h\_j, h\_j = \[\\underset\{h\_j\}\{\\rightarrow\}; \\underset \{h\_j\}\{\\leftarrow\}\] ci=∑j=1Taijhj,hj=\[hj→;hj←\]

学习权重  
 e i j = a ( s i − 1 , h j ) e\_\{ij\}=a(s\_\{i-1\}, h\_j) eij=a(si−1,hj)

softmax 分配attention  
 a i j = e x p ( e i j ) ∑ k = 1 T e x p ( e i k ) a\_\{ij\}=\\frac\{exp(e\_\{ij\})\}\{\\sum\_\{k=1\}^Texp(e\_\{ik\})\} aij=∑k=1Texp(eik)exp(eij)

### 注意力模型 ###

Key k, Query q and Value v  
target state 是q.  
source state 是k.  
在深度网络中，k和v是一样的。  
计算重要性  
 w i j = a ( q i − 1 , k j ) w\_\{ij\}=a(q\_\{i-1\}, k\_j) wij=a(qi−1,kj)

融合重要性  
 ∑ j = 1 T w i j v j \\sum\_\{j=1\}^Tw\_\{ij\}v\_j ∑j=1Twijvj

### 层次化的Attention （Hierarchical Attention） ###

attention 模型的输出被输入到下一层。  
Yang et al. Hieracrchial Attention Networks for Document Classification. ACL-HLT 2016

### Local Attention ###

找到一个source position  p t p\_t pt, 滑动窗口计算 p t p\_t pt周围的上下文向量 c t c\_t ct。  
下面公式中S是源句子的长度。  
 p t = S ⋅ s i g m o i d ( v p T t a n h ( W p h t ) ) p\_t = S\\cdot sigmoid(v\_p^T tanh (W\_p h\_t)) pt=S⋅sigmoid(vpTtanh(Wpht))

使用高斯核函数，降低计算量  
 a t ( s ) = a l i g n ( h t , h s ˉ ) e x p \[ − ( s − p t ) 2 2 σ 2 \] a\_t(s) = align(h\_t, \\bar\{h\_s\})exp\[-\\frac\{(s-p\_t)^2\}\{2\\sigma^2\}\] at(s)=align(ht,hsˉ)exp\[−2σ2(s−pt)2\]  
文章： Luong et al. Effective Approaches to Attention-based Neural Machine Translation. ACL 2015

### Google NMT System ###

把好的想法取出来，组合最新的翻译系统（文章： Wu et al. Google’s Neural Machine Translation System: Bridging the Gap between Human and Machine TRanslation 2016）  
（1） encorder 和decoder 结构  
（2）采用 Bi-directional 结构  
（3）使用 Residual 结构： 在纵向方向上使用，防止梯度消失  
（4）采用Attention 结构： 计算 decorder中任意一个词和encorder所有词的注意力分配。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 3]

## Spatial Attention 空间注意力 ##

### Temporal Attention: Show ,Attend and Tell ###

图像描述的工作  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 4]  
上面是典型的Encoder-decorder的结构或者说是Sequence-Sequence 结构。这种结构才有存在梯度消失、训练困难的问题。

Show,Attend and tell的工作：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 5]  
不同的词对应到图片空间的不同区域，这就是空间的注意力。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 6]  
这时候还没有Conv-LSTM，所以作者将图像变成一维的张量。将a做pooling,首先第一个是average pooling然后经过一个全连接的网络 f i n i t , c f\_\{init,c\} finit,c得到context vector 和hidden vector  h 0 h\_0 h0。 h 0 h\_0 h0是一个d维向量。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 7]  
a是196维，所以计算出的 α \\alpha α是196在个值。这里的 z t ^ \\hat\{z\_t\} zt^类似于上面图中的average pooling,不过这里是加权的pooling。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 8]  
这里比较巧妙的想法是，每次输入的不能都是相同的图片a，要把每一次的预测的词也体现在图片中。第一个时刻 h 1 h\_1 h1中 z 1 z\_1 z1作为空间的特征输入。 d d d是词表上面的概率分布。  y 0 y\_0 y0是训练时刻的第一个词，在inference阶段没有。

## Self -Attention ##

给出一组Key  K = \[ k 1 , . . . , k n \] K=\[k\_1,..., k\_n\] K=\[k1,...,kn\] , query Q和value V  
Self\_attention中 K=Q=V.

Self-Attention可以使用Temporal Attention实现，但是实现较复杂，并且发生在大的RNN网络中。  
 e i j = v a T t a n h ( W a s i − 1 + U a h j ) e\_\{ij\}=v\_a^Ttanh(W\_a s\_\{i-1\} + U\_ah\_j) eij=vaTtanh(Wasi−1\+Uahj)太复杂

*  内积  
     a ( q , k ) = q T k a(q,k)=q^Tk a(q,k)=qTk 内积坏处是并不能真实反应样本的相似性。
 *  双线性  
     a ( q , k ) = q T W k a(q,k)=q^TWk a(q,k)=qTWk 多引入了一组参数，在度量学中经常使用，W是马式矩阵。
 *  Scaled 内积  
     a ( q , k ) = q T k d k a(q,k)=\\frac\{q^Tk\}\{d\_k\} a(q,k)=dkqTk  
    深度学习自己具有特征学习能力，任意两个特征之间如果能很好的学习特征，则足够的。  
    内积的值会随着向量维度的增加，所以对向量的维度 d k d\_k dk进行Scaled，使得 a ( q , k ) a(q,k) a(q,k)输入在softmax 在非饱和区。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_1_color_FFFFFF_t_70]  
 A t t e n t i o n ( Q , K , V ) = S o f t m a x ( Q K T d k ) V Attention(Q,K,V) = Softmax(\\frac\{QK^T\}\{\\sqrt\{d\_k\}\})V Attention(Q,K,V)=Softmax(dkQKT)V  
区别 于Temporal Attention ,这里是用伸缩之后的内积区计算。  
这里的复杂度是 d k l 2 d\_kl^2 dkl2, l 是句子的长度（单词的个数）。  
Temporal Attention的复杂度是 d k 2 l 2 d^2\_kl^2 dk2l2， 通过内积的计算大大降低了复杂度（l << dk）.

Self Attention 在decoder的阶段破坏了句子的顺序的信息，所以需要加入 Mask（类似卷积的dropout）。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_1_color_FFFFFF_t_10]  
**缺点**  
（1）**表达能力不够。**  
（2）**丢失了位置信息，抛弃了循环网络，循环网络是图灵完备的网络。**  
解决办法： Multi-head Attentiont ,使得能够不同 的chanel 注意力到不同的子空间 。  
每一个chanel的维度不是很高，降低 W i Q , W i K , W i V W\_i^Q, W\_i^K, W\_i^V WiQ,WiK,WiV的维度，从 d m o d e l d\_\{model\} dmodel到 d k , d k , d v d\_k, d\_k, d\_v dk,dk,dv。

不同head之间参数不共享。  
 h e a d i = A t t e n t i o n ( Q W i Q , K W i K , V W i V ) head\_i =Attention(QW\_i^Q, KW\_i^K, VW\_i^V) headi=Attention(QWiQ,KWiK,VWiV)

M u l t i H e a d ( Q , K , V ) = C o n c a t ( h e a d 1 , . . . , h e a d n ) W O MultiHead(Q,K,V)=Concat (head\_1,...,head\_n)W^O MultiHead(Q,K,V)=Concat(head1,...,headn)WO

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 9]  
对于attention丢失了位置信息，加入位置信息到输入向量。  
pos 是位置， i是维度。下面的公式是一个trick。  
 P E ( p o s , 2 i ) = s i n ( p o s / 1000 0 2 i / d m o d e l ) PE(pos, 2i) = sin(pos/10000^\{2i/d\_\{model\}\}) PE(pos,2i)=sin(pos/100002i/dmodel)

P E ( p o s , 2 i + 1 ) = c o s ( p o s / 1000 0 2 i / d m o d e l ) PE(pos, 2i+1)=cos(pos/10000^\{2i/d\_\{model\}\}) PE(pos,2i\+1)=cos(pos/100002i/dmodel)  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 10]

### 图像中的 Self-Attention ###

在图像中像素的Self-Attention是计算其周围像素的关系。这里我们也就明白Self-Attention是针对集合的（在句子中是序列的集合，在图像中像素矩阵的集合）。空间注意力的缺点是引入的Attention增加了参数量，但是效果不是很好，还有改进的空间。  
在图像识别中，由于转换人脸的嘴巴和鼻子，仍然可以识别出人，但是在GAN中  
对嘴巴的鼻子的位置有严格的要求，对等边性要求高。比卷积网络具有更好的等边性。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 11]

### Ad-hoc Attention: Channel Attention, Class Activation Mapping ###

*  Channel Attention作用在C通道上面。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 12]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 13]  
    Hu,J Shen,L,sun,G : Squeeze-and-excitation networks , In CVPR 2018.
 *  Class Activation Mapping (CAM)  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 14]  
    普通的卷积得不到Class的重要性，其中 w 1 , w 2 , . . . w n w\_1,w\_2,...w\_n w1,w2,...wn刻画了  
    class的重要性。本质上是学习了任何一个channel和任何一个 class的关系。

将加权从Gloabal average pooling之前，如果加权放在  
global average pooling之后不好直观的刻画和一维张量的关系。  
而且放在Pooling之前还有空间的尺度，对每一个chanel做一个加权。

Zhou et al. “Learing Deep Feature for Discriminative Localization” CVPR 2016

## Transformer ##

论文： Vaswanni et al. Attention is all youn need. NIPS 2017  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 15]  
这里的Transformer 没有RNN结构，只有 Self Attention.  
Transformer 的结构：下图通常称之为 Transformer Block, 图中的Nx代表重复了Nx次（6次）。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 16]  
所有的循环连接被 attention modules 取代。  
Encorder:  
6 layers of self-attention + feed-forward network  
Decorder:  
6 layers of masked self-attention + feed-forward network

输入层：  
输入向量加上位置信息

输出层：  
linear transformation and softmax

*  两种方式叠加网络  
    第一种encorder方式，K,Q,V位置对应，注意图中红框。这里encorder 本质上self-attention.  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 17]  
    第二种decorder方式：  
    decorder中Q从上一层得到，记忆的K和V从encorder得到。这里的decorder 本质上是cross-attention.  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 18]
 *  Feed forward  
    输入是（batch, sel\_len, fea\_size）reshape成(batch\*seq\_len, fea\_size),加入特征变换使得网络更深，不能使用卷积操作，所以使用全连接网络, 三维变成二维使得可以使用下面的全连接网络。  
    使用两层的MLP(with ReLU)  
     F F N ( x ) = m a x ( 0 , x W 1 + b 1 ) W 2 + b 2 FFN(x) = max(0, xW\_1+b\_1)W\_2 +b\_2 FFN(x)=max(0,xW1\+b1)W2\+b2

然后又Reshape 成3D,类似卷积里面的1x1卷积。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 19]  
仍然需要注意的是在不同层之间有残差连接，防止梯度消失（纵向的方向梯度消失）。这里的Normalization是Layer Normalization。

## 为什么使用Self\_attention ##

（1）可以并行，没有时间之间的转移，速度更快。  
（2）可以建模长期的依赖。  
（3）具有一定的可解释性。  
（4）计算复杂性（当句子的长度小于表示向量的维度）。

下面n代表句子的长度，d是维度， k是卷积的kernal size. r是邻居的大小。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 20]

## Transformer 与RNNs的联系与区别 ##

**RNNs的优点：**  
对于序列建模是很强大的（图灵完备，可以生成所有的序列）  
缺点：  
Sequence 使得训练是缓慢的，在一些大规模的语言理解（翻译）。

**Transformer优点：**  
可以并行，更快的训练速度。  
缺点：  
在小的结构性明显的语言任务中（类似语言的copy, 输入 abc 输出abcabc）  
不是图灵完备（因为丢失了位置信息）。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70]: /images/20230312/983898b4ae0f4bd48157a89fe927b4a7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 1]: /images/20230312/45a516b2e78b451aa3cc11f7a6a306f2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 2]: /images/20230312/cfeba6528754432eb2c872c189327028.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 3]: /images/20230312/0cbef84c8c574289866b0e049d307555.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 4]: /images/20230312/c8b945e718264b29a9e980a55b4813b6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 5]: /images/20230312/b69c2873ed1047b08d0d34e4ddb6ecac.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 6]: /images/20230312/6cbde4ad8fa5433684b9f321404750e7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 7]: /images/20230312/019854039100407990b2eb549026bf37.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 8]: /images/20230312/ee161db38c6b4ae796264c5111b9b4e4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_1_color_FFFFFF_t_70]: /images/20230312/d50df122ae2d444fbbd87133f47bcfe8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_1_color_FFFFFF_t_10]: /images/20230312/bee4980eeb074295b31204350007e9f3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 9]: /images/20230312/3e91d51a09344b8aa609f644bfa63e6b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 10]: /images/20230312/baebb8ecff9a426d8d3a667b60813e75.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 11]: /images/20230312/0960e266f9ce41d8bba6a5d71f2b19ad.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 12]: /images/20230312/be78d14d5bac499085bd04c81226e7e4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 13]: /images/20230312/550143236dd34b72a887b6ee5ecbcff7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 14]: /images/20230312/2244507ebb3945a78ab8775f31339205.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 15]: /images/20230312/7f9451a62f234380b287b6302b1d28a8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 16]: /images/20230312/907e844087fa4af480696739a4c2321a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 17]: /images/20230312/aabf7e775aaf48d2a48f9bb524ac8333.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 18]: /images/20230312/47bd17d53fdf48b9b75efc16272ab7fb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 19]: /images/20230312/5c37933d3f7d44c6a25bc7bab5fea3c7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 20]: /images/20230312/49cfc97546024609bff66482e04bdf4f.png