CAN-NER Convolutional Attention Network for Chinese Named Entity Recognition

冷不防 2023-06-12 08:39 2阅读 0赞

#### CAN-NER: Convolutional Attention Network for Chinese Named Entity Recognition ####

#### 总结 ####

作者提出了基于注意力机制的卷积神经网络架构，用于中文命名实体识别。

主要的框架是`CNN with the local-attention` 和`Bi-GRU with global self-attention`

总体的框架图如下：

#### Convolutional Attention Layer ####

字符的嵌入输入 x x x

#####  x = \[ x c h ; x p o s ; x s e g \] x = \[x\_\{ch\}; x\_\{pos\};x\_\{seg\}\] x=\[xch;xpos;xseg\] #####

#####  x c h x\_\{ch\} xch代表word2vec的词向量 #####

#####  x p o s x\_\{pos\} xpos: 代表local context position。CNN的windows size是 k k k,  x p o s x\_\{pos\} xpos的维度为 k k k,`独热编码表示` #####

#####  x s e g x\_\{seg\} xseg:作者说是由BMES模式编码的分词信息，没有具体解释 #####

*  local attention步骤
    
    ##### cnn windows有k个元素， x j − k − 1 2 , . . . x j . . . . x j + k + 1 2 x\_\{j-\\frac\{k-1\}\{2\}\}, ...x\_j....x\_\{j+\\frac\{k+1\}\{2\}\} xj−2k−1,...xj....xj\+2k\+1 #####
    
    ####  s ( x j , x k ) = v T t a n h ( W 1 x j + W 2 x k ) s(x\_j,x\_k) = v^\{T\} tanh(W\_1x\_j + W\_2x\_k) s(xj,xk)=vTtanh(W1xj\+W2xk) ####
    
     v ∈ R d h W 1 ; W 2 ∈ R d h ; d e v \\in R^\{d\_h\} W\_1; W\_2 \\in R^\{ \{d\_h\};de\} v∈RdhW1;W2∈Rdh;de
    
    ####  α m = e x p s ( x j , x m ) ∑ n ∈ \{ j − k − 1 2 , . . . , j − k + 1 2 \} e x p   s ( x j ; x n ) α\_m = \\frac \{exp s(x\_j,x\_m)\}\{\\sum\_\{n \\in \\\{j-\\frac\{k-1\}\{2\},...,j-\\frac\{k+1\}\{2\} \\\}\} exp \\ s(x\_j; x\_n)\} αm=∑n∈\{ j−2k−1,...,j−2k\+1\}exp s(xj;xn)exps(xj,xm) ####
    
    ####  h m = α m x m h\_m = α\_mx\_m hm=αmxm ####
 *  卷积步骤
    
     h j c = ∑ k \[ W c ∗ h j − k − 1 2 , . . . , j − k + 1 2 + b c \] h^c\_j = \\sum\_k\[W^c ∗ h\_\{j-\\frac\{k-1\}\{2\},...,j-\\frac\{k+1\}\{2\}\}+b\_c\] hjc=∑k\[Wc∗hj−2k−1,...,j−2k\+1\+bc\]
    
    典型的卷积操作，只不过是最后sum pooling layer

#### BiGRU\_CRF with global Attention ####

跟BiLSTM+CRF没有什么区别，主要是加了一个中间加了一个global attention

与上面的local attention类似，只不过范围不再是cnn的windows size，而是针对

整个序列