【Paper Note】FiBiNet论文详解

待我称王封你为后i 2022-10-10 04:52 252阅读 0赞

#### 概述 ####

ctr预估任务中，对输入特征进行建模，通过权重weight拟合特征和样本的关系，但实际任务中，特征之间的重要度也是不同的，  
某些特征天然地与label具有较强关联性，因此，在模型中增加对特征本身重要度的描述，有利于模型更好的描述样本。  
FiBiNet通过SENet的方式来解决上述问题；同时，从FM到FFM、DeepFM等模型，交叉特征的重要程度不言而喻，通常通过点积或hadamard积的方式获取特征交互，  
这样获取特征交互的方式是否有效或者说是否最佳？这篇论文通过Bilinear-Interaction提出了交互特征提取的新方式。

#### 整体架构 ####

如下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JvZ3Vlc2ly_size_16_color_FFFFFF_t_70]

除常规的embedding layer、hidden layer，本文将详细介绍SENet layer和Bilinear-Interaction layer。

##### embedding layer #####

输入数据为高维稀疏特征，经过embedding生成低维embedding E = \[ e 1 , e 2 , ⋯   , e f \] E=\[e\_1, e\_2, \\cdots , e\_f\] E=\[e1,e2,⋯,ef\]，其中f为field的个数

##### SENet layer #####

SE block最早出现在cv相关的论文中，来学习每个特征的重要性，之前的一篇博客[【Paper Note】SENet论文——SE block详解][Paper Note_SENet_SE block]中有介绍，如下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JvZ3Vlc2ly_size_16_color_FFFFFF_t_70 1]

**Squeeze**  
将每个embedding做average pooling，计算公式如下：  
 z i = F s q ( e i ) = 1 k ∑ t = 1 k e i ( t ) (1) z\_i = F\_\{sq\}(e\_i) = \\frac\{1\}\{k\} \\sum\_\{t=1\}^k\{e\_i^\{(t)\}\} \\tag\{1\} zi=Fsq(ei)=k1t=1∑kei(t)(1)

**Excitation**  
通过两层fully connected layers来学习每个field的权重，表示如下：  
 A = F e x ( Z ) = σ 2 ( W 2 σ 1 ( W 1 Z ) ) (2) A = F\_\{ex\}(Z)= \\sigma\_2(W\_2 \\sigma\_1(W\_1 Z)) \\tag\{2\} A=Fex(Z)=σ2(W2σ1(W1Z))(2)  
其中， W 1 W\_1 W1 是  f × r f \\times r f×r 维权重矩阵， W 2 W\_2 W2 是  r × f r \\times f r×f 维权重矩阵，其中  r < f r<f r<f 。

**Reweight**  
基于field粒度的乘积运算动态学习每个特征的重要度，实现如下：  
 V = F R e W e i g h t ( A , E ) = \[ a 1 ⋅ e 1 , ⋯   , a f ⋅ e f \] = \[ v 1 , ⋯   , v f \] (3) V = F\_\{ReWeight\}(A, E) = \[a\_1 \\cdot e\_1, \\cdots , a\_f \\cdot e\_f\] = \[v\_1, \\cdots, v\_f\] \\tag\{3\} V=FReWeight(A,E)=\[a1⋅e1,⋯,af⋅ef\]=\[v1,⋯,vf\](3)

##### Bilinear-Interaction layer #####

不同于FM或DeepFM模型中使用点积或hadamard积来获取交互特征，本文提出了Bilinear-Interaction方式，具体情况入下图c中所示， v i v\_i vi 首先会乘一个权重矩阵  W W W 之后再和  v j v\_j vj 计算hadamard积。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JvZ3Vlc2ly_size_16_color_FFFFFF_t_70 2]  
根据权重矩阵  W W W 的不同分配方式，会有三种情况：  
**Field-All Type**  
所有的field共用一个权重矩阵  W W W，具体如下：  
 p i j = v i ⋅ W ⊙ v j (4) p\_\{ij\} = v\_i \\cdot W \\odot v\_j \\tag\{4\} pij=vi⋅W⊙vj(4)  
上述方式，参数量为  m m m ， m m m 为权重矩阵的参数量，下同。  
**Field-Each Type**  
每个field对应一个权重矩阵  W W W，具体如下：  
 p i j = v i ⋅ W i ⊙ v j (5) p\_\{ij\} = v\_i \\cdot W\_i \\odot v\_j \\tag\{5\} pij=vi⋅Wi⊙vj(5)  
上述方式，参数量为  f × m f \\times m f×m， f f f 为field个数，下同。  
**Field-Interaction Type**  
每个交叉特征对应一个权重矩阵  W W W，具体如下：  
 p i j = v i ⋅ W i j ⊙ v j (6) p\_\{ij\} = v\_i \\cdot W\_\{ij\} \\odot v\_j \\tag\{6\} pij=vi⋅Wij⊙vj(6)  
上述方式，参数量为  f ( f − 1 ) 2 × m \\frac\{f(f-1)\}\{2\} \\times m 2f(f−1)×m。

经过SENet和Bilinear-Interaction之后，原本的embedding计算得到向量  q = \[ q 1 , ⋯ q i ⋯ q n \] q = \[q\_1, \\cdots q\_i \\cdots q\_n\] q=\[q1,⋯qi⋯qn\]。

##### Other layer #####

后面是一些常规操作，首先将embedding经过Bilinear-Interaction得到的  p p p 和embedding经过SENet再经过Bilinear-Interaction得到的  q q q 进行concat：  
 c = F c o n c a t ( p , q ) = \[ p 1 , ⋯ p n , q 1 , ⋯   , q n \] = \[ c 1 , ⋯   , c 2 n \] (7) c = F\_\{concat\}(p,q) = \[p\_1, \\cdots p\_n, q\_1, \\cdots, q\_n\] = \[c\_1, \\cdots, c\_\{2n\}\] \\tag\{7\} c=Fconcat(p,q)=\[p1,⋯pn,q1,⋯,qn\]=\[c1,⋯,c2n\](7)  
之后经过多层hidden layer：  
 a ( l ) = σ ( W ( l ) a ( l − 1 ) + b ( l ) ) (8) a^\{(l)\} = \\sigma(W^\{(l)\} a^\{(l-1)\} + b^\{(l)\}) \\tag\{8\} a(l)=σ(W(l)a(l−1)\+b(l))(8)  
hidden layer输出的结果经过sigmoid输出：  
 y ^ = σ ( w 0 + ∑ i = 0 m w i x i + y d ) (9) \\hat\{y\} = \\sigma(w\_0 + \\sum\_\{i=0\}^m\{w\_i x\_i\} + y\_d) \\tag\{9\} y^=σ(w0\+i=0∑mwixi\+yd)(9)  
损失函数定义为：  
 l o s s = − 1 N ∑ i = 1 N ( y i l o g ( y ^ i ) + ( 1 − y i ) ∗ l o g ( 1 − y ^ i ) ) (10) loss = -\\frac\{1\}\{N\} \\sum\_\{i=1\}^N(y\_i log(\\hat\{y\}\_i) + (1-y\_i) \* log(1-\\hat\{y\}\_i)) \\tag\{10\} loss=−N1i=1∑N(yilog(y^i)\+(1−yi)∗log(1−y^i))(10)

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JvZ3Vlc2ly_size_16_color_FFFFFF_t_70]: /images/20221005/d9069feadc9c46469d5efb0962a3b82f.png
[Paper Note_SENet_SE block]: https://blog.csdn.net/roguesir/article/details/116202289?spm=1001.2014.3001.5501
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JvZ3Vlc2ly_size_16_color_FFFFFF_t_70 1]: /images/20221005/a784f5930ab44e239e5ed9cbce7cf34c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JvZ3Vlc2ly_size_16_color_FFFFFF_t_70 2]: /images/20221005/2d8f8beaca374f098c4d3dd7ea99763d.png