【Paper Note】xDeepFM详解

逃离我推掉我的手 2022-05-26 07:21 153阅读 0赞

*  更新时间：2018/06/18

### 前言 ###

这篇博文是阅读xDeepFM论文之后整理所得，论文地址为：https://arxiv.org/abs/1803.05170，以下理解都是个人想法，有疏漏请指出。

### Embedding方式 ###

首先，论文介绍了模型中Embedding的方式，对于大规模离散特征，数据稀疏，采用one-hot编码方式，对于每个属性特征分别进行one-hot编码，然后再将每一条属性链接生成输入数据。如下图所示，表示m个属性，每个属性编码生成一个e。  
![这里写图片描述][70]

### DCN的不足 ###

xDeepFM主要是针对DeepFM和DCN的改进，论文中怼了一下DCN的缺点，提出了更有效的解决办法，作者称之为CIN结构。  
首先说一下DCN的不足吧，DCN的网络结构如下：  
大致流程是这样的：现将数据进行embedding和stacking，输入到Cross网络和Deep网络中，将两个网络的输出融合得到输出。  
DCN中对Cross网络的设置有如下公式： x k = x 0 x k − 1 T w k + b k + x k − 1 x\_k = x\_0x\_\{k-1\}^Tw\_k+b\_k+x\_\{k-1\} xk=x0xk−1Twk\+bk\+xk−1 论文认为这种处理方式是有问题的，并对这个问题进行了说明：简化这个公式，去掉偏置项，可以得到： x k = x 0 x k − 1 T w k + x k − 1 x\_k = x\_0x\_\{k-1\}^Tw\_k+x\_\{k-1\} xk=x0xk−1Twk\+xk−1 对于$ x\_1 ， 有 如 下 公 式 ，有如下公式 ，有如下公式$ x\_1 = x\_0x\_0^Tw\_k+x\_0 合 并 可 得 到 ： 合并可得到： 合并可得到： x\_1 = x\_0（x\_0^Tw\_k+1）= \\alpha^1x\_0KaTeX parse error: Can't use function '$' in math mode at position 4: 其中$̲\\alpha^1=x\_0^Tw… x\_\{i+1\}=x\_0x\_iTw\_\{i+1\}=x\_0((\\alphaix\_0)w\_\{i+1\})+\\alphaix\_0=\\alpha\{i+1\}x\_0$$ 实际上， α i + 1 \\alpha^\{i+1\} αi\+1 又是一个标量，就相当于 x 0 x\_0 x0 不断乘以一个数。

### CIN ###

于是，论文中提出了一种叫做CIN的结构，如作者所述，CIN应用向量维度，而不再是之前DCN模型的标量，每层计算的公式为： X h , ∗ k = ∑ i = 1 H k − 1 ∑ j = 1 m W i j k , h ( X i , ∗ k − 1 ⋅ X j , ∗ 0 ) X\_\{h,\*\}^k = \\sum\_\{i=1\}^\{H\_\{k-1\}\}\\sum\_\{j=1\}^m\{W\_\{ij\}^\{k,h\}(X\_\{i,\*\}^\{k-1\} \\cdot X\_\{j,\*\}^0)\} Xh,∗k=i=1∑Hk−1j=1∑mWijk,h(Xi,∗k−1⋅Xj,∗0) 其中，点乘那块给出明确示例： < a 1 , a 2 , a 3 > ⋅ < b 1 , b 2 , b 3 > = < a 1 b 1 , a 2 b 2 , a 3 b 3 > <a\_1,a\_2,a\_3>\\cdot<b\_1,b\_2,b\_3>=<a\_1b\_1,a\_2b\_2,a\_3b\_3> <a1,a2,a3>⋅<b1,b2,b3>=<a1b1,a2b2,a3b3> 。  
下面上图解释这个公式：  
![这里写图片描述][70 1]  
图（a）表示刚刚的点乘过程，刚开始看的时候有点蒙，因为给出的示例比较简单，尺寸相同的直接就求积求和好了，可是图片中的尺寸却不同，于是生成了尺寸为3*4*4的 z k + 1 z^\{k+1\} zk\+1。  
![这里写图片描述][70 2]  
接下来图（b），这个就好理解了，图（a）的输出作为图（b）的输入，每层生成feature map中的一个值，有点类似全连接，最终产生 H k + 1 H\_\{k+1\} Hk\+1 个feature map。  
![这里写图片描述][70 3]  
图（c）给出了CIN的结构，中间部分相当于是不同深度的图（b），生成的每个feature map都进行sum pooling，第一次见到sum pooling，想了想觉得和Max pooling差不太多，都是为了保留提取到的高阶特征，求和会将特征进行叠加吧～计算之后串联所有的sum pooling结果，通过sigmoid函数输出。  
值得一提的是，论文中设置的这种网络的拓扑结构和胶囊网络（CapNets）、循环神经网络（RNN）有类似之处。  
再之后就是一些分析，结果对比啥的了。。看那个对比结果可知两个结构层数不需要多深也可以得到很好的效果。

[70]: /images/20220526/f75e6ea1d75247529913965b085a302e.png
[70 1]: /images/20220526/cb3ab7396f4d4c7094dd1f3716668901.png
[70 2]: /images/20220526/08c5dec61a7f4d3d85962d173b852a80.png
[70 3]: /images/20220526/7849b6909e6d4ff08f26e25a4e6ed896.png