(2020)TransE论文笔记

太过爱你忘了你带给我的痛 2021-08-19 20:10 458阅读 0赞

![在这里插入图片描述][20191227215204207.png]

*  **Title:**[《Translating Embeddings for Modeling Multi-relational Data》][Translating Embeddings for Modeling Multi-relational Data]
    
     *  比较经典的embedding算法，做个笔记一起学习。

#### 文章目录： ####

Abstract

1.  Introduction
2.  Translation-based model
3.  Algorithm 伪代码
4.  Experiments
5.  Conclusion and future work

--------------------

### Abstract ###

*  第一句就说明：本文针对的问题 在低纬向量空间中，多关系数据的实体和关系的Embedding问题，换句话说就是将实体和关系用低纬向量表示。于是有了TransE，别看它训练容易，处理大型数据也不在话下，又确保了实验效果出色，作者还在FB15k和WN18上进行了link prediction，真的是“可盐可甜“了。

### Introduction ###

![在这里插入图片描述][20191227215444686.png]

*  论文主要面向多关系数据（wordnet，freebase）  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDkxMjE1OQ_size_16_color_FFFFFF_t_70]
 *  提到很多年前的模型，比如**基于向量分解model**，**矩阵分解model**；然后还有最近的模型，比如**贝叶斯聚类model**，**基于能量的模型model**，这些模型表面上是提高了模型的表示能力，实际上一个能打的都没有，都是以提高模型复杂度和加重计算效率为代价的，还容易出现过拟合和拟合不足。既然这样作者提到，还不如用**简单的线性model**，效果也挺好！所以作者最后提到合适的模型要在准确性和扩展性之间做**trade-off**。--------TransE model 呼之欲出  
    ![在这里插入图片描述][20191227215508376.png]
 *  这句话个人理解：TransE整体是**Translation distance model**（在许多综述中都是这么说的），这里提到它的实体的embedding是基于能量模型的。  
    ![在这里插入图片描述][201912272155256.png]
 *  提出了重要的思想：如果三元组（h, l, t）成立，则头实体embedding和关系embedding相加约等于尾实体的embedding。
    
     *  即： h+l ≈ t

### Translation-based model ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDkxMjE1OQ_size_16_color_FFFFFF_t_70 1]

*  **公式**：
    
    1.  **loss function**：  **L = ∑ ( h , ℓ , t ) ∈ S ( h ′ , ℓ , t ′ ) ∈ S ( h , ℓ , t ) ′ \[ γ + d ( h + ℓ , t ) − d ( h ′ + ℓ , t ′ ) \] + \\mathcal\{L\}=\\sum\_\{(h, \\ell, t) \\in S\\left(h^\{\\prime\}, \\ell, t^\{\\prime\}\\right) \\in S\_\{(h, \\ell, t)\}^\{\\prime\}\}\\left\[\\gamma+d(\\boldsymbol\{h\}+\\ell, \\boldsymbol\{t\})-d\\left(\\boldsymbol\{h\}^\{\\prime\}+\\ell, \\boldsymbol\{t\}^\{\\prime\}\\right)\\right\]\_\{+\} L=∑(h,ℓ,t)∈S(h′,ℓ,t′)∈S(h,ℓ,t)′\[γ\+d(h\+ℓ,t)−d(h′\+ℓ,t′)\]\+**
    2.  正确三元组的距离： **d ( h , l , t ) = ∥ h + l − t ∥ 1 / 2 2 d(h, l, t)=\\|\\mathbf\{h\}+\\mathbf\{l\}-\\mathbf\{t\}\\|\_\{1/2\}^\{2\} d(h,l,t)=∥h\+l−t∥1/22**
    3.  错误三元组的距离：同理
 *  **错误三元组生成**：将正确三元组的头或者尾替换成其他的（每次只能选择头或者尾进行替换，不同时替换），得到错误的三元组。
    
     *   S ( h , ℓ , t ) ′ S\_\{(h, \\ell, t)\}^\{\\prime\} S(h,ℓ,t)′ : 错误三元组
     *   ( h ′ , ℓ , t ) \\left(h^\{\\prime\}, \\ell, t\\right) (h′,ℓ,t)：替换了头的三元组
     *   ( h , ℓ , t ′ ) \\left(h, \\ell, t^\{\\prime\}\\right) (h,ℓ,t′)：替换了尾的三元组

### Algorithm 伪代码 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDkxMjE1OQ_size_16_color_FFFFFF_t_70 2]

<table> 
 <thead> 
 <tr> 
 <th>algorithm步骤</th> 
 </tr> 
 </thead> 
 <tbody> 
 <tr> 
 <td>input: 设置初始的三元组集S，正负样本之间的距离 γ \gamma γ，embedding纬度k</td> 
 </tr> 
 <tr> 
 <td>1.对每个关系赋值，并做归一化处理</td> 
 </tr> 
 <tr> 
 <td>2.同理，对每个实体赋值，并作归一化处理</td> 
 </tr> 
 <tr> 
 <td>3.设置从整个S集合抽取子集的次数，分批进行处理，每一批为 S b a t c h S_{b a t c h} Sbatch</td> 
 </tr> 
 <tr> 
 <td>4.初始化所有三元组，一开始 T b a t c h T_{b a t c h} Tbatch是空的</td> 
 </tr> 
 <tr> 
 <td>5.对每批 S b a t c h S_{b a t c h} Sbatch做迭代，每个 ( h , ℓ , t ) (h, \ell, t) (h,ℓ,t)，根据前面提到，替换头 ( h ′ , ℓ , t ) \left(h^{\prime}, \ell, t\right) (h′,ℓ,t)或者替换尾 ( h , ℓ , t ′ ) \left(h, \ell, t^{\prime}\right) (h,ℓ,t′) ，得到错误三元组，将正确的和错误的三元组 { ( ( h , ℓ , t ) , ( h ′ , ℓ , t ′ ) ) } \left\{\left((h, \ell, t),\left(h^{\prime}, \ell, t^{\prime}\right)\right)\right\} { ((h,ℓ,t),(h′,ℓ,t′))} 加到一开始空的 T b a t c h T_{b a t c h} Tbatch中。</td> 
 </tr> 
 <tr> 
 <td>第5步，需要注意：实际代码在替换头尾时，需要先做一个deep copy，不然替换了错误三元组，正确三元组就没了。</td> 
 </tr> 
 <tr> 
 <td>6.利用SGD更新损失函数（这步也有很多学习的地方）</td> 
 </tr> 
 </tbody> 
</table>

### Experiments ###

<table> 
 <thead> 
 <tr> 
 <th>指标说明</th> 
 <th></th> 
 </tr> 
 </thead> 
 <tbody> 
 <tr> 
 <td>FB15K</td> 
 <td>14951个entity，1345个relation，592213个三元组</td> 
 </tr> 
 <tr> 
 <td>WN18</td> 
 <td>40943个entity，18个relation，151442个三元组</td> 
 </tr> 
 <tr> 
 <td>FB1M</td> 
 <td>25000个relation，1千7百万个三元组</td> 
 </tr> 
 <tr> 
 <td>raw</td> 
 <td>在替换错误三元组中，会出现替换完对的情况。 raw是不处理这种情况下的结果</td> 
 </tr> 
 <tr> 
 <td>filt</td> 
 <td>filt就是去掉替换完后仍然正确的三元组</td> 
 </tr> 
 <tr> 
 <td>hit@10</td> 
 <td>每个给定的(h,l,t)，对原来(h,l,t)和替换后(h’,l,t’)求得分，再从小到大排序，排在前10的比例</td> 
 </tr> 
 </tbody> 
</table>

*  论文实验结果：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDkxMjE1OQ_size_16_color_FFFFFF_t_70 3]
 *  用openke框架跑FB15k的实验结果（k=50，epoch=1000，学习率0.01）  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDkxMjE1OQ_size_16_color_FFFFFF_t_70 4]

### Conclusion and future work ###

*  TransE的不足：在处理复杂关系（1-N，N-1，N-N）时，性能显著下降，比较适合处理1-1 的关系。
    
    为了满足复杂的关系，才有了后面的好多好多Trans\*\*…

--------------------

*  需要论文、数据或者代码（自己下不下来），可以留言邮箱，我会发的哈

### 参考学习： ###

*  [SGD更新][SGD]
 *  [http://nathanliuyolo.com/2017/12/09/TransE论文知识总结/][http_nathanliuyolo.com_2017_12_09_TransE]
 *  代码推荐：
    
     *  [https://github.com/wuxiyu/transE][https_github.com_wuxiyu_transE]
     *  [有pytorch版也有tensorflow版：https://github.com/thunlp/OpenKE][pytorch_tensorflow_https_github.com_thunlp_OpenKE]

[20191227215204207.png]: /images/20210511/108b8873b8cb409c8ce7468e8b9a5d68.png
[Translating Embeddings for Modeling Multi-relational Data]: https://papers.nips.cc/paper/5071-translating-embeddings-for-modeling-multi-relational-data.pdf
[20191227215444686.png]: /images/20210511/1b9cc76724384033ba3f1dd7612a5a77.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDkxMjE1OQ_size_16_color_FFFFFF_t_70]: /images/20210511/d421b1c351e844f0ae79ae52817a4441.png
[20191227215508376.png]: /images/20210511/3f79c01f217e4a5eac6ef42c0f7fc524.png
[201912272155256.png]: /images/20210511/b503c41fa5e74f5b8ee908bdeb3715f6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDkxMjE1OQ_size_16_color_FFFFFF_t_70 1]: /images/20210511/b15731c147b14e348abd33e2dd5f4d2b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDkxMjE1OQ_size_16_color_FFFFFF_t_70 2]: /images/20210511/6d4cfbe43b08412e898e2b1e721066b2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDkxMjE1OQ_size_16_color_FFFFFF_t_70 3]: /images/20210511/034da40b3f9e41b080f0d2b397905cb6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDkxMjE1OQ_size_16_color_FFFFFF_t_70 4]: /images/20210511/b477163095fb49ab9982b3be3cdf2fcd.png
[SGD]: https://blog.csdn.net/weixin_42348333/article/details/89598144
[http_nathanliuyolo.com_2017_12_09_TransE]: http://nathanliuyolo.com/2017/12/09/TransE%E8%AE%BA%E6%96%87%E7%9F%A5%E8%AF%86%E6%80%BB%E7%BB%93/
[https_github.com_wuxiyu_transE]: https://github.com/wuxiyu/transE
[pytorch_tensorflow_https_github.com_thunlp_OpenKE]: https://github.com/thunlp/OpenKE