图神经网络——【KDD 2019】KGAT

r囧r小猫 2023-01-22 05:50 19阅读 0赞

深度推荐算法（如DeepFM等）模型有个缺点：将训练数据里（用户交互数据）的特征进行独立建模，没有考虑到交互数据之间的关系。这使得这些模型不足以从用户的行为中提取出基于属性的协同信息。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70]  
如上图：用户u1 看了电影i1 ，这个电影是 ei 导演的，传统的CF方法会着重去找那些也看了电影i1 的用户，比如u4、u5 。而监督学习方法会重点关注那些有相同属性ei 的电影，比如 i2。很显然这两类信息都可以作为推荐信息的补充，但是现有的模型不能做到上面两者信息的融合，而且这里的高阶关系也可以作为推荐信息的补充的。比如图中黄色框图里的用户看了同样由 ei 导演的电影 i2 , 还有灰色框图里电影有e2的参演。

为了解决上面提到的问题，本文提出KGAT方法，将图谱关系信息及用户user点击商品item的交互图融合到一个图空间里，可以融合CF信息及KG信息，同时发现高阶的关系信息：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70 1]

# CKG Embedding Layer #

KGAT采用了TransR方法，对于三元组( h , r , t ) 的似然得分如下：  
![在这里插入图片描述][20210517184957951.png]  
训练成对损失函数如下：  
![在这里插入图片描述][20210517185007397.png]

# Attentive Embedding Propagation Layers #

作者认为每个邻居节点应该贡献不同的权值，因此本文采用的了attention的方式来求得每一个邻居节点的重要性：

![在这里插入图片描述][20210517185410949.png]  
![在这里插入图片描述][20210517185425583.png]  
![在这里插入图片描述][202105171854363.png]  
作者实验选择效果最好的聚合方式：Bi-Interaction（相加与点乘）相加得到最终表示：  
![在这里插入图片描述][2021051718580854.png]  
多层传播：  
![在这里插入图片描述][20210517185956952.png]  
![在这里插入图片描述][20210517190006441.png]

# Prediction Layer #

预测层将Attentive Embedding Propagation Layers层得到的多层用户表示 及多层item表示进行相乘得到相关性得分：  
![在这里插入图片描述][20210517190205102.png]  
![在这里插入图片描述][20210517190212437.png]

# Optimization #

观察到的交互表示出用户的偏好，那么相应就应该有更高的预测评分：  
![在这里插入图片描述][20210517190257783.png]  
最终与CKG Embedding Layer的损失函数结合，得到最终的损失函数：  
![在这里插入图片描述][20210517190358402.png]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70]: /images/20221020/5a2c0b484a2f4785b50eb5c945f7ebb3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70 1]: /images/20221020/9a1601b899ef44bebbc7dd1ea088c933.png
[20210517184957951.png]: /images/20221020/9f6071dead4f4370a95eead27c314076.png
[20210517185007397.png]: /images/20221020/0abb54760f7843fca7b87d64fb7f1880.png
[20210517185410949.png]: /images/20221020/76416dd5afdd45b0a5ca1d1879a45c1d.png
[20210517185425583.png]: /images/20221020/1acb0870f041474196ad1fbc73957374.png
[202105171854363.png]: /images/20221020/ff29f125da6b4c10b2d32003197a1932.png
[2021051718580854.png]: /images/20221020/473def79b807422d841e3522e3a3bcff.png
[20210517185956952.png]: /images/20221020/ac6bc7f5ea3449ae8010be264c7c48f6.png
[20210517190006441.png]: /images/20221020/92f16eb49fe846b3980a91177a628967.png
[20210517190205102.png]: /images/20221020/7f3dfe537d0f421690cb50fc0e142ea7.png
[20210517190212437.png]: /images/20221020/a59cbaa136df4b1d85dbba913233f25b.png
[20210517190257783.png]: /images/20221020/64cf6dc9faac43949eaa50b21b7b8bb3.png
[20210517190358402.png]: /images/20221020/55026e99840d461695f04f5eb07d557b.png