论文阅读《Do Transformers Really Perform Bad for Graph Representation?》

古城微笑少年丶 2022-10-12 01:02 33阅读 0赞

# 前言 #

*  文章来源：LawsonAbs（CSDN）
 *  望各位读者审慎阅读。
 *  论文[链接][Link 1]

--------------------

transformer 因为其广泛的“感受野”，适合处理文本序列。但是在传统的CV（graph）领域，效果表现不佳，但那真的是transformer的问题吗？本文作者（MSRA的研究人员）发现如果在使用Transformer的时候，将graph的特征信息添加进神经网络（主要是attention结构中），从而训练出更优的模型。  
本文是在KDD的一个比赛的论文，KDD的比赛内容主要和化学分子式相关。

# 1.思想 #

将graph的特征信息编码到神经网络中，其主要的特征信息有如下这些：

*  `centrality encoding` :图节点的信息  
    传统的attention是基于相似度计算各个点的相似度，但是没有判别出点的重要程度。比如说在一个网络中，节点之间既有相似性，但是各个节点对整个网络的影响不同。所以文中想把各个点自身的“**重要性**”信息放入到神经网络中。
 *  `edge encoding`：图的边信息  
    边对一个graph是存在很大影响的。例如：在一个化学分子式中，不同的键类型有着不同的作用，这个键就是抽象得到的graph 中的边。
 *  `spatial encoding`：图的空间结构信息  
    直觉上，图的空间结构也是很重要的一个信息。和人一样，长得像的东西你总会觉得它们存在一点儿关系~~（当然也有可能是错觉）~~。分子式的结构应该是一个空间结构，作者想通过节点间的最短路径去表达这个图的空间结构。

最后看一下模型的结构图：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70]

# 2.实现 #

接下来谈谈上面三个思想具体的做法。

*  将`centrality encoding` 和原本的`Node Feature` 结合作为 multi-head attention 的输入
 *  将`edge encoding` 和`spatial encoding` 融合到 scaled Dot-product attention 中

## 2.1 `centrality encoding`的获取与融合 ##

### 2.1.1 获取 ###

根据graph中节点的入度和出度信息，赋予各个节点一个实值向量。其表达式如下：  
 h i ( 0 ) = x i + z d e g − ( v i ) − + z d e g + ( v i ) + h\_i^\{(0)\} = x\_i + z\_\{deg^-(v\_i)\}^- + z\_\{deg^+(v\_i)\}^+ hi(0)=xi\+zdeg−(vi)−\+zdeg\+(vi)\+  
其中：

*   x i x\_i xi 是节点 v i v\_i vi的特征值
 *   h i ( 0 ) h\_i^\{(0)\} hi(0)是第0层中 v i v\_i vi的表示
 *   d e g v i + deg\_\{v\_i\}^+ degvi\+ 和  d e g v i − deg\_\{v\_i\}^- degvi− 分别是出入度
 *   z d e g − ( v i ) − z\_\{deg^-(v\_i)\}^- zdeg−(vi)− 和  z d e g + ( v i ) + z\_\{deg^+(v\_i)\}^+ zdeg\+(vi)\+ 则代表由入度和出度得到的一个可学习的向量。

### 2.1.2 融合 ###

如Figure 1所示，直接将上式作为整个attention的输入。

## 2.2 `edge encoding` 的获取与融合 ##

### 2.2.1 获取 ###

对于任意一对节点 ( v i , v j ) (v\_i,v\_j) (vi,vj)， 可以得到两者间的一个最短路径 S P i j SP\_\{ij\} SPij，计算出edge feature 和一个可学习的参数向量的点乘结果的平均值。

### 2.2.2 融合 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 1]

## 2.3 `spatial encoding` 的获取与融合 ##

### 2.3.1 获取 ###

使用的方法是获取两个节点间的connectivity 来衡量`spatial` 信息， 这个connectivity有点儿判断“连接程度”的意思。所以文章中选择了使用 SPD 作为最后的映射函数来衡量两个节点间的`spatial relation`。  
 ϕ ( v i , v j ) : V ∗ V = > R \\phi(v\_i,v\_j): V\*V => R ϕ(vi,vj):V∗V=>R  
该映射函数得到的结果是一个标量，会作为一个bias加入到attention模块中。

### 2.3.2 融合 ###

![在这里插入图片描述][2021070210241150.png]

[Link 1]: https://arxiv.org/abs/2106.05234
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70]: /images/20221005/d95f9d22a6fc4fc0a6ac5c3ef30cc133.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 1]: /images/20221005/b6d323a8a464491384df6efea31faf1e.png
[2021070210241150.png]: /images/20221005/66d4f02d12dd434e9921ccd7fe698da2.png