论文阅读《Early Detection of Fake News by Utilizing the Credibility of News, Publisers,...》

电玩女神 2022-12-28 14:21 118阅读 0赞

LawsonAbs的认知与思考，还请各位读者批判阅读。

# 总结 #

*  文章来源：csdn：LawsonAbs
 *  本文提出一种新的模型：结合了publisher，user的信息来作为一种判断fake news 的方式。
 *  论文地址：https://arxiv.org/abs/2012.04233
 *  论文名：`Early Detection of Fake News by Utilizing the Credibility of News, Publishers, and Users Based on Weakly Supervised Learning`

--------------------

# 0.要解决的问题 #

`fake news detection`

# 1.之前的方法 #

*  focus on finding clues from new content or diffusion path. The required features of previos models are often unavailable or insufficient in early detection scenarios, resulting in poor performance.  
    其中 `features` 包括如下几种特征：
 *  linguistic features： 耸人的标题
 *  user-based features
 *  temporal features： news diffusion 过程中的时序特性

这些方法的缺点：

*  需要大量的人工涉及这些features（有点儿像特征工程）
 *  只能在相当数量转发信息时，才能检测出fake news。但是很少投入在early detection

# 2.本文的算法 #

## contribution： ##

根据现实生活出发，结合人类判断的过程，设计出一个结合publisher,user 的判断模型：

*  consider the reputation of the publishers and reposted users. Explicitly take the credibility of publishers and users as supervised information
 *  model fake news detection as a multi-task classification task.
 *  We provide a principled way to jointly utilize the credibility of publishers and users, and the heterogeneous graph for credibility prediction and fake news detection.

## 算法解决的问题： ##

*  How to fully encode the heterogeneous graph structure and news content
 *  How to explicitly utilize the credibility of publishers and users for facilitating early detection of fake news.

# 3.具体实现 #

*  Firstly, we design a structureaware multi-head attention module to learn the structure of the publishing graph and produce the publisher representations for the credibility prediction of publishers.
 *  Then, we apply the structure-aware multi-head attention module to encode the diffusion graph of the news among users and generate user representations for the credibility prediction of users.
 *  Finally, we apply a convolutional neural network to map the news text from word embedding to semantic space and utilize the fusion attention module to combine the news, publisher, and user representations for early fake news detection

# 4.主要任务 #

下面就是作者提到的在文中训练两个的子任务：  
![在这里插入图片描述][20201217203154826.png]  
分别看这两个任务：

## 4.1 `Publisher Credibility Prediction` ##

![在这里插入图片描述][20201217203438831.png]其中：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70]这么看  D p D^p Dp 就是一个对角阵，其对角处的值就表明这个用户发了多少条news。

根据上面这个公式，应用到具体的情景中，就可以得到下面的这个表达式：  
![在这里插入图片描述][20201217205445409.png]  
其中：  
![在这里插入图片描述][20201217205510454.png]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 1]通过线性映射和一个softmax就可以做一个分类。分成三类：  
`unreliable, uncertain, reliable`

交叉熵作损失：  
![在这里插入图片描述][20201217205820385.png]

## 4.2 `User Credibility Prediction` ##

*  首先是建图  
    ![在这里插入图片描述][20201217210329366.png]  
    下面介绍 diffusion graph 的encoding algorithm  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 2]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 3]

## 4.3 Fake news Classification ##

we combine news with publishing and diffusion graph to more comprehensively capture the differences in the content and diffusion mode of true and false news.

## 4.4 Fusion Attention Unit ##

主要的功能就是将三块（publisher，user，content representations）融合在一起，下面讲一下怎么融合（无非就是放在一块儿计算）。

*  step1  
    ![\- firstly:][- firstly]
 *  step2  
    ![在这里插入图片描述][20201217213934654.png]就相当于从训练好的结果（look-up table）中找到想要的值。
 *  step3  
    找出转发过这条信息的所有用户（用于判断这条消息是否是fake的）。然后用一个attention model聚合起来：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 4]  
    ![在这里插入图片描述][20201217214905813.png]
 *  step4  
    拼接向量  
    因为 news content（也就是之前训练好的 m j m\_j mj） 捕捉到了semantic difference between fake and true news； 而 m j ^ \\hat\{m\_j\} mj^ 得到的是 diffusion path 间的差异。  
    ![在这里插入图片描述][20201217215509538.png]
 *  step5  
    计算损失  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 5]
 *  step6  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 6]

# 5.主要问题 #

## 5.1 weakly supervised 指什么？ ##

> we explicitly treat the credibility of publishersand users as a kind of weakly supervised information for facilitating fake news detection.

*  损失函数是什么？  
    模型的三类都是使用交叉熵作为计算损失。
 *  structure-aware 指的是什么？  
    将publiser，user等信息编码到matrix中，所以叫 structure-aware。
 *  模型的框架是什么？  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 7]

--------------------

关于留言中的问题：

*   R ∈ R ∣ U ∣ ∗ K R \\in R^\{|U|\*K\} R∈R∣U∣∗K 是什么意思？  
    ![在这里插入图片描述][20201219141816859.png]直译一下：每条消息最多都有K个不同的用户转发（所以 K ≤ U K \\leq U K≤U）。使用矩阵 R ∈ R ∣ U ∣ ∗ K R \\in R^\{|U|\*K\} R∈R∣U∣∗K 表示之前转发过消息的user ids。当转发用户的数目少于K时，矩阵R是由0填充。

具体的意思应该就是想看user node representation from the diffusion graph。

[20201217203154826.png]: /images/20221120/dc6aaecdd3984c0ead9ea988faed5c4c.png
[20201217203438831.png]: /images/20221120/83b8e6cad9014cd3986f0ad40530b076.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20201217204046145.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5,size_16,color_FFFFFF,t_70
[20201217205445409.png]: https://img-blog.csdnimg.cn/20201217205445409.png
[20201217205510454.png]: https://img-blog.csdnimg.cn/20201217205510454.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20201217205632408.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5,size_16,color_FFFFFF,t_70
[20201217205820385.png]: https://img-blog.csdnimg.cn/20201217205820385.png
[20201217210329366.png]: https://img-blog.csdnimg.cn/20201217210329366.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/2020121721265556.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20201217213121819.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5,size_16,color_FFFFFF,t_70
[- firstly]: https://img-blog.csdnimg.cn/20201217213556283.png
[20201217213934654.png]: https://img-blog.csdnimg.cn/20201217213934654.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20201217214610290.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5,size_16,color_FFFFFF,t_70
[20201217214905813.png]: https://img-blog.csdnimg.cn/20201217214905813.png
[20201217215509538.png]: https://img-blog.csdnimg.cn/20201217215509538.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20201217215536635.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20201217215556872.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20201217203031995.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5,size_16,color_FFFFFF,t_70
[20201219141816859.png]: https://img-blog.csdnimg.cn/20201219141816859.png