基于GraphX实现社交网络分析

矫情吗；* 2022-11-29 00:51 270阅读 0赞

## 一.社交网络分析的主要应用 ##

在分析复杂的社会、技术以及信息系统时，我们常把这些系统描述成网络的形式。在这样的关系网络中，节点代表一个成员，而边就代表成员之间的关系。在现实生活中，一个人可能从属于不同的团体，比如其工作的部门、生活的小区、同学圈子等等。如果能把这些不同的圈子自动分析出来，大到舆情监控，小到推荐好友以及扩展新用户、精准广告投放等，这些场景都能通过社交网络分析来提升效果。结合目前日益火爆的“大数据”，这就是应用大数据来解决实际问题的一个很好的例子。  
所谓圈子，就是把人归属到 不同的群体中。落实到算法上，划分圈子就是根据网络的属性特征把关系网络中各个的节点划分到各个具有含义的集合中。不同的圈子内部节点之间的连接很紧密，而圈子之间的连接相对比较松散。  
通过将社会生活中的关系网络抽象成计算机能够表示的图，之后运用社区发现算法，根据图的某种特性将图划分成一个个子图，这就达到了自动识别不同圈子的目的。

## 二.社区发现算法简介 ##

社区发现的算法多种思路，比较常见的有两种：一种是分离的思路，就是找出社区之间的边，把这些边从图中移除；另一种是聚合思路，将联系紧密的节点聚合为一个社区，并通过优化某个相关变量的函数来实现聚合。  
前人已在两个思路上有了大量的研究，而根据这两类算法的结果看，聚合的思路比分离思路好，且算法的效率也比较高。因此，聚合算法吸引了很多学者做了大量相关研究，逐步形成了现在的社区发现算法。比如密歇根大学的M.E.J.Newman和康奈尔大学的M.Girvan，他们在2003年提出了一个基于模块属性的测量方法。他们在算法中引入了一个变量【该变量称为模块度】，用于衡量社区划分结果的合理性。其原理是用某种划分结果的模块内聚性与随机划分结果的内聚性的差异，对划分结果进行评估，找到模块内聚性最优的划分。虽然寻找最优随机划分往往非常困难，但这个思路给大家指引了优化方向。模块度的思路对后来的社区发现算法有很重要的影响，很多有影响的算法都是基于该特性进行算法设计的。  
2008年，以比利时鲁汶大学的Vincent D.Blondel为主的几位学者，提出了基于模块度的一个快速算法：Louvain算法。该算法可以快速处理具有数以亿计节点的网络，用模块度度对社区划分的质量进行评估，值位于-1~1之间。模块度的值越大，说明社区划分的质量越高。  
![在这里插入图片描述][20200819110127682.png_pic_center]  
其中Aij是节点i和节点j之间边的权重，如果图里的边都没有权重，就可以看作1。![在这里插入图片描述][20200819110301737.png_pic_center]  
表示所有与节点i相连的边权重之和，即节点i的度。ci表示节点i所属的社区；  
![在这里插入图片描述][20200819110426810.png_pic_center]  
表示所有边的权重之和，也就是边的数目。  
![在这里插入图片描述][20200819110552127.png_pic_center]  
代表任一节点与节点j相连的概率。现在节点i的度数Ki，随机情况下，节点i与节点j相连的度数就是：![在这里插入图片描述][20200819110742132.png_pic_center]  
![在这里插入图片描述][20200819110807494.png_pic_center]  
值越大，代表当前社区划分与随机情况下差距越大，划分的效果就越好。这里的Q就是模块度。  
如果用GraphX实现Louvain算法，重点就在算法实现上，数据结构非常简单。  
Louvain算法中的主要数据结构VertexState代码如下：

class VertexState extends Serializable{ 
    	var community = -1L // 所属社区ID
    	var communitySigmaTot = 0L // 社区的度数
    	var internalWeight = 0L // 节点总度数
    	var nodeWeight = 0L // 节点的出度
    	var changed = false
    
    	override def toString() : String = { 
    		...
    	}
    }

程序的流程也很简单，如下：

1.  将图中的每个节点看成一个独立的社区，此时社区的数目与节点个数相同。
2.  对每个节点i，依次尝试将其分配到每个邻居节点所在的社区，计算 分配前与分配后的模块度变化，并记录变化最大的那个邻居节点，如果最大变化大于0，则把节点i分配给变化最大的那个邻居节点所在的社区，否则保持不变。
3.  重复步骤2，直到所有节点的所属社区不再变化。
4.  对图进行压缩，将所有在同一个社区的节点压缩为一个新节点，社区内节点之间的边的权重转换为新节点的环的权重，社区间的全权重转换为新节点间的边权重。
5.  重复步骤1，直到整个图的模块度不再发生变化。

每轮迭代都会把节点按社区压缩，这就减少了边和节点的数目。计算节点i到其邻居节点j模块度的变化，只与节点i,j的社区有关，与其他社区无关，这样一来就加快了计算的速度。那么如何判断一个节点i是否属于社区Ci呢？  
![在这里插入图片描述][20200819112313728.png_pic_center]  
其中![在这里插入图片描述][20200819112455978.png_pic_center]  
表示社区c内的边权重之和，![在这里插入图片描述][2020081914114690.png_pic_center]  
表示所有与社区c内的节点相连的边权重之和。  
![在这里插入图片描述][20200819141229670.png_pic_center]  
的计算分为两部分，前一个中括号代表把节点i加入社区c的模块度，后一个中括号表示节点i作为一个独立社区的模块度，![在这里插入图片描述][20200819141508193.png_pic_center]  
最大的那个社区就是节点i所属的新社区。  
展开公式后得到：  
![在这里插入图片描述][2020081914162829.png_pic_center]  
三.GraphX实现Louvain算法

[20200819110127682.png_pic_center]: /images/20221124/55b70dda497e4d379568a68515b8318a.png
[20200819110301737.png_pic_center]: /images/20221124/a80026c462ba483cad452cbeb30d138c.png
[20200819110426810.png_pic_center]: /images/20221124/7a496afacd104030880015cd63032ffa.png
[20200819110552127.png_pic_center]: /images/20221124/96cefb8f58784addad1e9e7a5d812cca.png
[20200819110742132.png_pic_center]: /images/20221124/6a2056a4f98e4e3ba631d7a2a8ac1c67.png
[20200819110807494.png_pic_center]: /images/20221124/9f06d3012aa24a58bd20cd24a69f380d.png
[20200819112313728.png_pic_center]: /images/20221124/c1ecd392940f491b80befd4d51ec1c22.png
[20200819112455978.png_pic_center]: /images/20221124/97e4ee85d68f4977a845f1fc9686623b.png
[2020081914114690.png_pic_center]: /images/20221124/c41ffc6684294c97a0a4f08d7ade2fda.png
[20200819141229670.png_pic_center]: /images/20221124/20809a2759b740f49ee06bb72cf41ede.png
[20200819141508193.png_pic_center]: /images/20221124/1e56fb98c0c149609f34bcc45eacd8ef.png
[2020081914162829.png_pic_center]: /images/20221124/836193ccc075456482d423d26b828075.png