一种基于隶属度传播的复杂网络模糊社团挖掘方法.pdf

本发明涉及一种基于隶属度传播的复杂网络模糊社团挖掘方法，首先，建立社团种子节点的选取框架，以社团种子节点的基本特征为依据，确定种子节点选取的测试顺序；然后，根据真实世界中各种复杂网络的客观规律，构建网络节点之间的隶属度传播模型，该模型将种子节点的社团隶属度传播至非种子节点；在此基础上，以优化社团划分结果的模块度为目标，确定社团种子节点的选取准则；最后，当社团种子节点选取完毕后，通过调整节点社团属性以及合并社团的方式，对模块度进行进一步优化，并修正各节点的社团隶属度，得到最终的模糊社团挖掘结果。本发明在稳定性、鲁棒性、有效性方面具有一定优势；该方法具备在计算开销与整体性能之间进行折衷的灵活性。

权利要求书
1.  一种基于隶属度传播的复杂网络模糊社团挖掘方法，其特征在于实现步骤如下：
步骤(1)、建立社团种子节点的选取框架，以社团种子节点的基本特征为依据，确定种子节点选取的测试顺序；
步骤(2)、根据真实世界中各种复杂网络的客观规律，构建网络节点之间的隶属度传播模型，在传播过程中，社团种子节点的隶属度向量保持不变，而非种子节点的隶属度向量则进行迭代更新，通过这种方式，将种子节点的社团隶属度传播至非种子节点；
步骤(3)、在此基础上，以优化社团划分结果的模块度为目标，确定社团种子节点的选取准则，即：若某节点被标记为种子节点后，社团划分结果的模块度没有减小，则将该节点接受为新的种子节点；
步骤(4)、当社团种子节点选取完毕后，通过调整节点社团属性以及合并社团的方式，对模块度进行进一步优化，并修正各节点的社团隶属度，得到最终的模糊社团挖掘结果。

2.  根据权利要求1所述的基于隶属度传播的复杂网络模糊社团挖掘方法，其特征在于：所述步骤(1)中确定社团种子节点选取的测试顺序的过程为：社团种子节点的度通常较大，并且往往大于其邻居节点的度，根据这一基本特征，在社团种子节点的选取过程中，按照度从大到小的顺序测试节点是否为种子节点，对于同度节点，则考虑其邻居节点度之和，即按照邻居节点度之和从小到大的顺序进行测试。

3.  根据权利要求1所述的基于隶属度传播的复杂网络模糊社团挖掘方法，其特征在于：所述步骤(2)中隶属度传播的过程为：社团种子节点的隶属度向量保持不变，而非种子节点的隶属度向量则进行迭代更新，当所有非种子节点的隶属度向量收敛至稳定状态时，传播过程结束。

4.  根据权利要求3所述的基于隶属度传播的复杂网络模糊社团挖掘方法，其特征在于：所述步骤(2)中非种子节点隶属度向量迭代更新的实现为：在每次更新计算中，根据边的权重，将非种子节点的隶属度向量取为其邻居节点的隶属度向量的加权平均。

5.  根据权利要求1所述的基于隶属度传播的复杂网络模糊社团挖掘方法，其特征在于：所述步骤(3)中社团种子节点的选取准则为：将某节点标记为种子节点，并进行隶属度传播，然后将传播结果转化为非重叠社团划分结果；利用模块度对该划分结果进行评价，若模块度减小，则将该节点重新标记为非种子节点。

6.  根据权利要求1所述的基于隶属度传播的复杂网络模糊社团挖掘方法，其特征在于： 所述步骤(3)中社团种子节点的选取准则还包括：每当接受一个新的种子节点后，需对已有种子节点进行筛选。

7.  根据权利要求1所述的基于隶属度传播的复杂网络模糊社团挖掘方法，其特征在于：所述步骤(4)中对模块度进行进一步优化的过程分为两个阶段：第一阶段，通过调整节点的社团属性对模块度进行优化，在该阶段，若某社团最终消失，则将各节点隶属度向量的对应分量删除，并将该社团的种子节点的隶属度向量取为其邻居节点的隶属度向量的加权平均；第二阶段，通过合并两个社团对模块度进行优化，在该阶段，若两个社团合并，则将各节点隶属度向量的这两个对应分量相加合并。

说明书一种基于隶属度传播的复杂网络模糊社团挖掘方法
技术领域
本发明涉及复杂网络、社团检测和模糊聚类，特别是涉及复杂网络中的模糊社团挖掘，具体地说是一种基于隶属度传播的复杂网络模糊社团挖掘方法。
背景技术
节点的聚集现象是复杂网络拓扑结构的重要特性，近十年以来，网络中的社团结构分析成为了复杂网络科学领域的前沿研究热点之一。人们发现，真实世界中的复杂网络常常可以被划分为若干个社团。在同一社团内部，节点之间连接紧密，而属于不同社团的节点之间则连接稀疏。发现网络中的社团，可以揭示网络的宏观拓扑结构，从而能够对不同领域的各种应用起到重要的支撑作用。当前对于网络社团挖掘算法的研究，主要发源于美国密歇根大学的Girvan与Newman，他们提出了一个广泛应用的社团划分质量模块度函数(modularity)。模块度含义下的社团是一个子图，且该子图中的内部边的数量，应该大于该子图的随机模型所产生的边的数量。模块度通常表示为Q，其定义如下：
Q=12m·Σi,j[(wij-deg(vi)·deg(vj)2m)·δ(Ci,Cj)]]]>
其中，wij为节点vi和vj之间的边eij的权重，为网络中所有边的权重之和，deg(vi)是节点vi的度；Ci表示vi所属的社团，δ(μ,υ)表示冲激函数，当μ＝υ时取值为1，否则取值为0。上式标明，若社团的内部边的数量小于该其随机模型所产生的边的数量，则模块度受到惩罚。模块度的值介于0到1之间，越大则表明网络具有越显著的社团结构。
在目前众多的网络社团挖掘算法中，标签传播和模块度优化是两类最为流行的方法。标签传播利用信息扩散理论进行社团检测，认为节点的社团属性由其邻居节点的社团属性所决定。这一基本思想直观、易与理解，且现实情况相符。然而，在标签传播算法中，节点的社团属性仅考虑了其邻居节点的因素，损失了大量的网络拓扑信息，导致其性能的稳定性较差。当模块度成为广泛接受的网络社团划分质量度量指标后，网络社团挖掘常常被转化为对模块度的优化问题。虽然模块度函数存在分辨率限制的问题，但在实际应用中仍然取得了巨大成 功。基于模块度优化的社团挖掘方法，是目前最为流行、应用最为广泛的网络社团挖掘算法之一，具有较强的鲁棒性和较高的检测质量。然而，模块度优化方法缺乏直观的物理意义。
网络中往往存在着社团重叠的现象，即许多节点可以同时归属于多个社团。例如，在社交网络中，人们可以同时属于他们的亲属圈、朋友圈、工作关系圈、兴趣爱好圈等等；在计算机网络中，网关往往也可视为各个子网的共有节点。网络重叠社团的挖掘，是近几年来网络社团检测领域的热点问题，受到了广泛关注。由社团重叠所衍生出的更为严格的问题，是量化网络节点属于某社团的程度，即模糊社团挖掘。假设网络中存在c个社团，则将节点v属于每个社团的程度定义为c维向量u，称之为节点v的隶属度(membership-degree)向量，其第k个分量反映了节点v属于第k个社团Ck的程度或可能性。隶属度向量u应满足如下约束：
u[k|k＝1,2,…,c]∈[0.0,1.0]且
在进行网络社团的无重叠划分时，则考虑隶属度向量中的最大分量，当：时，认为节点v属于社团Cl。
目前，国内外关于模糊社团挖掘的方法尚不多，且这些方法大多需要关于网络社团结构的先验知识或算法的相关参数，如基于模糊聚类的算法、基于节点相似度的算法、有界非负矩阵三分解算法、基于粒子群的算法等，使其应用范围受到了较大限制。另外，相关学者提出了几种基于模块度扩展的模糊社团模块度函数。然而，目前在模糊社团挖掘的质量评价方面，尚不存在广为接受的统一方法。
另外，国内外不少学者经研究发现，网络社团中常常存在核心节点或种子节点，其相关先验有助于社团检测。美国宾夕法尼亚州立大学的Raghavan等认为，在标签传播过程中保持核心节点的标签不变，将大大提升标签传播算法的性能。2011年，斯洛文尼亚卢布尔雅那大学的等提出了一种保守与扩张策略相结合的标签传播算法，用于发现社团中的核心节点。2013年，大连理工大学的王兴元等提出了一种基于核心节点的社团检测方法，他们认为核心节点最为显著的特征是相对邻居节点而言的最大连接数量。
发明内容
本发明要解决的技术问题为：将标签传播与模块度优化这两类流行的社团挖掘方法的基本思想相结合，在相邻的节点之间传播隶属度，充分利用网络的整体拓扑结构，克服标签传播算法的网络拓扑信息损失问题；在模块度优化的监督下进行社团种子节点的自动选取，在确保高质量社团划分的前提下，突破现有模糊社团挖掘方法依赖先验、需要进行参数调优的 限制。
为了完成发明目的，本发明解决上述技术问题采用的技术方案是：基于隶属度传播的模糊社团挖掘算法MDP(Membership-Degree Propagation)，实现步骤如下：
步骤(1)、建立社团种子节点的选取框架，以社团种子节点的基本特征为依据，确定种子节点选取的测试顺序；
步骤(2)、根据真实世界中各种复杂网络的客观规律，构建网络节点之间的隶属度传播模型，在传播过程中，社团种子节点的隶属度向量保持不变，而非种子节点的隶属度向量则进行迭代更新，通过这种方式，将种子节点的社团隶属度传播至非种子节点；
步骤(3)、在此基础上，以优化社团划分结果的模块度为目标，确定社团种子节点的选取准则，即：若某节点被标记为种子节点后，社团划分结果的模块度没有减小，则将该节点接受为新的种子节点；
步骤(4)、当社团种子节点选取完毕后，通过调整节点社团属性以及合并社团的方式，对模块度进行进一步优化，并修正各节点的社团隶属度，得到最终的模糊社团挖掘结果。
其中，所述步骤(1)中确定社团种子节点选取的测试顺序的过程为：社团种子的度通常较大，并且往往大于其邻居节点的度；根据这一基本特征，在社团种子节点的选取过程中，按照度从大到小的顺序测试节点是否为种子节点；对于同度节点，则考虑其邻居节点度之和，即按照邻居节点度之和从小到大的顺序进行测试。
其中，所述步骤(2)中隶属度传播的过程为：社团种子节点的隶属度向量保持不变，而非种子节点的隶属度向量则进行迭代更新；在每次更新计算中，根据边的权重，将非种子节点的隶属度向量取为其邻居节点的隶属度向量的加权平均；当所有非种子节点的隶属度向量收敛至稳定状态时，传播过程结束。
其中，所述步骤(3)中社团种子节点选取的过程为：根据步骤(1)中确定的社团种子节点选取的测试顺序，将节点逐一标记为种子节点；将某节点标记为种子节点后，进行隶属度传播，并将传播结果转化为非重叠社团划分结果；然后利用模块度对该划分结果进行评价，若模块度减小，则将该节点重新标记为非种子节点；每当接受一个新的种子节点后，还需对已有种子节点进行筛选。
其中，所述步骤(4)中对模块度进行进一步优化的过程为：该过程分为两个阶段；第一阶段，通过调整节点的社团属性对模块度进行优化，在该阶段，若某社团最终消失，则将各节点隶属度向量的对应分量删除，并将该社团的种子节点的隶属度向量取为其邻居节点的隶属度向量的加权平均；第二阶段，通过合并两个社团对模块度进行优化，在该阶段，若两个社团合并，则将各节点隶属度向量的这两个对应分量相加合并。
本发明与现有技术相比的优点在于：
(1)本发明的隶属度传播模型，充分利用了网络的整体拓扑信息，克服了标签传播算法的拓扑信息损失问题，从而能够获得合理的各节点隶属度向量。
(2)本发明的社团种子节点选取框架，在模块度的指导下，能够自动获得网络中的社团种子节点，同时确保社团划分的质量。
(3)本发明的社团种子节点选取顺序，考虑了社团种子节点的基本特征，有效地支持了种子节点的准确、快速选取。
(4)本发明提出的模糊社团挖掘算法，不依赖社团结构的相关先验，不需要进行参数调优，突破了现有技术所通常受到的限制。
(5)本发明提出的模糊社团挖掘算法，在稳定性、鲁棒性、以及各种评价指标方面，与现有技术相比均具有优势。
附图说明
图1是本发明的总体设计图；
图2是本发明隶属度传播的示意图，其中，图2(a)为Karate网络隶属度传播前的初始化状态，图2(b)为隶属度传播过程中第1次迭代后的状态，图2(c)为隶属度传播过程中第5次迭代后的状态，图2(d)为Karate网络隶属度传播的最终结果；
图3是本发明在真实网络上非重叠社团挖掘结果的示意图，其中，图3(a)为Euroroad网络的非重叠社团挖掘结果，图3(b)为Netsci网络的非重叠社团挖掘结果；
图4是本发明与其它先进算法在基准网络上的NMI性能对比，其中，图4(a)为小规模LFR基准网络上的对比结果，图4(b)为大规模LFR基准网络上的对比结果；
图5是本发明与其它先进算法在基准网络上的Fuzzy Rand Index性能对比，其中，图5(a)为混合参数0.1、平均节点度12的性能对比，图5(b)为混合参数0.1、平均节点度24的性能对比，图5(c)为混合参数0.3、平均节点度12的性能对比，图5(d)为混合参数0.3、平均节点度24的性能对比。
具体实施方式
下面结合附图对本发明作详细说明。
参阅图1本发明的总体设计图，本发明首先根据社团种子节点的度通常较大且往往大于其邻居节点的度这一基本特征，确定种子节点的选取顺序：按照度从大到小的顺序测试节点是否为种子节点，对于同度节点，则考虑其邻居节点度之和，即按照邻居节点度之和从小到 大的顺序进行测试。因此，将网络中的所有节点排序为V＝{vi}，该排序满足：
deg(vi)≥deg(vi+1)且deg2(vi)≤deg2(vi+1)
deg2(vi)为节点vi的邻居节点度之和，即：
deg2(vi)=Σvj∈N(vi)deg(vj)]]>
其中N{vi}为节点vi的邻居节点集合。MDP继承了标签传播方法的基本思想，认为节点的社团属性取决于其邻居节点。但与标签传播不同的是，MDP在相邻节点间传播隶属度。本发明认为节点vi的隶属度向量应为其邻居节点隶属度向量的加权平均，即：
ui=Σvj∈N{vi}(wij·uj)/Σvj∈N{vi}wij]]>
同时，本发明认为社团Ck的种子节点，其隶属度向量的第k个分量的值为1.0，而其它分量均为0.0。在隶属度传播过程中，种子节点的隶属度向量保持不变，而非种子节点的隶属度向量则根据上式迭代更新。随着迭代更新的进行，非种子节点的隶属度向量将逐渐收敛，直至：
Δu＝max((|ui-u'i|)|vi∈V)<εs
满足时，迭代停止。其中，u'i是节点vi在本次迭代之前的隶属度向量，|·|表示向量的模，εs是预设的误差阈值(足够小)。在每次迭代中，首先更新社团种子节点的一阶邻居节点的隶属度向量，然后更新二阶邻居节点，以此类推，直至网络中的所有节点均已被访问。这种更新顺序能够避免无效计算，加速算法收敛。
参阅图2对网络分析领域中经典数据集Karate的隶属度传播过程的可视化。首先，假设网络中存在2个社团，在初始化时，取白色节点和黑色节点为种子节点，将其隶属度向量分别初始化为(1.0,0.0)和(0.0,1.0)，而将非种子节点的隶属度向量初始化为(0.5,0.5)，如图2(a)所示；然后，根据进行隶属度传播，并根据非种子节点的隶属度向量设置其灰度值，以呈现非种子节点隶属度向量的变化情况。图2(c)和图2(c)分别给出了迭代1次和5次后的状态，经过12次迭代后，Δu<εs(本例中εs＝10-4)，隶属度传播结束。传播结果如图2(c)所示，其中的虚线表示最终的无重叠社团划分结果，该结果与Karate俱乐部成员的真实划分情况完全一致。并且，根据节点的隶属度向量可以发现，实线框中的节点具有非常接近的隶属度分量(0.508,0.492)，因而是一个典型的公共节点。
MDP对于种子节点的选取，是在模块度优化的监督下进行的。基于一组社团种子节点，通过隶属度传播计算可以获得一个无重叠社团划分结果，该划分结果的质量能够通过模块度 进行衡量。因此，本发明种子节点选取的目标是使其产生的无重叠社团划分结果对应的模块度最大化。简言之，测试一个节点是否为社团种子节点，即判断将该节点取为社团种子节点后，无重叠社团划分结果对应的模块度是否增大。
每当发现一个新的种子节点后，需要对已有种子节点执行一次筛选过程。该过程对当前的所有种子节点进行逐个校验，以检测是否存在一些种子节点，将其重新标记为普通节点能够增大非重叠社团划分的模块度。若存在，则将使模块度增大最多的种子节点重新标记为普通节点；重复上述校验过程，直至此类种子节点消失。该步骤不仅能够进一步优化模块度，最重要的作用是消除了之前所选取的不好的种子节点对后续种子节点选取产生的影响。
本发明利用节点度阈值degs设置种子点选取的终止条件。当V中尚未经过测试的节点的度均小于degs时，社团种子节点选取过程结束。在社团种子节点选取过程结束以后，对模块度进行进一步优化。优化过程分为两个阶段；第一阶段，通过调整节点的社团属性对模块度进行优化，在该阶段，若某社团最终消失，则将各节点隶属度向量的对应分量删除，并将该社团的种子节点的隶属度向量取为其邻居节点的隶属度向量的加权平均；第二阶段，通过合并两个社团对模块度进行优化，在该阶段，若两个社团合并，则将各节点隶属度向量的这两个对应分量相加合并。
为了证明本发明在网络社团挖掘方面的能力，一方面，本发明对比了MDP与当今5种先进算法在非重叠社团挖掘方面的性能，包括美国麻省理工学院的Sobolevsky等2014年提出的Combo算法、比利时鲁汶大学的Blondel等2008年提出的LUV、美国新墨西哥大学的Clauset等2004年提出的GMO、美国宾夕法尼亚州立大学的Raghavan等2007年提出的LPA、上海交通大学的楼昊等2013年提出的CNPELAP。对于社团结构未知的真实网络，通常利用模块度对其非重叠社团划分的质进行度量。因此，对比算法在真实网络上得到的模块度，是比较其性能优劣的主要方式。本实验的数据包括Karate、Dolphin、Lesmis(加权网络)、Polbook、Football、Netsci(加权网络)、Email、Euroroad、Amazon、Powergrid、WordNet、PGP等，涵盖了网络通信、社交网络、电子商务、基础设施网络等广泛领域。在本实验中，仅考虑这些网络中的最大子图。
各算法对上述网络的社团检测结果如表1所示。其中，n和m分别表示网络中节点和边的数量，c和Q分别表示算法检测到的社团数量以及获得的模块度指标。考虑到算法的不确定性，测试中对各算法在每个数据集上均进行了10次随机重复测试，表1中显示的是其测试结果中的最优模块度及其对应的社团数量。在12个数据集中，MDP、Combo和LUV算法分别得到了7、7、4个最高模块度指标。在多次重复实验中，对于deg和deg2均相同的节 点，随机地改变其在种子节点选取过程中的测试顺序，MDP算法的结果并未发生变化。因此，本实验的结果充分表明了本发明提出的基于隶属度传播的模糊社团检测算法MDP，能够高质量、稳定地对真实网络进行非重叠社团划分。参阅图3(a)和图3(b)中对MDP算法在两个典型真实网络Euroroad和Netsci(无权和加权)非重叠社团挖掘结果的可视化，其中属于同一社团的节点位于曲线包围的同一个闭合区域内，边的宽度与其权重成正比。
表1 真实网络中非重叠社团挖掘结果对比(c/Q)
数据集nmMDPComboLUVGMOLPACNPELPEKarate34784/0.41984/0.41984/0.41983/0.38074/0.41562/0.3718Dolphin621595/0.52764/0.52685/0.52414/0.49554/0.52683/0.4833Lesmis772546/0.56196/0.56196/0.56195/0.50067/0.55802/0.3916Polbook1054414/0.52695/0.52724/0.52084/0.50204/0.52623/0.4600Football15561310/0.604610/0.604610/0.60467/0.577310/0.60468/0.6007Netsci37991420/0.850621/0.850319/0.850019/0.837442/0.812516/0.7994Euroroad1039130522/0.872223/0.875224/0.869723/0.863077/0.815354/0.8316Email113354519/0.57669/0.581510/0.550713/0.513022/0.54771/0Amazon2879388612/0.695713/0.696513/0.696110/0.668515/0.69421/0Powergrid4941659440/0.938938/0.938438/0.937041/0.9341491/0.8100259/0.8633Wordnet8567973569/0.881751/0.877273/0.883074/0.88281024/0.7765396/0.8416PGP106802431693/0.883285/0.8795109/0.8812196/0.8521948/0.8155203/0.7400
本发明采用Lancichinetti等提出的非重叠LFR基准网络，对比各算法针对社团结构已知的计算机合成网络进行非重叠社团挖掘的性能，并采用西班牙巴塞罗那大学的Danon等提出的标准化互信息NMI作为质量评价指标。NMI的值介于0到1之间，越大则表明挖掘结果越准确。测试中，网络规模分别取n＝1000和n＝5000，分别称其为小规模和大规模LFR基准网络，混合参数μ从0.1增加至0.8，间隔为0.1。参阅图4中MDP与其它算法在基准网络上的NMI性能对比，在小规模LFR基准网络上，如图4(a)所示，MDP算法的表现明显优于其它算法。在大规模LFR基准网络上，如图4(b)所示，当μ较小时，MDP算法的性能略逊于标签传播算法，但当μ较大时，标签传播算法的准确率急剧下降，而MDP则下降较为缓慢。因此，本实验的结果充分表明了MDP算法在合成网络上较鲁棒性较强的非重叠社团检测能力。
另一方面，本发明对比了MDP与当今2种先进算法在模糊社团挖掘方面的性能，包括英国牛津大学的Psorakis等2011年提出的NMF算法、香港科技大学的张宇等2012年提出的BNMTF。其中NMF算法不依赖先验知识与相关参数，而BNMTF则需要预先给定网络中社团数量的上限值cmax。由于这两种算法的空间复杂度和时间复杂度都较高，因此本实验仅在较小的网络上进行，并将cmax取值为略大于表1中最好结果对应的社团数量。对于真实网络，测试中采用密歇根理工大学的Havens等2013年提出的柔性模块度Qg作为模糊社团检测结果的质量评价指标。考虑到这两种算法的不确定性，测试中对各算法在每个数据集上 均进行了10次重复测试，表2中显示的是其测试结果中Qg的最大值及其对应的社团数量。
表2 真实网络中模糊社团挖掘结果对比(c/Qg)
算法KarateDolphinLesmisPolbookFootballNetsciEuroroadMDP4/0.34135/0.39986/0.43764/0.41559/0.345920/0.655522/0.6766NMF5/0.19456/0.42759/0.43678/0.45948/0.424272/0.5948182/0.3618BNMTF3/0.14912/0.36275/0.32345/0.42482/0.327322/0.202425/0.353
本发明采用英国布里斯托大学的Gregory等2011年提出的将重叠LFR基准网络转换为模糊社团形式的方法，对比各算法针对社团结构已知的计算机合成网络进行模糊社团挖掘的性能，并采用Hullermeier等提出的模糊随机指标(Fuzzy Rand Index)作为质量评价指标。该指标的取值范围为0到1，其值越大，表明算法得到的节点隶属度向量越合理。测试中，取基准网络的规模为n＝500，cmax＝50(略大于基准网络中的真实社团数量)，μ∈{0.1,0.3}，平均节点度〈k〉∈{12,24}，重叠社团间公共节点的比例从0.1增加至1。参阅图5中MDP与其它算法在具有不同混合参数和平均节点度的基准网络上的Fuzzy Rand Index性能对比，MDP算法在基准网络上的模糊社团检测性能明显优于对比算法。
综上所述，本发明提出的模糊社团挖掘算法，不依赖社团结构的相关先验，不需要进行参数调优，并且在稳定性、鲁棒性、以及各种评价指标方面，与现有技术相比均具有优势。
本发明未详细阐述部分属于本领域技术人员的公知技术。
以上所述仅为本发明的一些基本说明，依据本发明的技术方案所做的任何等效变换，均应属于本发明的保护范围。