基于对抗注意力机制的网络表征方法.pdf

《基于对抗注意力机制的网络表征方法.pdf》由会员分享，可在线阅读，更多相关《基于对抗注意力机制的网络表征方法.pdf（13页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010100316.3 (22)申请日 2020.02.18 (71)申请人 河北工业大学 地址 300130 天津市红桥区丁字沽光荣道8 号河北工业大学东院330# (72)发明人 顾军华王悦雪栗位勋杨亮 张亚娟庞志远 (74)专利代理机构 天津翰林知识产权代理事务 所(普通合伙) 12210 代理人 付长杰 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于对抗注意力机制的网络表征方法 (57)摘要。

2、 本发明为基于对抗注意力机制的网络表征 方法， 该方法包括双映射函数的模型， 第一个映 射函数为将真实数据的节点属性信息以及网络 拓扑信息通过图注意力网络为不同节点对分配 不同的权重， 将原始网络映射到低维空间得到更 精确地真实数据的低维表达； 第二个映射函数为 通过将得到的真实数据的低维表达与扰动结合 得到噪声， 输入到生成器中映射成为噪声的节点 属性信息以及网络拓扑信息； 再将两个函数作为 两个元组输入到判别器中进行判别， 通过判别器 给出的结果进行生成器以及编码器的优化， 最终 得到鲁棒性好以及能够完整保存原始网络信息 的低维表达。 该方法采用图注意力网络进行网络 表征， 考虑不同节点之。

3、间的相关程度， 更加贴近 现实情况， 效果更好。 权利要求书2页 说明书9页 附图1页 CN 111340187 A 2020.06.26 CN 111340187 A 1.一种基于对抗注意力机制的网络表征方法， 其特征在于， 该方法包括双映射函数的 模型， 第一个映射函数为将真实数据的节点属性信息以及网络拓扑信息通过图注意力网络 为不同节点对分配不同的权重， 将原始网络映射到低维空间得到更精确地真实数据的低维 表达； 第二个映射函数为通过将得到的真实数据的低维表达与扰动结合得到噪声， 输入到 生成器中映射成为噪声的节点属性信息以及网络拓扑信息； 再将真实数据的节点属性信息、 网络拓扑信息以及。

4、得到的低维表达组成关于真实数据 的元组， 与通过噪声映射出的噪声的节点属性信息、 网络拓扑信息以及得到的噪声组成关 于噪声数据的元组输入到判别器中进行判别， 通过判别器给出的结果进行生成器以及编码 器的优化， 最终得到鲁棒性好以及能够完整保存原始网络信息的低维表达。 2.根据权利要求1所述的网络表征方法， 其特征在于， 第一个映射函数的神经网络模型 为公式(6)： 公式(6)中， zi代表中心节点i的真实数据的低维表达， xj代表节点属性信息矩阵X中的 第j列， ij代表采用图注意力机制后所得i、 j两个节点对之间的权重， 图注意力网络中所提 出的方法称为图注意力机制； Wk为图注意力网络中的。

5、权重， K代表采用multi-head个数； Ni代 表中心节点i的邻居节点数量； 为激活函数。 3.根据权利要求1所述的网络表征方法， 其特征在于， 第二个映射函数中真实数据的低 维表达Z与扰动结合是指， 扰动与真实数据的低维表达Z相加生成新的噪声， 然后在生成的 噪声中采样出n个样本z1,z2,.,zn构成重构噪声， n不大于真实数据的低维表达 的样本数量； 将重构噪声视为噪声的低维表达， 将噪声的低维表达作为生成器输入， 生成器输出噪 声的节点属性信息以及网络拓扑信息， 此为第二个映射函数， 第二个映射函数的神经网络 模型为： Xg(Wz+b) Asigmoid(zz T) (1) 在公。

6、式(1)中,z代表噪声的低维表达,X代表噪声的节点属性信息， A代表噪声的网 络拓扑信息,W为全连接神经网络中的权重， b为全连接神经网络中的偏置。 4.根据权利要求1所述的网络表征方法， 其特征在于， 判别器的损失函数为公式(3)： 公式(3)中， LD代表判别器的损失函数， 采用带权重的交叉熵损失函数， 其权重系数设置 为E为均值； X， A， Z分别代表原始网络真实数据的节点属性信息， 网络拓扑信息以及真 实数据的低维表达； D(Z,(X|A)表示判别器对原始网络相关数据的判别结果； X， A,Z分 别代表通过噪声重构出的噪声的节点属性信息， 网络拓扑信息以及噪声数据， D(Z,(X| 。

7、A)表示判别器对噪声相关数据的判别结果； 生成器的损失函数LG由LA、 LX两部分构成， 各部分表达式为公式(5)： 权利要求书 1/2 页 2 CN 111340187 A 2 M代表着生成器的输出， 也就是A和X的总和； p(A|M)代表条件概率； 编码器损失函数LE的表达式为公式(9)： LEEdist(X|A),(X|A) (9) dist为求(X|A)与(X|A)两个元组差距的函数。 5.根据权利要求4所述的网络表征方法， 其特征在于， 上述判别器、 生成器和编码器通 过梯度下降的方式进行优化。 6.根据权利要求1-5任一所述的网络表征方法， 其特征在于， 该方法输出能够完整保存 的。

8、原始网络信息的低维表达用于节点分类或链接预测任务中。 权利要求书 2/2 页 3 CN 111340187 A 3 基于对抗注意力机制的网络表征方法 技术领域 0001 本发明的技术方案涉及具有对抗注意力机制的网络表征模型(在低维空间中表达 网络特性)， 以促进后续网络分析任务的实现， 如节点分类任务、 链接预测等任务， 具体地说 就是一种基于对抗注意力机制的网络表征方法。 背景技术 0002 随着互联网的不断发展， 以互联网为基础的各类平台(如社交平台、 电商平台)正 在融入人们的生活。 用户逐渐从信息的获取者变成了信息的制造者， 在社交平台发表言论、 在电商平台购买物品成为非常普遍的现象。。

9、 所有这些行为在互联网中积累了大量的信息， 商品推荐、 好友推荐等功能根据此信息进行实施， 因此对这些信息进行分析变得尤为重要。 由于网络中的数据以高维的形式存在， 在进行数据分析的过程中将高维数据转换成低维数 据是必不可少的阶段， 网络表征模型应运而生。 网络表征模型是将网络中的高维数据转换 到低维空间中， 以减少数据分析过程中所产生的时间和空间复杂度。 基于对抗机制的网络 表征模型是目前应用比较广泛的网络表征方法， 它可以在不需要额外获取辅助信息的前提 下得出具有较强鲁棒性的网络低维表达。 0003 现有技术中， 基于对抗机制的网络表征模型是将高斯先验视为对抗过程的正样 本， 通过编码器得。

10、出的表征结果视为负样本， 再将其输入到判别器中进行判别。 但是在实际 应用中将对抗机制应用到单独的节点表征不能使节点的属性信息得到充分的运用， 并且通 过对抗机制区分高斯先验和嵌入结果并没有实质性的意义。 0004 因此， 在基于对抗学习的网络表征方法中， 存在对节点属性信息运用不充分和对 模型机制的运用不恰当等缺陷， 以及现有技术均未对此方法存在的问题进行改善的缺陷。 发明内容 0005 针对现有技术的不足， 本发明所要解决的问题是： 提供一种基于对抗注意力机制 的网络表征方法， 提出了一种双映射函数的模型， 一为将真实数据的节点属性信息以及网 络拓扑信息通过编码器(图注意力网络)更贴合实际。

11、地为不同节点对分配不同的权重， 将原 始网络映射到低维空间得到更精确地真实数据的低维表达； 二是通过将得到的真实数据的 低维表达与扰动结合得到噪声， 输入到生成器(全连接神经网络)中映射成为噪声的节点属 性信息以及网络拓扑信息。 再将真实数据的节点属性信息、 网络拓扑信息以及得到的低维 表达组成关于真实数据的元组， 与通过噪声映射出的噪声的节点属性信息、 网络拓扑信息 以及得到的噪声组成关于噪声数据的元组输入到判别器中进行判别， 通过判别器给出的结 果进行生成器以及编码器的优化， 最终得到鲁棒性较好以及能够完整保存原始网络信息的 低维表达， 并以此进行后续任务的实现， 如链接预测、 节点分类等。

12、任务。 本发明克服了现有 技术中存在的节点信息运用不充分以及模型机制运用不恰当的缺陷， 以及现有技术均未对 此方法存在的问题进行改善的缺陷。 0006 本发明解决该技术问题所采用的技术方案是： 一种基于对抗注意力机制的网络表 说明书 1/9 页 4 CN 111340187 A 4 征方法， 其特征在于， 该方法包括双映射函数的模型， 第一个映射函数为将真实数据的节点 属性信息以及网络拓扑信息通过图注意力网络为不同节点对分配不同的权重， 将原始网络 映射到低维空间得到更精确地真实数据的低维表达； 第二个映射函数为通过将得到的真实 数据的低维表达与扰动结合得到噪声， 输入到生成器中映射成为噪声的。

13、节点属性信息以及 网络拓扑信息； 0007 再将真实数据的节点属性信息、 网络拓扑信息以及得到的低维表达组成关于真实 数据的元组， 与通过噪声映射出的噪声的节点属性信息、 网络拓扑信息以及得到的噪声组 成关于噪声数据的元组输入到判别器中进行判别， 通过判别器给出的结果进行生成器以及 编码器的优化， 最终得到鲁棒性好以及能够完整保存原始网络信息的低维表达。 0008 第一个映射函数的神经网络模型为公式(6)： 0009 0010 公式(6)中， zi代表中心节点i的真实数据的低维表达， xj代表节点属性信息矩阵X 中的第j列， ij代表采用图注意力机制后所得i、 j两个节点对之间的权重， 图注意。

14、力网络中 所提出的方法称为图注意力机制； Wk为图注意力网络中的权重， K代表采用multi-head个 数； Ni代表中心节点i的邻居节点数量； 为激活函数。 0011 判别器的损失函数为公式(3)： 0012 0013 公式(3)中， LD代表判别器的损失函数， 采用带权重的交叉熵损失函数， 其权重系 数设置为E为均值； X， A， Z分别代表原始网络真实数据的节点属性信息， 网络拓扑信息 以及真实数据的低维表达； D(Z,(X|A)表示判别器对原始网络相关数据的判别结果； X， A,Z分别代表通过噪声重构出的噪声的节点属性信息， 网络拓扑信息以及噪声数据， D (Z,(X|A)表示判别器。

15、对噪声相关数据的判别结果； 0014 生成器的损失函数LG由LA、 LX两部分构成， 各部分表达式为公式(5)： 0015 0016 M代表着生成器的输出， 也就是A和X的总和； p(A|M)代表条件概率； 0017 编码器损失函数LE的表达式为公式(9)： 0018 LEEdist(X|A),(X|A) (9) 0019 dist为求(X|A)与(X|A)两个元组差距的函数。 0020 上述判别器、 生成器和编码器通过梯度下降的方式进行优化。 0021 上述一种基于对抗注意力机制的网络表征方法， 其中数据的收集以及处理包括公 式的计算是本领域的相关人员应该掌握的。 0022 与现有技术相比，。

16、 本发明的有益效果是： 0023 本发明具有如下实质性特点和显著进步： 说明书 2/9 页 5 CN 111340187 A 5 0024 (1)针对网络表征任务的传统网络表征模型结果缺乏鲁棒性的问题， 本发明提供 一种基于对抗注意力机制的网络表征模型， 该方法将图注意力网络作为编码器， 真实数据 通过编码器进行嵌入得到真实数据的低维表达， 将生成噪声通过生成器生成噪声的节点属 性信息以及网络拓扑信息， 通过判别器对两个元组进行判别， 最后输出真实数据具有鲁棒 性的低维表达， 并据此进行节点聚类、 链接预测等后续任务， 提高任务的准确性。 0025 (2)论文 Adversarially Re。

17、gularized Graph autoencoder for Graph Embedding (Shirui Pan,Ruiqi hu,Guodong Long,Jing Jiang.In Proceedings of the Twenty-Seventh International Joint Conference on Artificial Intelligence, IJCAI2018.),将自动编码器与生成式对抗网络进行结合， 主要的模型包括编码器、 解码器、 判别器。 其中， 采用图卷积神经网络作为编码器， 通过结合节点的属性信息以及拓扑信息获 取网络的低维表达； 通过设置高斯分布。

18、作为先验分布， 将得到的低维表达与先验分布输入 到判别器中进行判别。 根据现实生活中不同节点对间存在不同的重要程度可知图卷积网络 以节点度相关的固定值进行节点间信息传播的机制是不合理的； 同时， 人工设定某一确定 的先验分布使编码器得出的低维表达与之相似， 做法仍存在不合理性(生成的低维表达未 知， 不确定， 而人为设定的分布已知， 确定， 二者矛盾)。 0026 与之相比， 本发明实质性的区别为考虑了两个映射函数， 一为从真实数据通过编 码器得到真实数据的低维表达； 二为生成噪声通过生成器生成噪声节点的属性信息以及拓 扑信息。 经过反复的实验验证， 本发明的方法优于 Adversariall。

19、y Regularized Graph autoencoder for Graph Embedding 中所提出的方法。 本发明人团队在前期的研究成果 上， 经过进一步艰辛研究和反复实验才获得本发明的 “基于对抗注意力机制的网络表征方 法， 这绝非是容易实现的。 ” 0027 (3)本发明克服了现有技术中存在的对节点属性信息以及拓扑信息运用不充分和 对模型机制运用不恰当等缺陷， 且现有技术均未对此方法存在的问题进行改善的缺陷。 本 申请的充分性体现在在判别器的输入中， 共同输入原始网络的网络拓扑信息、 节点属性信 息以及所得的低维表达， 增加了两个不同元组对比的全面性； 现有模型机制中不恰当的。

20、地 方是利用图卷积神经网络进行网络表征， 其缺点是在进行信息传播的过程中节点之间的权 重固定， 与节点间的度相关； 本发明中采用图注意力网络进行网络表征， 由于图注意力网络 考虑不同节点之间的相关程度， 更加贴近现实情况， 所得效果更好。 附图说明 0028 下面结合附图和实施例对本发明进一步说明。 0029 图1是本发明方法的总体流程示意图。 具体实施方式 0030 图1所示实施例表明， 本发明方法的总体流程是： 0031 (1)网络中节点数据的收集， 包括节点属性信息和网络拓扑信息； 0032 (2)将节点属性信息和网络拓扑信息输入到编码器中； 0033 (3)生成真实数据的低维表达； 0。

21、034 (4)将生成噪声采样样本作为其低维表达输入到生成器中； 说明书 3/9 页 6 CN 111340187 A 6 0035 (5)生成噪声的节点属性信息以及网络拓扑信息； 0036 (6)将真实数据的节点属性信息以及网络拓扑信息、 真实数据的低维表达与噪声 的低维表达、 噪声的节点属性信息以及网络拓扑信息两个元组输入到判别器中； 0037 (7)判别器输出0-1之内取值的结果； 0038 (8)通过梯度下降方法对生成器、 编码器以及判别器进行优化直到最大训练步骤 (提前达到提前结束， 最大训练步骤一般设置为一万以上)； 0039 (9)根据具有鲁棒性的真实数据低维表达进行节点聚类、 链。

22、接预测等后续任务。 0040 本发明用于获取网络低维表达的基于对抗注意力机制的网络表征方法的具体步 骤如下： 0041 第一步， 网络中节点数据的收集： 0042 从待表征的网络中提取出节点的属性信息以及网络的拓扑信息， 收集网络中节点 数据， 将真实数据所提取出的节点属性信息和网络拓扑信息分别用X和A表示； 0043 第二步， 结合收集的数据进行神经网络的训练与优化： 0044 2.1)使用图注意力网络对收集数据进行网络表征： 0045 将第一步提取的真实数据的节点属性信息和网络拓扑信息输入到图注意网络(图 注意力网络可参见发表在2018年ICLR会议上的 Graph Attention N。

23、etworks 论文， 简称 GAT)之中， 即编码器， 通过编码器为不同节点对分配不同的权重， 将原始网络映射到低维空 间得到真实数据的低维表达Z， 此为第一个映射函数， 并设定网络表征结构优化迭代的最大 值； 0046 将真实数据所提取出的节点属性信息X， 通过编码器进行网络嵌入(网络表征即网 络嵌入， 是本领域所研究的问题， 主要是以分析大型网络特性为背景， 致力于将网络中各个 节点的高维、 稀疏属性压缩到低维、 连续空间， 以便后续任务的进行)， 生成真实数据的低维 表达Z， 第一个映射函数的神经网络模型为公式(6)： 0047 0048 公式(6)中， zi代表中心节点i的真实数据的。

24、低维表达， xj代表节点属性信息矩阵X 中的某一列， ij代表采用图注意力机制后所得i、 j两个节点对之间的权重， 图注意力网络中 所提出的方法称为图注意力机制； Wk为图注意力网络中的权重， K代表采用multi-head个 数； Ni代表中心节点i的邻居节点数量； 为激活函数； 0049 2.2)从噪声中采样数据点： 0050 采用在步骤2.1)所得真实数据的低维表达Z上增加扰动(该扰动为设定的一个固 定的分布， 可以为高斯分布， 在此固定分布中选择随机噪声作为扰动)， 扰动与真实数据的 低维表达Z相加生成新的噪声的方式去替代将高斯分布或均匀分布直接视为噪声的原始方 式， 然后在生成的噪声。

25、中采样出n个样本z1,z2,.,zn构成重构噪声， n不大于真实 数据的低维表达的样本数量； 0051 2.3)重构噪声的节点属性信息以及网络拓扑信息： 0052 将步骤2.2)获得的重构噪声视为噪声的低维表达， 将噪声的低维表达作为生成器 输入， 生成器输出噪声的节点属性信息以及网络拓扑信息， 此为第二个映射函数， 第二个映 射函数的神经网络模型为： 说明书 4/9 页 7 CN 111340187 A 7 0053 Xg(Wz+b) 0054 Asigmoid(zz T) (1) 0055 在公式(1)中,z代表噪声的低维表达,X代表噪声的节点属性信息， A代表噪声 的网络拓扑信息,W为全。

26、连接神经网络中的权重， b为神经网络中的偏置； 0056 2.4)计算损失函数： 0057 将噪声、 噪声的节点属性信息及网络拓扑信息与真实数据的节点属性信息及网络 拓扑信息、 真实数据低维表达两个元组作为判别器输入， 则判别器的损失函数为公式(3)： 0058 0059 公式(3)中， LD代表判别器的损失函数， 采用带权重的交叉熵损失函数， 其权重系 数设置为E为均值； X， A， Z分别代表原始网络真实数据的节点属性信息， 网络拓扑信息 以及真实数据的低维表达； D(Z,(X|A)表示判别器对原始网络相关数据的判别结果； X， A,Z分别代表通过噪声重构出的噪声的节点属性信息， 网络拓扑。

27、信息以及噪声数据， D (Z,(X|A)表示判别器对噪声相关数据的判别结果； 0060 生成器的损失函数LG由LA、 LX两部分构成， 各部分表达式为公式(5)： 0061 0062 M代表着生成器的输出， 也就是A和X的总和； A和X代表根据重构噪声得出的噪 声的网络拓扑信息以及节点属性信息， p(A|M)代表条件概率， E为均值； 0063 编码器损失函数的表达式为公式(9)： 0064 LEEdist(X|A),(X|A) (9) 0065 X代表原始网络真实数据的节点属性信息， A代表网络拓扑信息， X代表通过噪声 重构出的噪声的节点属性信息， A代表通过噪声重构出的网络拓扑信息， E。

28、代表均值， dist 为求(X|A)与(X|A)两个元组差距的函数， 其中衡量二者之间差距的函数形式有很多 种， 在本实验中采用交叉熵损失函数。 0066 2.5)判别器、 生成器和编码器的优化： 0067 通过梯度下降的方式分别对判别器、 生成器和编码器进行优化， 0068 判别器的优化公式为公式(4)： 0069 0070 生成器的优化公式为公式(7)： 0071 0072 编码器的优化公式为公式(2)： 说明书 5/9 页 8 CN 111340187 A 8 0073 0074 第三步， 通过优化后判别器给出的结果进行生成器以及编码器的优化， 最终得到 鲁棒性较好以及能够完整保存的原始。

29、网络信息的低维表达， 至此完成基于对抗注意力机制 的网络嵌入任务。 0075 采用本发明方法输出能够完整保存的原始网络信息的低维表达， 其更贴合实际， 能用于进行节点分类、 链接预测等后续任务， 提高后续任务的准确性。 0076 真实数据的低维表达为矩阵形式， 例NF维， 其中N表示共有N个节点， F表示每个 节点的维度， 噪声样本的数量n不大于N。 进行节点分类任务时， 利用softmax函数作用到每 个节点上， 输出的结果满足各个维度相加为1， 将其中某个维度最大的数值作为该节点的类 别。 0077 本发明方法中不需要设置先验分布， 而是通过为所得真实数据的低维表达增加扰 动来生成噪声， 。

30、再根据生成噪声进行属性重构以及拓扑重构， 克服了现有技术中通过提前 设定固定的先验分布， 再利用生成式对抗机制使低维表达与先验分布相似而与真实情况不 合理的现象。 同时本申请使用一个多头注意力网络需要训练的参数数量适宜， 不容易出现 过拟合现象。 0078 本发明方法主要是在图卷积网络(GCN)的基础上对网络表征的方法进行研究， 将 图注意力网络与生成式对抗网络融合实现对网络数据集的融合处理， 其中网络指社交网 络、 论文引用网络等， 每个节点之间不存在图像中像素与像素之间紧密连接的形式， 其节点 之间存在着不同的邻居， 不同节点的属性信息也不尽相同， 增加了网络表征的困难性。 0079 本发。

31、明中采用的图注意力机制的运算方式为masked graph attention， 是指注意 力的运算仅在相邻节点之间运行。 GAT设定仅计算中心节点i与一阶邻居节点之间的 attention系数， 相当于隐式调用网络拓扑信息。 0080 为保证原始图信息运用的更加充分以及判别器判别真假样本时对比信息更加全 面， 本发明采用互信息的形式作为判别器的输入。 在本发明中采用最简单的将多类信息进 行级联的互信息构造方式。 在原始的生成式对抗网络中， 判别器的输入仅为一项， 而在本实 验中， 为了扩大信息的对比面， 采用互信息的形式作为判别器的输入， 互信息可以看作是一 个随机变量中包含的关于另一个随机。

32、变量的信息量。 在本实验中将X和A、 Z这三方面的信息 级联起来， 就是对这三种信息做了一个拼接， 输入到判别器中。 0081 实施例1 0082 本实施例基于对抗注意力机制的网络表征方法应用于链接预测任务上， 通过基于 对抗注意力机制的网络表征方法学习出具有鲁棒性强的低维表达进而进行链接预测任务， 实验中所作的任务是链接预测任务， 是指依据最终输出的低维表达预测节点对之间是否存 在连接边， 在现实网络中的应用， 本实施例以论文引用网络为例， 若论文为节点， 那么链接 预测就是预测论文与论文之间是否存在联系， 当论文之间有共同作者或者内容相关则预测 论文之间有连接边。 具体步骤(参见图1)如下。

33、： 0083 第一步， 网络中节点数据的收集： 0084 所需的数据需要从网络中提取出节点属性信息以及网络拓扑信息， 分别用X和A表 示。 0085 第二步， 结合收集的数据进行神经网络的训练与优化： 说明书 6/9 页 9 CN 111340187 A 9 0086 第2.1步， 使用图注意力网络对收集数据进行网络表征： 0087 将所收集网络中节点属性信息与网络拓扑信息输入到图注意力网络之中， 即编码 器， 得出真实数据的低维表达， 并且设定网络结构优化迭代的最大值。 0088 第2.2步， 对判别器进行训练： 0089 1)从噪声中采样数据点： 0090 本发明中采用在所得低维表达上增加。

34、扰动生成新的噪声的方式去替代直接将高 斯分布或均匀分布视为噪声的原始方法， 然后在生成噪声中采样出n个样本z1,z 2,.,zn， 扰动采用通过高斯分布给出的随机噪声。 0091 2)重构噪声节点的属性表达以及拓扑结构： 0092 在生成噪声中采样出的样本视作其低维表达， 作为生成器输入， 生成器输出噪声 节点属性信息以及网络拓扑信息， 神经网络模型为： 0093 Xg(Wz+b) 0094 Asigmoid(zz T) (1) 0095 在公式(1)中， z代表噪声的低维表达， X代表噪声的节点属性信息， A代表噪声 的网络拓扑信息， W为全连接神经网络中的权重参数， b为全连接神经网络中的。

35、偏置。 0096 3)计算真实数据的低维表达： 0097 将真实数据所提取出的节点属性信息X， 通过编码器进行网络嵌入， 生成真实数据 的低维表达， 网络模型为： 0098 0099 公式(6)中， zi代表中心节点i的真实数据的低维表达， xj代表节点属性信息矩阵X 中的第j列， ij代表采用图注意力机制后所得i、 j两个节点对之间的权重， 图注意力网络中 所提出的方法称为图注意力机制； Wk为图注意力网络中的权重， K代表采用multi-head个 数； Ni代表中心节点i的邻居节点数量； 为激活函数。 0100 4)计算损失函数： 0101 本方法中将噪声的低维表达、 噪声的节点属性信息。

36、、 网络拓扑信息以及真实数据 的节点属性信息、 网络拓扑信息、 真实数据的低维表达两个元组作为判别器输入， 因此， 判 别器的损失函数为如下公式(3)所示： 0102 0103 LD代表判别器的损失函数， 采用带权重的交叉熵损失函数， 其权重系数设置为 E代表均值； X， A， Z分别代表原始网络真实数据的节点属性信息， 网络拓扑信息以及真 实数据的低维表达； D(Z,(X|A)表示判别器对原始网络相关数据的判别结果； X， A,Z分 别代表通过噪声重构出的噪声的节点属性信息， 网络拓扑信息以及噪声数据， D(Z,(X| A)表示判别器对噪声相关数据的判别结果； 0104 5)判别器优化： 0。

37、105 通过梯度下降的方法进行优化， 如下公式(4)所示： 说明书 7/9 页 10 CN 111340187 A 10 0106 0107 其中损失函数为交叉熵函数。 0108 第2.3步， 对生成器、 编码器进行训练与优化： 0109 1)从噪声中采样数据点： 0110 本发明中采用在所得低维表达上增加扰动生成新的噪声的方式去替代将高斯分 布或均匀分布视为噪声的原始方法， 然后在生成噪声中采样出n个样本z1,z2,., zn。 0111 2)重构噪声节点的属性表达以及拓扑结构： 0112 在生成噪声中采样出的样本视作其低维表达， 作为生成器输入， 生成器输出噪声 节点的属性信息以及拓扑信息。

38、， 神经网络模型为： 0113 Xg(Wz+b) 0114 Asigmoid(zz T) (5) 0115 在公式(5)中， z代表噪声节点的低维表达， X代表噪声节点的属性信息， A代表 噪声节点的拓扑信息， W为神经网络中的权重参数， b为神经网络中的偏置。 0116 3)计算真实数据的低维表达： 0117 0118 公式(6)中， zi代表中心节点i的真实数据的低维表达， xj代表节点属性信息矩阵X 中的第j列， ij代表采用图注意力机制后所得i、 j两个节点对之间的权重， 图注意力网络中 所提出的方法称为图注意力机制； Wk为图注意力网络中的权重， K代表采用multi-head个 数。

39、； Ni代表中心节点i的邻居节点数量； 为激活函数。 0119 上述三步可以直接使用判别器训练优化时所给出的两元组数据。 0120 4)计算损失函数： 0121 生成器的损失函数由以下两部分构成： 0122 0123 M代表着生成器的输出， A以及X代表着噪声的拓扑信息以及属性信息。 0124 5)生成器优化： 0125 通过梯度下降的方法进行生成器的优化， 如下公式所示： 0126 0127 6)编码器损失函数： 0128 编码器的损失函数为： 0129 LEEdist(X|A),(X|A) (9) 说明书 8/9 页 11 CN 111340187 A 11 0130 7)编码器优化： 0。

40、131 通过梯度下降的方法进行编码器的优化， 如下公式所示： 0132 0133 通过优化后判别器给出的结果进行生成器以及编码器的优化， 最终得到鲁棒性较 好以及能够完整保存的原始网络信息的低维表达， 并将其输入到编写好的链接预测函数 中。 至此完成基于对抗注意力机制的链接预测任务。 0134 链接预测任务 0135 模型设定： 0136 编码器： 两层图注意力网络， 第一层multi-head个数为8， 第二层multi-head个数 为1。 0137 Learning_rate0.008,dropout0.8,batch_size1,nb_epoch10000 0138 生成器： 三层全连。

41、接网络。 0139 判别器： 三层全连接网络。 Discriminator_learning_rate0.0095. 0140 在相同条件下， 对现有技术 Adversarially Regularized Graph Autoencoder for Graph Embedding (ARGA)和本申请分别在三个数据集上进行对比， 得到的对比实验结 果如下表： 0141 0142 经测试， 在相同条件下， 本申请中链接预测结果： AUC系数增长4.53， AP系数增长 3.19。 0143 上述实施例中数据的收集以及处理包括公式的计算是本领域的相关人员应该掌 握的。 0144 本发明未述及之处适用于现有技术。 说明书 9/9 页 12 CN 111340187 A 12 图1 说明书附图 1/1 页 13 CN 111340187 A 13 。