基于正则流自动编码器的联合嵌入模型的构建方法.pdf

《基于正则流自动编码器的联合嵌入模型的构建方法.pdf》由会员分享，可在线阅读，更多相关《基于正则流自动编码器的联合嵌入模型的构建方法.pdf（18页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201911222165.2 (22)申请日 2019.12.03 (71)申请人 中山大学 地址 510275 广东省广州市海珠区新港西 路135号 (72)发明人 梁上松欧阳卓 (74)专利代理机构 广州粤高专利商标代理有限 公司 44102 代理人 王晓玲 (51)Int.Cl. G06F 30/20(2020.01) G06F 17/18(2006.01) (54)发明名称 一种基于正则流自动编码器的联合嵌入模 型的构建方法 (57)摘要 本发明属于机器学习、 人工智能技。

2、术领域， 更具体地， 涉及一种基于正则流自动编码器的联 合嵌入模型的构建方法。 本发明的目的， 就是创 造一个新的属性网络低维嵌入的模型， 这个模型 不仅解决了现有技术的缺点， 同时在性能上比前 人的工作都要好。 为此， 本发明提出了F-CAN， 一 种基于正则流的联合嵌入模型。 与以往的算法不 同， 该模型虽然也以属性网络的拓扑结构以及属 性信息作为输入， 但不仅仅输出节点的低维表 达， 同时输出属性的低维表达， 而且两者都处于 同一个空间内。 另外， 针对联合嵌入模型中关于 后验概率假设过于简单的问题， 本文提出了双正 则流的方法， 增加了模型的参数， 使得后验概率 假设更容易拟合现实后验。

3、概率， 从而获得更好的 性能。 权利要求书4页 说明书13页 CN 111159845 A 2020.05.15 CN 111159845 A 1.一种基于正则流自动编码器的联合嵌入模型的构建方法， 其特征在于， 包括以下步 骤： S1.定义符号与目标： 假设网络中节点和属性的数目分别为N和F， 那么一个属性网络可 以通过两个矩阵来表示： 邻接矩阵以及属性矩阵其中A的每一行代表 对应节点的出度， B的每一行代表对应节点所具有的属性； 于是目标就是希望通过所建立的 模型来学习到这个网络在低维下的表达： 节点嵌入矩阵以及属性嵌入矩阵 其中D代表低维空间的维数； N的每一行代表对应节点在低维空间下 。

4、的表示， V的每一行代表对应属性在低维空间下的表示； S2.建立联合嵌入模型； S21.为了获得较好的N和V， 希望它们与已观测到的A和B的联合分布p(A， B， N， V)的边缘 分布p(A， B)最大： obj： maxp(A， B)， 其中 是概率分布参数； 使用对数边缘分布作为目 标： obj： maxlog p(A， B)； S22.分解log p(A， B)： 其中q代表假设后验概率， 为后验概率分布参数， 为期望， DKL为KL距离； S23.由KL距离的性质可知， KL距离非负， 且值为0当且仅当q等于p， 于是转而优化下界 下界可以重写为： 权利要求书 1/4 页 2 CN 。

5、111159845 A 2 其中假设q和p都是平均场分布： S24.最终优化的目标， 也即损失函数为： 2.根据权利要求1所述的基于正则流自动编码器的联合嵌入模型的构建方法， 其特征 在于， 使用双正则流的方法， 增加模型的参数； 包括以下步骤： S31.首先将损失函数中后两个KL项具体写为： S32.使用正则流改变概率分布的方法， 即使用一系列光滑可逆的函数改变概率分布的 方法； 根据随机变量的变换规则： 权利要求书 2/4 页 3 CN 111159845 A 3 其中|代表行列式； 于是改变后的对数后验概率为： 3.根据权利要求2所述的基于正则流自动编码器的联合嵌入模型的构建方法， 其特。

6、征 在于， 采用的正则流为逆自回归流的方法； 具体包括以下步骤： S41.逆自回归性质是对于一个D维向量a， 如果其逆自回归于b， b也是D维向量， 那么满 足： 也就是说， a的第i个分量只与b的前i-1个分量有关系， 于是a对b的雅克比矩阵是一个 主对角线为0的下三角矩阵， 它的雅克比行列式为0： S42.逆自回归流的每个函数都对后验概率随机变量做以下变换： 其中和都逆自回归于 为对应元素相乘， 于是有： S43.另外， 假设后验概率为高斯分布： 其中的均值和方差需要通过学习获得； 另外假设先验分布为标准正态分布： S44.最终的优化目标为： 权利要求书 3/4 页 4 CN 111159。

7、845 A 4 其中 4.根据权利要求3所述的基于正则流自动编码器的联合嵌入模型的构建方法， 其特征 在于， 采用随机梯度下降方法来优化目标函数。 权利要求书 4/4 页 5 CN 111159845 A 5 一种基于正则流自动编码器的联合嵌入模型的构建方法 技术领域 0001 本发明属于机器学习、 人工智能技术领域， 更具体地， 涉及一种基于正则 流自动 编码器的联合嵌入模型的构建方法。 背景技术 0002 属性网络作为一种最重要的网络， 在许多领域都随处可见， 例如近年来迅 速发展 的在线社交网络， 电商平台的用户网络， 以及学术领域的网络等等， 都 可以抽象为属性网 络。 在这些网络上进。

8、行数据挖掘之后， 能够进行商品推荐、 用户画像、 社群发现等一系列具 有商业价值的应用。 而如何表示网络则对数据 挖掘任务至关重要。 0003 为了解决上述问题， 目前提出了一些属性网络嵌入算法， 包括标记感知嵌 入、 加 速属性网络嵌入、 半监督属性网络嵌入等等。 这些算法利用了网络的拓 扑结构以及节点的 属性信息， 学习出该网络下每个节点的低维嵌入。 一旦每个 节点的低维空间下的表达都能 学习出来， 那么节点之间的相似性计算将会相当 容易， 我们只需要计算其内积， 又或者是 余弦相似性。 我们知道内积又或者余 弦值的计算与维数有关， 因此无论是从结构性以及计 算方便性， 低维嵌入都是 属性。

9、网络挖掘中必不可少的一步。 0004 然而， 上述现有技术拥有许多缺点。 首先， 不确定性是嵌入的固有属性， 但是大多 数属性网络嵌入算法在学习低维表达的时候并没有把不确定性考虑进 去， 导致学习出来 的低维表达质量较差， 节点间的相似性并没有充分的学习到。 第二， 节点与属性之间的相 似性几乎不可能去衡量。 因为上述方法仅仅学习到 节点的低维表达， 却没有学习到属性的 表达， 因此它们之间的相似性不能通过 简单的内积来计算出来。 但是节点与属性之间的相 似性对许多机器学习任务来 说都是至关重要的， 例如在推荐系统中， 我们需要衡量用户与 商品之间的相似 性以实现推荐功能； 可以通过衡量用户与。

10、某个属性之间的相似性以实现 属性推 断以及用户画像， 等等。 发明内容 0005 本发明为克服上述现有技术中的缺陷， 提供一种基于正则流自动编码器的 联合 嵌入模型的构建方法， 不仅仅输出节点的低维表达， 同时输出属性的低维 表达， 而且两者 都处于同一个空间内。 0006 本发明的另一个目标是： 针对联合嵌入模型中关于后验概率假设过于简单 的问 题， 提出了双正则流的方法， 增加了模型的参数， 使得后验概率假设更容 易拟合现实后验 概率， 从而获得更好的性能。 0007 为解决上述技术问题， 本发明采用的技术方案是： 一种基于正则流自动编 码器的 联合嵌入模型的构建方法， 包括以下步骤： 0。

11、008 S1.定义符号与目标： 假设网络中节点和属性的数目分别为N和F， 那么 一个属性 网络可以通过两个矩阵来表示： 邻接矩阵以及属性矩阵 其中A的每 一行代表对应节点的出度， B的每一行代表对应节点所具 有的属性； 于是目标就是希望通 说明书 1/13 页 6 CN 111159845 A 6 过所建立的模型来学习到这个网络在低维 下的表达： 节点嵌入矩阵以及属性 嵌入矩阵其中D代表低维空间的维数； N的每一行代表对应节点在低 维空间下的表示， V的 每一行代表对应属性在低维空间下的表示； 注意， 上面提到的低维空 间是同一 个空间， 这也就是节点和属性之间的相似性能通过内积来进行计算的原。

12、因。 0009 S2.建立联合嵌入模型； 0010 S21.为了获得较好的N和V， 希望它们与已观测到的A和B的联合分布 p(A， B， N， V) 的边缘分布p(A， B)最大： obj： maxp(A， B)， 其中 是概率分 布参数； 使用对数边缘分布 作为目标： obj： maxlog p(A， B)； 0011 S22.分解log p(A， B)： 0012 0013 0014其中q代表假设后验概率， 为后验概率分布参数， 为期望， DKL为KL 距离； 0015 S23.由KL距离的性质可知， KL距离非负， 且值为0当且仅当q等于p， 于是转而优 化下界下界可以重写为： 说明书 。

13、2/13 页 7 CN 111159845 A 7 0016 0017 其中假设q和p都是平均场分布： 0018 0019 0020 S24.最终优化的目标， 也即损失函数为： 0021 0022 进一步的， 使用双正则流的方法， 增加模型的参数； 包括以下步骤： 0023 S31.首先将损失函数中后两个KL项具体写为： 0024 0025 S32.由上可知KL距离非负， 且值为0当且仅当q等于p。 然而实际上q永 远不可 能等于真实的后验概率p。 但我们可以让q更加接近p， 从而达到优化 的效果， 本发明使用 正则流的方法。 使用正则流改变概率分布的方法， 即使用 一系列光滑可逆的函数改变概。

14、率 分布的方法； 根据随机变量的变换规则： 说明书 3/13 页 8 CN 111159845 A 8 0026 0027 其中|代表行列式； 于是改变后的对数后验概率为： 0028 0029 0030 其中上标带(T)代表这是经过T个函数处理后的后验概率分布， 上标为(0) 代表初 始的假设后验概率。 由上式可知需要求的只有等式右边的第二项雅 克比矩阵的行列 式。 正则流方法要求仔细选取T个函数满足雅克比矩阵的行列 式比较简单， 容易算出来。 0031 进一步的， 本发明采用的正则流为逆自回归流的方法； 具体包括以下步骤： 0032 S41.逆自回归流是函数满足逆自回归的性质的流； 逆自回归。

15、性质是对于一 个D维 向量a， 如果其逆自回归于b， b也是D维向量， 那么满足： 0033 0034 也就是说， a的第i个分量只与b的前i-1个分量有关系， 于是a对b的雅 克比矩阵是 一个主对角线为0的下三角矩阵， 它的雅克比行列式为0： 0035 0036 S42.逆自回归流的每个函数都对后验概率随机变量做以下变换： 0037 0038其中和都逆自回归于 为对应元素相乘， 于是有： 0039 0040 S43.另外， 假设后验概率为高斯分布： 0041 0042 说明书 4/13 页 9 CN 111159845 A 9 0043 其中的均值和方差需要通过学习获得； 另外假设先验分布为。

16、标准正态分布： 0044 0045 0046 S44.最终的优化目标为： 0047 0048其中 0049 进一步的， 可以采用随机梯度下降方法来优化目标函数。 0050 与现有技术相比， 有益效果是： 0051 1.本发明采用联合嵌入的思想， 打破了以往专注于生成节点低维表达而忽 视了 属性低维表达的思维局限， 使得节点与属性之间的关系更容易捕捉到； 0052 2.针对联合嵌入模型中关于后验概率假设过于简单的问题， 本文提出了双 正则 流的方法， 增加了模型的参数， 使得后验概率假设更容易拟合现实后验概 率， 从而获得更 好的性能。 具体实施方式 0053 实施例1： 0054 0055 一。

17、种基于正则流自动编码器的联合嵌入模型的构建方法， 包括以下步骤： 0056 步骤1.定义符号与目标： 假设网络中节点和属性的数目分别为N和F， 那 么一个属 性网络可以通过两个矩阵来表示： 邻接矩阵以及属性矩阵 其中A的 每一行代表对应节点的出度， B的每一行代表对应节点所具 有的属性； 于是目标就是希望 通过所建立的模型来学习到这个网络在低维 下的表达： 节点嵌入矩阵以及属 性嵌入矩阵其中D代表低维空间的维数； N的每一行代表对应节点在 低维空间下的表示， V的 每一行代表对应属性在低维空间下的表示； 注意， 上面提到的低维 空间是同一 个空间， 这也就是节点和属性之间的相似性能通过内积来进。

18、行计算的原因。 0057 步骤2.建立联合嵌入模型； 0058 S21.为了获得较好的N和V， 希望它们与已观测到的A和B的联合分布 p(A， B， N， V) 的边缘分布p(A， B)最大： obj： max p(A， B)， 其中 是概率分 布参数； 使用对数边缘分布 说明书 5/13 页 10 CN 111159845 A 10 作为目标： obj： max log p(A， B)； 0059 S22.分解log p(A， B)： 0060 0061 0062其中q代表假设后验概率， 为后验概率分布参数，为期望， DKL为KL 距离； 0063 S23.由KL距离的性质可知， KL距离非。

19、负， 且值为0当且仅当q等于p， 于是转而优 化下界下界可以重写为： 0064 0065 其中假设q和p都是平均场分布： 0066 说明书 6/13 页 11 CN 111159845 A 11 0067 0068 S24.最终优化的目标， 也即损失函数为： 0069 0070 步骤3， 使用双正则流的方法， 增加模型的参数； 包括以下步骤： 0071 S31.首先将损失函数中后两个KL项具体写为： 0072 0073 S32.由上可知KL距离非负， 且值为0当且仅当q等于p。 然而实际上q永 远不可 能等于真实的后验概率p。 但我们可以让q更加接近p， 从而达到优化 的效果， 本发明使用 正。

20、则流的方法。 使用正则流改变概率分布的方法， 即使用 一系列光滑可逆的函数改变概率 分布的方法； 根据随机变量的变换规则： 0074 0075 其中|代表行列式； 于是改变后的对数后验概率为： 0076 0077 0078 其中上标带(T)代表这是经过T个函数处理后的后验概率分布， 上标为(0) 代表初 始的假设后验概率。 由上式可知需要求的只有等式右边的第二项雅 克比矩阵的行列 式。 正则流方法要求仔细选取T个函数满足雅克比矩阵的行列 式比较简单， 容易算出来。 0079 在本实施例中， 采用的正则流为逆自回归流的方法； 具体包括以下步骤： 0080 S41.逆自回归流是函数满足逆自回归的性。

21、质的流； 逆自回归性质是对于一 个D维 向量a， 如果其逆自回归于b， b也是D维向量， 那么满足： 0081 0082 也就是说， a的第i个分量只与b的前i-1个分量有关系， 于是a对b的雅 克比矩阵是 说明书 7/13 页 12 CN 111159845 A 12 一个主对角线为0的下三角矩阵， 它的雅克比行列式为0： 0083 0084 S42.逆自回归流的每个函数都对后验概率随机变量做以下变换： 0085 0086其中和都逆自回归于 为对应元素相乘， 于是有： 0087 0088 S43.另外， 假设后验概率为高斯分布： 0089 0090 0091 其中的均值和方差需要通过学习获得。

22、； 另外假设先验分布为标准正态分布： 0092 0093 0094 S44.最终的优化目标为： 0095 0096其中其中可以采用随机梯度下降方法来优化 目标 函数。 0097 本发明构建的模型提升了低维嵌入的质量， 具体可以从实验结果看出： 说明书 8/13 页 13 CN 111159845 A 13 0098 链路预测： 0099 0100 节点分类： 0101 0102 属性推断： 0103 0104 表格中， 最下方的F-CAN是本发明产生的低维表达在三种不同网络挖掘任 务的效 果。 从以上表格中可以看出， 对比目前最新方法， 本发明在三种任务上 都能取得最优效果。 这说明本发明的模。

23、型能学习到更好的低维表达。 说明书 9/13 页 14 CN 111159845 A 14 0105 用户画像 0106 0107 可以看出， 使用本发明的模型生成的低维表达， 不仅能够准确地指出作者 曾在哪 个会议投过稿， 而且能够预测作者将会在哪个会议投稿。 0108 实施例2 0109 本实施例提供针对本发明的模型搭建神经网络； 包括以下步骤： 0110 首先： 0111 0112 0113 0114 0115其中ReLU为激活函数，为对称正规化邻接矩阵， D为度矩阵。 0116 Htanh(BTW0+b0) 0117 说明书 10/13 页 15 CN 111159845 A 15 0。

24、118 0119 hvHW3+b3 0120 其中tanh为激活函数， W， b分别是神经网络的权值矩阵和偏置。 注意上 述两个H和 W是不一样的， 这里仅仅为了简洁而进行了省略。 0121 随后进行采样： 0122 0123 0124 对正则流的每个函数， 我们这样实现： 0125 H1elu(Z(t-1)(M W0)+b0)+hZ 0126 H2elu(H1(M W1)+b1) 0127 0128 0129 0130 0131 其中ELU， sigmoid为激活函数。 M和后面矩阵进行对应元素相乘， 使得后 面矩阵只 保留右上三角部分。 M 则不保留主对角线元素。 s取值为1和2.最后 一。

25、个式子的 “1” 为对矩 阵按行求和运算。 这一部分对应技术方案里的逆自回归 流。 0132 为了计算重构后的误差， 重构部分实现如下： 0133 0134 0135其中 0136 重构之后， 损失函数的计算为： 说明书 11/13 页 16 CN 111159845 A 16 0137 0138 此外， 术语 “第一” 、“第二” 仅用于描述目的， 而不能理解为指示或暗示相 对重要 性或者隐含指明所指示的技术特征的数量。 由此， 限定有 “第一” 、“第二” 的特征可以明示 或者隐含地包括至少一个该特征。 在本发明的描述中，“多个” 的含义是至少两个， 例如两 个、 三个等， 除非另有明确具。

26、体的限定。 0139 0140 在本发明中， 除非另有明确的规定和限定， 术语 “安装” 、“相连” 、“连接” 、 “固定” 等术语应做广义理解， 例如， 可以是固定连接， 也可以是可拆卸连接， 或成一体； 可以是机 械连接， 也可以是电连接； 可以是直接相连， 也可以通过 中间媒介间接相连， 可以是两个元 件内部的连通或两个元件的相互作用关系， 除非另有明确的限定。 对于本领域的普通技术 人员而言， 可以根据具体情况理 解上述术语在本发明中的具体含义。 0141 在本发明中， 除非另有明确的规定和限定， 第一特征在第二特征 “上” 或 “下” 可以 是第一和第二特征直接接触， 或第一和第二。

27、特征通过中间媒介间接 接触。 而且， 第一特征 在第二特征 “之上” 、“上方” 和 “上面” 可是第一特征 在第二特征正上方或斜上方， 或仅仅表 示第一特征水平高度高于第二特征。 第 一特征在第二特征 “之下” 、“下方” 和 “下面” 可以是 第一特征在第二特征正 下方或斜下方， 或仅仅表示第一特征水平高度小于第二特征。 0142 在本说明书的描述中， 参考术语 “一个实施例” 、“一些实施例” 、“示例” 、 “具体示 例” 、 或 “一些示例” 等的描述意指结合该实施例或示例描述的具体特 征、 结构、 材料或者特 点包含于本发明的至少一个实施例或示例中。 在本说明 书中， 对上述术语的。

28、示意性表述不 必须针对的是相同的实施例或示例。 而且， 描述的具体特征、 结构、 材料或者特点可以在任 一个或多个实施例或示例中以 合适的方式结合。 此外， 在不相互矛盾的情况下， 本领域的 技术人员可以将本 说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行 结合和 组合。 说明书 12/13 页 17 CN 111159845 A 17 0143 尽管上面已经示出和描述了本发明的实施例， 可以理解的是， 上述实施例 是示例 性的， 不能理解为对本发明的限制， 本领域的普通技术人员在本发明的 范围内可以对上述 实施例进行变化、 修改、 替换和变型。 0144 显然， 本发明的上述实施例仅仅是为清楚地说明本发明所作的举例， 而并 非是对 本发明的实施方式的限定。 对于所属领域的普通技术人员来说， 在上述 说明的基础上还可 以做出其它不同形式的变化或变动。 这里无需也无法对所有 的实施方式予以穷举。 凡在本 发明的精神和原则之内所作的任何修改、 等同替 换和改进等， 均应包含在本发明权利要求 的保护范围之内。 说明书 13/13 页 18 CN 111159845 A 18 。