用户时序行为自动切分预测方法.pdf

《用户时序行为自动切分预测方法.pdf》由会员分享，可在线阅读，更多相关《用户时序行为自动切分预测方法.pdf（15页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910279004.0 (22)申请日 2019.04.09 (71)申请人 华东师范大学 地址 200062 上海市普陀区中山北路3663 号 (72)发明人 张伟梁文伟 (74)专利代理机构 上海麦其知识产权代理事务 所(普通合伙) 31257 代理人 董红曼 (51)Int.Cl. G06F 17/50(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06Q 10/04(2012.01) G06Q 50/00(2012.。

2、01) (54)发明名称 一种用户时序行为自动切分预测方法 (57)摘要 基于短会话的推荐在推荐系统中一直是个 热点问题。 基于短会话的推荐意思是根据用户在 一小段时间窗口内的连续行为对用户未来进行 预测。 传统的方法通常根据固定大小的时间窗 口， 将用户的时序行为划分成多个短会话， 这样 的划分方式存在着1)时间窗口过大则短会话中 包含过多用户行为， 过小则短会话无法覆盖完整 的用户阶段行为； 2)很难设置一个对所有用户行 为都适合的时间窗口等问题。 因此， 本发明提供 了一种基于深度序列强化学习的用户时序行为 自动切分预测方法， 无需人为的对用户序列进行 划分， 有效的解决上述缺陷。 权利。

3、要求书4页 说明书8页 附图2页 CN 110110372 A 2019.08.09 CN 110110372 A 1.一种基于层次循环神经网路和强化学习的用户时序行为自动切分预测方法， 其特征 在于， 所述方法包括如下步骤： 步骤一： 选取数据集， 对数据进行预处理后切分数据为训练集、 验证集和测试集； 步骤二： 把用户和时序行为用高维的独热编码表示， 利用嵌入技术转化成低维的稠密 向量作为模型的输入； 步骤三： 对时序数据利用层次循环神经网络进行建模， 利用策略网络生成每个时间步 的动作指导是否对序列进行切分， 继而利用分类网络完成对序列下一时间步行为的预测； 步骤四： 训练模型参数， 利。

4、用训练样本， 根据不同目标函数阶段性的优化网络模型的参 数， 并利用验证集对模型参数进行调优； 步骤五： 利用基于层次循环神经网络和强化学习的网络模型预测测试集中的用户下一 可能行为。 2.根据权利要求1所述的基于层次循环神经网路和强化学习的用户时序行为自动切分 预测方法， 其特征在于， 所述的用户时序行为包括用户签到行为、 用户购买商品行为、 用户 点击网页行为、 用户收听音乐行为， 俱为本领域普遍采用的行为数据。 3.根据权利要求1所述的基于层次循环神经网路和强化学习的用户时序行为自动切分 预测方法， 其特征在于， 所述步骤一中， 所述数据集包括： Gowalla数据集、 Foursqua。

5、re数据 集、 Amazon数据集中的一个或多个数据集， 俱为本领域普遍采用的公开行为数据集。 4.根据权利要求1所述的基于层次循环神经网路和强化学习的用户时序行为自动切分 预测方法， 其特征在于， 所述步骤一中， 所述的对数据进行预处理包括以下步骤： a1.按用户将行为序列数据按时间戳由远及近地排序； a2.对其中不频繁的数据进行过滤操作； a3.选择一个时间窗口， 将以此为切分依据的序列切分方式记录下来作为策略网络的 初始策略 0。 5.根据权利要求1所述的基于层次循环神经网路和强化学习的用户时序行为自动切分 预测方法， 其特征在于， 所述的步骤一中， 切分数据为训练集， 验证集和测试集为。

6、： 对每个用 户， 将时序数据的最后一个地点作为测试集， 时序数据的倒数第二个作为验证集， 其余均作 为训练集。 6.根据权利要求1所述的基于层次循环神经网路和强化学习的用户时序行为自动切分 预测方法， 其特征在于， 所述的步骤二中， 所述得到模型的输入包括以下步骤： b1.数据编码化： 记共有N个用户和M个地点， 采用独热编码， 即用N维稀疏向量表示用户 集合， 用户独特的特征维度记为1， 其余全为0， 同理应用于地点； b2.数据嵌入化： 利用嵌入技术将N维用户向量映射到另一个低维的数值向量空间， 作 为之后模型的输入， 记变换后的用户向量集合表示为Uu1， u2， .， uN， 地点向量。

7、集合表 示为Pp1， p2， .， pM。 7.根据权利要求1所述的基于层次循环神经网路和强化学习的用户时序行为自动切分 预测方法， 其特征在于， 所述的步骤三中， 循环神经网络是指但不限于门控循环单元网络， 使用长短期记忆网络替换亦可， 以时间步t为例， 记xt为时间步t时的输入， 其具体计算过程 包括以下步骤： c1.计算更新门zt： 权利要求书 1/4 页 2 CN 110110372 A 2 zt (Wzht-1， xt+bz)， c2计算重置门rt： rt (Wrht-1， xt+br)， c3.计算隐藏记忆状态 c4.计算隐藏状态ht： 其中， 为sigmoid函数，表示哈达玛积，。

8、 表示向量的拼接， *表示矩阵乘法， Wz， Wr， bz， br， bh都是模型可学习的参数。 8.根据权利要求1所述的基于层次循环神经网路和强化学习的用户时序行为自动切分 预测方法， 其特征在于， 所述的步骤三中， 利用层次循环神经网络对时序数据进行建模， 以 用户表示uk为例， 包括如下步骤： d1.序列级别循环神经网络： d11.输入序列长度为L的地点序列， 记为 d12 .经过权利要求6中的循环神经网络计算 ， 得到每个时间步的输出 ， 记为 d2.会话级别循环神经网络： d21.按照切分策略 ， 从序列级别循环神经网络输出选择切分时间步对应的结果， 作为 会话级别循环神经网络的输入。

9、， 长度为| |， 记为 d22.经过权利要求6中的循环神经网络计算， 得到会话级别循环神经网络的输出， 记为 d3.根据时间步展开输出： 由长度为| |的输出根据切分策略 ， 展开为 长度为L的输出。 9.根据权利要求1所述的基于层次循环神经网路和强化学习的用户时序行为自动切分 预测方法， 其特征在于， 所述的步骤三中， 利用策略网络生成每个时间步的动作， 以在时间 步t时生成的动作at举例， 包括如下步骤： e1.定义状态函数st： 其中表示向量的拼接，和分别为循环神经网络在序列级别和会话级别在时间 步t时的输出； e2.定义动作空间at： at1， 0， 其中1表示当前行为属于当前的会话。

10、， 0则表示不属于当前的会话； e3.定义策略函数 ： (at|st； ) (W*st+b)， 其中W， b为策略网络的参数； 在训练过程中， 动作at的取值由策略 概率值采样所得， 在测试时， 动作a取决于 权利要求书 2/4 页 3 CN 110110372 A 3 10.根据权利要求1所述的基于层次循环神经网路和强化学习的用户时序行为自动切 分预测方法， 其特征在于， 所述的步骤三中， 利用分类网络预测序列下一时间步的行为， 以 时间步t预测时间步t+1举例， 包括以下步骤： f1.拼接用户表示和层次循环神经网络的输出之和： f2.在其上添加全连接层： 其中Wo， bo是分类网络的参数，。

11、 其维度与地点数目一致为M，表示预测的用户在时间 步t+1去到的地点， 用M维稀疏独热编码表示。 11.根据权利要求1所述的基于层次循环神经网路和强化学习的用户时序行为自动切 分预测方法， 其特征在于， 所述的步骤四中， 根据不同的目标函数， 包括以下步骤： g1.当整个策略网络完成对序列动作的生成， 定义整个序列策略网络的延迟奖励函数 为： 其中yt是输入XL在时间步t真实的地点标记， 用独热编码表示， L 表示序列中会话的数 目， 为衡量两部分奖励的超参数， Q是某一常数； g2.定义策略网络中一条序列的梯度更新公式为： 其中 是策略网络中的参数； g3.定义交叉熵函数为训练分类网络的目标。

12、函数： 其中代表分类网络中所有的参数， 是权衡两部分损失的超参数。 12.根据权利要求11所述的基于层次循环神经网路和强化学习的用户时序行为自动切 分预测方法， 其特征在于， 所述的步骤四中， 阶段性的训练网络模型的参数， 包括以下步骤： h1.预训练分类网络： 应用初始策略 0和训练样本， 利用反向传播， 以步骤g3所述的函数 为最小化目标， 更新分类网络中的参数； h2.预训练策略网络： 保持分类网络中的参数不变， 通过更新步骤g2所述的梯度更新公 式， 训练策略网络的参数； h3.联合训练： 联合训练整个网络中的参数， 直到损失收敛。 13.根据权利要求1所述的基于层次循环神经网路和强化。

13、学习的用户时序行为自动切 分预测方法， 其特征在于， 所述的步骤五中， 利用基于层次循环神经网络和强化学习的网络 模型预测测试集中的用户下一可能行为， 包括以下步骤： i1.拼接用户表示和层次循环神经网络最后一时间步的输出之和： 权利要求书 3/4 页 4 CN 110110372 A 4 i2.添加全连接层预测目标： 其中为预测的地点分布， 用M维稀疏独热编码表示， Wo， bo是分类网络的参数。 权利要求书 4/4 页 5 CN 110110372 A 5 一种用户时序行为自动切分预测方法 技术领域 0001 本发明涉及计算机科学技术领域， 具体涉及是一种基于层次循环神经网络和强化 学习的。

14、用户时序行为自动切分预测方法。 背景技术 0002 基于短会话的推荐在机器学习和推荐系统领域中一直是个热点问题。 基于短会话 的推荐意思是根据用户在一小段时间窗口内的连续行为对用户未来进行预测。 例如， 用户 一天中在某社交网络应用上签到5个地点； 用户在登录某电子商务网站的一段时间内点击 了8个商品等。 传统的方法是通过循环神经网络对这样的短会话进行建模的。 0003 然而， 传统的方法通常根据固定大小的时间窗口， 将用户完整的时序行为划分成 多个短会话， 这样的划分方式存在着1)对一个用户而言， 时间窗口设置过大则短会话中可 能包含多段互对独立的用户行为， 与此相对， 时间窗口设置过小则短。

15、会话无法覆盖一个完 整的用户阶段行为； 2)很难设置一个对所有用户行为都适合的时间窗口等问题。 因此， 本发 明提供了一种基于层次循环神经网路和强化学习的用户时序行为自动切分预测方法， 无需 人为的对用户序列进行划分， 有效的解决上述缺陷。 发明内容 0004 本发明首次创新提供了一种基于层次循环神经网络和强化学习的用户时序行为 自动切分预测方法， 其核心在于利用策略网络学习对用户时序数据的切分， 并利用层次循 环神经网络对划分的会话进行建模， 对未来用户的行为进行预测。 经检索， 尚未见有任何与 本发明相关的现有技术或报道。 本发明采用层次循环神经网络对用户时序序列进行建模， 考虑了不同层级。

16、的用户行为表示， 能够有效地提取出重要的序列信息。 0005 本发明提出的基于层次循环神经网络和强化学习的用户时序行为自动切分预测 方法， 包括以下步骤： 0006 步骤一： 选取数据集， 对数据进行预处理后切分数据为训练集、 验证集和测试集； 0007 步骤二： 把用户和时序行为用高维的独热编码表示， 利用嵌入技术转化成低维的 稠密向量作为模型的输入； 0008 步骤三： 对时序数据利用层次循环神经网络进行建模， 利用策略网络生成每个时 间步的动作指导是否对序列进行切分， 继而利用分类网络完成对序列下一时间步行为的预 测； 0009 步骤四： 训练模型参数， 利用训练样本， 根据不同目标函数。

17、阶段性的优化网络模型 的参数， 并利用验证集对模型参数进行调优； 0010 步骤五： 利用基于层次循环神经网络和强化学习的网络模型预测测试集中的用户 下一可能行为。 0011 本发明中， 所述的用户时序行为包括用户签到行为、 用户购买商品行为、 用户点击 网页行为、 用户收听音乐行为， 俱为本领域普遍采用的行为数据。 说明书 1/8 页 6 CN 110110372 A 6 0012 本发明中， 所述的数据集包括： Gowalla数据集、 Foursquare数据集、 Amazon数据集 中的一个或多个数据集， 俱为本领域普遍采用的公开行为数据集。 0013 所述步骤一中， 对数据进行预处理包。

18、括以下步骤： 0014 a1.按用户将行为序列数据按时间戳由远及近地排序； 0015 a2.对其中不频繁的数据进行过滤操作， 删除发生少于10次行为的用户， 删除发生 少于5次用户行为的物品； 0016 a3.选择一个时间窗口， 将以此为切分依据的序列切分方式记录下来作为策略网 络的初始策略 0。 0017 所述步骤一中， 切分数据为训练集， 验证集和测试集是指对每个用户， 将时序数据 的最后一个地点作为测试集， 时序数据的倒数第二个作为验证集， 其余均视为训练集。 0018 所述步骤二中， 得到模型的输入包括以下步骤： 0019 b1.数据编码化： 记共有N个用户和M个地点， 采用独热编码，。

19、 即用N维稀疏向量表示 用户集合， 用户独特的特征维度记为1， 其余全为0， 同理应用于地点； 0020 b2.数据嵌入化： 利用嵌入技术将N维用户向量映射到另一个低维的数值向量空 间， 作为之后模型的输入， 记变换后的用户向量集合表示为Uu1,u2,uN， 地点向量集 合表示为Pp1,p2,pM。 0021 所述的步骤三中， 循环神经网络是指但不限于门控循环单元网络， 使用长短期记 忆网络替换亦可， 以时间步t为例， 记xt为时间步t时的输入， 其具体计算过程包括以下步 骤： 0022 c1.计算更新门zt： 0023 zt (Wzht-1,xt+bz), 0024 c2.计算重置门rt： 。

20、0025 rt (Wrht-1,xt+br), 0026c3.计算隐藏记忆状态 0027 0028 c4.计算隐藏状态ht： 0029 0030 其中， 为sigmoid函数，表示哈达玛积， 表示向量的拼接， *表示矩阵乘法， 都是模型可学习的参数。 0031 所述步骤三中， 利用层次循环神经网络对时序数据进行建模， 以用户表示uk为例， 包括如下步骤： 0032 d1.序列级别循环神经网络： 0033d11.输入序列长度为L的地点序列， 记为 0034d12.经过循环神经网络计算得到序列级别每个时间步的输 出， 记为 0035 d2.会话级别循环神经网络： 说明书 2/8 页 7 CN 11。

21、0110372 A 7 0036 d21.按照切分策略 ， 从序列级别循环神经网络输出选择切分时间步对应的结果， 作为会话级别循环神经网络的输入， 长度为| |， 记为 0037d22.经过循环神经网络计算得到会话级别循环神经网络的 输出， 记为 0038d3.根据时间步展开输出： 由长度为| |的输出根据切分策略 ， 展 开为长度为L的输出。 0039 所述的步骤三中， 利用策略网络生成每个时间步的动作， 以在时间步t时生成的动 作at举例， 包括如下步骤： 0040 e1.定义状态函数st： 0041 0042其中表示向量的拼接，和分别为循环神经网络在序列级别和会话级别 在时间步t时的输出。

22、； 0043 e2.定义动作空间at： 0044 at1,0, 0045 其中1表示当前行为属于当前的会话， 0则表示不属于当前的会话； 0046 e3.定义策略函数 : 0047 (at|st； ) (W*st+b), 0048 其中W,b为策略网络的参数。 在训练过程中， 动作at的取值由策略 概率值采样所 得， 在测试时， 动作a取决于 0049 所述的步骤三中， 利用分类网络预测序列下一时间步的行为， 以时间步t预测时间 步t+1举例， 包括以下步骤： 0050 f1.拼接用户表示和层次循环神经网络的输出之和： 0051 0052 f2.在其上添加全连接层： 0053 0054其中Wo。

23、,bo是分类网络的参数， 其维度与地点数目一致为M，表示预测的用户在 时间步t+1去到的地点， 用独热编码表示。 0055 所述的步骤四中， 根据不同的目标函数， 包括以下步骤： 0056 g1.当整个策略网络完成对序列动作的生成， 整个序列的切分也就完成了， 首先定 义整个序列策略网络的延迟奖励函数为： 0057 0058 其中yt是输入XL在时间步t真实的地点标记， 用独热编码表示， L表示序列中会话 说明书 3/8 页 8 CN 110110372 A 8 的数目， 为衡量两部分奖励的超参数， Q是某一常数。 假定一段会话的长度适中， 因此提出 单峰函数f(x)x+Q/x， 其在时取到最。

24、小值人为的希望一段会话的长度 会比较好。 通过更换奖励函数的第二项能够对会话的长度提出不同限制； 0059 g2.定义策略网络中一条序列的梯度更新公式为： 0060 0061其中是策略网络中的参数； 0062 g3.定义交叉熵函数为训练分类网络的目标函数： 0063 0064 其中代表分类网络中所有的参数， 是权衡两部分损失的超参数。 0065 所述的步骤四中， 阶段性的训练网络模型的参数， 包括以下步骤： 0066 h1.预训练分类网络： 应用初始策略 0和训练样本， 利用反向传播， 以前述(3)中定 义的交叉熵损失函数函数为最小化目标， 更新分类网络中的参数； 0067 h2.预训练策略网。

25、络： 保持分类网络中的参数不变， 通过更新前述(2)中定义的梯 度更新公式， 训练策略网络中的参数； 0068 h3.联合训练： 联合训练整个网络中的参数， 直到损失收敛。 0069 所述的步骤五中， 利用基于层次循环神经网络和强化学习的网络模型预测测试集 中的用户下一可能行为， 包括以下步骤： 0070 i1.拼接用户表示和层次循环神经网络最后一时间步的输出之和： 0071 0072 i2.添加全连接层预测目标： 0073 0074其中为预测的地点分布， 用独热编码表示， Wo,bo是分类网络的参数。 0075 与现有技术相比， 本发明具有有益效果包括： 0076 (1)采用层次循环神经网络。

26、对用户时序序列进行建模， 考虑了不同层级的用户行 为表示， 能够有效地提取出重要的序列信息； 0077 (2)利用策略网络学习对用户时序数据的切分， 考虑序列前后之间的联系来合理 划分序列， 同时将各种约束考虑进奖励函数中； 0078 (3)有效的解决人为划分序列为短会话时存在的缺陷， 如无法提供一个适用于所 有用户的窗口大小的问题。 附图说明 0079 图1是本发明用户时序行为切分预测方法的流程示意图。 0080 图2是本发明一实施例中整个网络模型的框架图。 说明书 4/8 页 9 CN 110110372 A 9 具体实施方式 0081 结合以下具体实施例和附图， 对本发明作进一步的详细说。

27、明。 实施本发明的过程、 条件、 实验方法等， 除以下专门提及的内容之外， 均为本领域的普遍知识和公知常识， 本发 明没有特别限制内容。 应当指出的是， 对本领域的普通技术人员来说， 在不脱离本发明构思 的前提下， 还可以做出若干变形和改进。 这些都属于本发明的保护范围。 0082 本发明提供一种基于层次循环神经网路和强化学习的用户时序行为自动切分预 测方法， 流程图如图1所示， 该方法包括以下步骤： 0083 步骤一： 选取数据集， 对数据进行预处理后切分数据为训练集、 验证集和测试集； 0084 步骤二： 把用户和时序行为用高维的独热编码表示， 利用嵌入技术转化成低维的 稠密向量作为模型的。

28、输入； 0085 步骤三： 对时序数据利用层次循环神经网络进行建模， 利用策略网络生成每个时 间步的动作指导是否对序列进行切分， 继而利用分类网络完成对序列下一时间步行为的预 测； 0086 步骤四： 训练模型参数， 利用训练样本， 根据不同目标函数阶段性的优化网络模型 的参数， 并利用验证集对模型参数进行调优； 0087 步骤五： 利用基于层次循环神经网络和强化学习的网络模型预测测试集中的用户 下一可能行为。 0088 更细致的， 首先， 选取数据集， 以Gowalla数据集为例， 利用Python按如下步骤进行 处理： 0089 a1.按用户将地点序列数据按时间戳由远及近地排序； 0090。

29、 a2.对其中不频繁的数据进行过滤操作， 删除发生少于10次行为的用户， 删除发生 少于5次用户行为的物品； 0091 a3.选择一个时间窗口， 将以此为切分依据的序列切分方式记录下来作为策略网 络的初始策略 0； 0092 a4.对每个用户， 将时序数据的最后一个地点作为测试集， 时序数据的倒数第二个 作为验证集， 其余均视为训练集。 0093 通过调用Tensorflow和Python中的一些包， 完成模型的输入的处理， 包括以下步 骤： 0094 b1.数据编码化： 记共有N个用户和M个地点， 采用独热编码， 即用N维稀疏向量表示 用户集合， 用户独特的特征维度记为1， 其余全为0， 同。

30、理应用于地点； 0095 b2.数据嵌入化： 利用嵌入技术将N维用户向量映射到另一个低维的数值向量空 间， 作为之后模型的输入， 记变换后的用户向量集合表示为Uu1,u2,uN， 地点向量集 合表示为Pp1,p2,pM。 0096 接下来， 利用Tensorflow中的GRU模块和张量的变化， 完成对层次循环神经网络的 构建， 包括以下步骤： 0097 c1.序列级别循环神经网络： 0098c11.输入序列长度为L的地点序列， 记为 0099c12.经过循环神经网络计算得到序列级别每个时间步的输 说明书 5/8 页 10 CN 110110372 A 10 出， 记为 0100 c2.会话级别。

31、循环神经网络： 0101 c21.按照切分策略 ， 从序列级别循环神经网络输出选择切分时间步对应的结果， 作为会话级别循环神经网络的输入， 长度为| |， 记为 0102c22.经过循环神经网络计算得到会话级别循环神经网络的 输出， 记为 0103c3.根据时间步展开输出： 由长度为| |的输出根据切分策略 ， 展 开为长度为L的输出。 具体的， 后一会话阶段的输出由前一会话最终时间步的隐藏状态展开 得到， 首个会话的输出为全零向量。 0104 利用Tensorflow的内置函数构建策略网络， 并用其生成每个时间步的动作， 以在 时间步t时生成的动作at举例， 包括如下步骤： 0105 d1.。

32、计算状态函数st： 0106 0107其中表示向量的拼接，和分别为循环神经网络在序列级别和会话级别 在时间步t时的输出； 0108 d2.计算策略函数 : 0109 (at|st； ) (W*st+b), 0110 其中W,b为策略网络的参数。 在训练过程中， 动作at的取值由策略 概率值采样所 得， 在测试时， 动作a取决于 0111 利用Tensorflow中的全连接层等， 构建分类网络预测序列下一时间步的行为， 以 时间步t预测时间步t+1举例， 包括以下步骤： 0112 e1.拼接用户表示和层次循环神经网络的输出之和： 0113 0114 e2.在其上添加全连接层： 0115 0116。

33、其中Wo,bo是分类网络的参数， 其维度与地点数目一致为M，表示预测的用户在 时间步t+1去到的地点， 用独热编码表示。 0117 通过调用Tensorflow中的反向传播等优化函数， 根据不同的目标函数， 训练网络 模型的参数， 包括以下步骤： 0118 f1.预训练分类网络： 应用初始策略 0和训练样本， 利用反向传播， 以交叉熵函数 为训练分类网络的目标函数： 0119 说明书 6/8 页 11 CN 110110372 A 11 0120 其中代表分类网络中所有的参数， 是权衡两部分损失的超参数。 通过最小化上 式， 更新网络中的参数； 0121 f2.预训练策略网络： 保持分类网络中。

34、的参数不变， 整个序列策略网络的延迟奖励 函数为： 0122 0123 其中yt是输入XL在时间步t真实的地点标记， 用独热编码表示， L表示序列中会话 的数目， 为衡量两部分奖励的超参数， Q是某一常数。 在实践中可以设置Q100， 更换奖励 函数的第二项能够对会话的长度提出不同限制。 更新策略网络中一条序列的梯度更新公式 为： 0124 0125其中是策略网络中的参数， 以此训练策略网络； 0126 f3.联合训练： 联合训练整个网络中的参数， 直到损失收敛。 0127 利用分类网络中训练好的参数Wo,bo等， 预测测试集中的用户下一可能行为， 包括 以下步骤： 0128 g1.拼接用户表。

35、示和层次循环神经网络最后一时间步的输出之和： 0129 0130 g2.添加全连接层预测目标： 0131 0132其中为预测的地点分布， 用独热编码表示， Wo,bo是分类网络的参数。 0133 在实践中， 在模型层之间， 还可以选择性的包括以下步骤： 在模型训练期间， 采用 dropout网络和参数的二范数正则对参数进行限制， 防止产生过拟合的情况。 0134 本发明一实施例中整个网络模型的框架图， 如图2所示： 0135 h1.层次循环神经网络： 对用户的序列输入， 分别利用序列级别循环神经网络和会 话级别循环神经网络提取不同层次级别的序列信息表示； 0136 h2.策略网络： 接收用户表。

36、示和层次循环神经网络的输出， 利用全连接层计算整条 序列的延迟奖励， 利用梯度更新网络中的参数； 0137 h3.分类网络： 接收用户表示和层次循环神经网络的输出， 利用全连接层完成对用 户未来时间步的行为预测， 利用反向传播算法更新网络中的参数。 0138 本发明方法还可以适用于其他用户时序行为， 如用户购买商品序列、 用户收听音 乐序列， 其实施和本实施方式基本相同， 具体过程不再详细说明。 0139 本发明上述实施例中的参数是根据实验结果确定的， 即测试不同的参数组合， 选 取在验证集上评价指标较优的一组参数， 在测试集上评价得到结果。 在实际的测试中， 可根 据需求对上述参数进行适当调整也可实现本发明的目的。 0140 本发明的保护内容不局限于以上实施例。 在不背离本发明构思的精神和范围下， 本领域技术人员能够想到的变化和优点都被包括在本发明中， 并且以所附的权利要求书为 说明书 7/8 页 12 CN 110110372 A 12 保护范围。 说明书 8/8 页 13 CN 110110372 A 13 图1 说明书附图 1/2 页 14 CN 110110372 A 14 图2 说明书附图 2/2 页 15 CN 110110372 A 15 。