计算机可读记录介质、确定方法以及信息处理设备.pdf

《计算机可读记录介质、确定方法以及信息处理设备.pdf》由会员分享，可在线阅读，更多相关《计算机可读记录介质、确定方法以及信息处理设备.pdf（38页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010120417.7 (22)申请日 2020.02.26 (30)优先权数据 2019-036604 2019.02.28 JP (71)申请人 富士通株式会社 地址 日本神奈川县 (72)发明人 后藤启介 (74)专利代理机构 北京集佳知识产权代理有限 公司 11227 代理人 刘雯鑫杨林森 (51)Int.Cl. G06Q 30/02(2012.01) G06Q 30/06(2012.01) G06K 9/62(2006.01) G06N 3/04(2006.01)。

2、 (54)发明名称 计算机可读记录介质、 确定方法以及信息处 理设备 (57)摘要 本发明提供了计算机可读记录介质、 确定方 法以及信息处理设备。 服务器将目标的行为信息 输入至训练的机器学习模型， 该训练的机器学习 模型学习通过将根据多个训练数据项中包括的 多个行为生成的行为组合与指示行为组合处于 特定状态下的确定性的可能性相关联而获得的 多个关联关系， 已经通过使用通过将与特定状态 相对应的人的行为组合进行关联而获得的多个 训练数据项对训练的机器学习进行了训练。 服务 器基于训练的机器学习模型的输出结果， 指定多 个关联关系中的每一个中的行为组合与目标的 行为信息之间的差异， 以及基于该可。

3、能性和该差 异来确定用于使目标转变为特定状态的附加行 为。 权利要求书2页 说明书13页 附图22页 CN 111626762 A 2020.09.04 CN 111626762 A 1.一种计算机可读记录介质， 其中存储有使计算机执行处理的确定程序， 所述处理包 括： 将目标的行为信息输入至训练的机器学习模型， 所述训练的机器学习模型学习通过将 根据多个训练数据项中包括的多个行为生成的行为组合与指示所述行为组合处于多个状 态中的特定状态下的确定性的可能性相关联而获得的多个关联关系， 已经通过使用通过将 与所述特定状态相对应的人的行为组合与所述特定状态相关联而获得的所述多个训练数 据项对所述训。

4、练的机器学习进行了训练； 基于所述训练的机器学习模型的输出结果， 指定所述多个关联关系中的每一个中的所 述行为组合与所述目标的行为信息之间的差异； 以及 基于与所述行为组合相关联的所述可能性以及所述行为组合与所述行为信息之间的 所述差异， 确定用于使所述目标转变为所述特定状态的附加行为。 2.根据权利要求1所述的计算机可读记录介质， 其中， 所述确定包括： 指定所述附加行为以及针对待确定的目标决定推荐行为， 所述附 加行为包括与等于或大于阈值的所述可能性相关联的所述行为组合， 通过所述阈值所述待 确定的目标的行为信息被确定为指定的特定状态。 3.根据权利要求1所述的计算机可读记录介质， 其中，。

5、 所述处理还包括： 从所述训练的机器学习模型获取所述行为组合、 所述可能性以及所述行为组合与待确 定的目标的行为信息之间的差异作为所述输出结果； 以及 将所述输出结果输出至向所述待确定的目标提供服务的服务器装置。 4.根据权利要求1所述的计算机可读记录介质， 其中， 所述处理还包括： 将待确定的目标的行为信息输入至与所述多个状态相对应的所述训练的机器学习模 型； 从所述训练的机器学习模型获取通过将与包括所述待确定的目标的行为信息的所述 行为组合相关联的所述可能性相加而获得的得分； 以及 基于从所述训练的机器学习模型获得的所述得分， 来指定所述待确定的目标的状态。 5.根据权利要求4所述的计算机。

6、可读记录介质， 其中， 所述多个状态是从初始状态到最终目标状态顺序地转变的状态， 以及 所述指定包括： 将具有从与所述多个状态相对应的所述训练的机器学习模型获取的所 述得分中的等于或大于阈值的得分并且最接近指定的最终目标状态的状态指定为所述待 确定的目标的状态。 6.根据权利要求5所述的计算机可读记录介质， 其中， 所述指定包括： 从与作为被指定为所述待确定的目标的状态的第一状态的下一 状态的第二状态相对应的所述训练的机器学习模型获取比例， 通过所述比例使所述待确定 的目标的行为信息包括在关于所述可能性与表征所述第二状态的所述行为组合之间的关 联关系而获取的行为组合中， 以及 所述确定包括： 。

7、指定所述可能性等于或大于阈值的所述行为组合之中具有指定的最高 比例的组合； 以及将未包括在所确定的待确定的目标的行为信息中的行为确定为所指定的 组合中的所述附加行为。 7.一种确定方法， 包括： 权利要求书 1/2 页 2 CN 111626762 A 2 将目标的行为信息输入至训练的机器学习模型， 所述训练的机器学习模型学习通过将 根据多个训练数据项中包括的多个行为生成的行为组合与指示所述行为组合处于多个状 态中的特定状态下的确定性的可能性相关联而获得的多个关联关系， 已经通过使用通过将 与所述特定状态相对应的人的行为组合与所述特定状态相关联而获得的所述多个训练数 据项对所述训练的机器学习进。

8、行了训练； 基于所述训练的机器学习模型的输出结果， 指定所述多个关联关系中的每一个中的所 述行为组合与所述目标的行为信息之间的差异； 以及 基于与所述行为组合相关联的所述可能性以及所述行为组合与所述行为信息之间的 所述差异， 确定用于使所述目标转变为所述特定状态的附加行为。 8.一种信息处理设备， 包括： 输入单元， 其将目标的行为信息输入至训练的机器学习模型， 所述训练的机器学习模 型学习通过将根据多个训练数据项中包括的多个行为生成的行为组合与指示所述行为组 合处于多个状态中的特定状态下的确定性的可能性相关联而获得的多个关联关系， 已经通 过使用通过将与所述特定状态相对应的人的行为组合与所述。

9、特定状态相关联而获得的所 述多个训练数据项对所述训练的机器学习进行了训练； 指定单元， 其基于所述训练的机器学习模型的输出结果， 指定所述多个关联关系中的 每一个中的所述行为组合与所述目标的行为信息之间的差异； 以及 确定单元， 其基于与所述行为组合相关联的所述可能性以及所述行为组合与所述行为 信息之间的所述差异， 确定用于使所述目标转变为所述特定状态的附加行为。 权利要求书 2/2 页 3 CN 111626762 A 3 计算机可读记录介质、 确定方法以及信息处理设备 技术领域 0001 本文讨论的实施方式涉及确定程序、 确定方法以及信息处理设备。 背景技术 0002 在数字营销中， 为了。

10、提高营销效果， 对具有各种目的的人访问网页的行为日志进 行分析。 具体地， 可以将直到用户购买产品的用户行为的状态转变表示为时间序列。 例如， 用户的行为从最初兴趣很小的 “小兴趣” 状态开始， 逐渐转变为兴趣大的 “大兴趣” 状态， 并 最终转变为用户决定购买产品的 “购买意向” 状态。 基本上， 状态具有顺序， 并且行为可以例 如从 “大兴趣” 状态转变为 “购买意向” 状态， 但是反之， 行为不会从 “购买意向” 状态转换为 “大兴趣” 状态。 0003 因此， 可以通过快速获悉用户处于哪种状态以及用户将要采取哪种动作来鼓励用 户采取用于促进状态转变的操作以便转变为另一状态， 并且可以提。

11、高营销效果。 因此， 管理 员根据用户的行为历史来区分当前状态， 并生成用于决定动作的规则。 例如， 针对访问10次 或大于10次并且访问产品价格页面的用户， 使用用于分发优惠券的规则。 0004 非专利文献1： Kim Jong-hwa， MORITAKA Masahiro， FUKUDA Susumu和YOON Seong- jung，“A Structure Analysis of Consumer Purchasing Perceptions in the Internet Shopping” ， Food System Research， 2012年， 卷19， 第4号， 第382-。

12、393页， 2013/12/05。 0005 然而， 难以以手动方式根据行为历史考虑动作以使用户转变为下一状态。 成本可 能高， 规则的生成可能被泄漏， 并且实时特性可能不利。 0006 如上所述， 由于难以通过手动分析来促进用户状态转变， 因此还考虑使用根据行 为历史来预测状态的决策树的方法。 例如， 通过将状态i的标签添加到直到每个用户的每个 状态i的数据来生成训练数据项。 生成用于确定每个状态j是否为状态j的决策树模型。 此 时， 生成与状态的数量一样多的模型(决策树)。 此后， 当给出用户数据和状态i时， 列出特征 的校正， 以便将用于确定状态i的决策树确定为正。 0007 然而， 决。

13、策树校正方法有很多模式， 但是由于有效的校正方法并不明显并且不清 楚决策树的哪部分重要， 因此最终以手动方式搜索要校正的部分。 如上所述， 手动分析方法 或者使用决策树的方法都不是有效的方法。 0008 因此， 本发明的实施方式的一个方面的目的是提供一种能够有效地促进用户的状 态转变的确定程序、 确定方法以及信息处理设备。 发明内容 0009 根据实施方式的一个方面， 计算机可读记录介质在其中存储使计算机执行如下处 理的确定程序， 所述处理包括： 将待确定的目标的行为信息输入至学习模型， 该学习模型通 过使用通过使与特定状态相对应的人的行为组合与特定状态相关联而获得的多个训练数 据项， 对通过。

14、使根据多个训练数据项中包括的多个行为生成的行为组合与指示行为组合处 于多个状态中的特定状态下的确定性的可能性相关联而获得的多个关联关系进行学习； 基 说明书 1/13 页 4 CN 111626762 A 4 于学习模型的输出结果， 指定多个关联关系中的每一个中的行为组合与待确定的目标的行 为信息之间的差异； 以及， 基于与行为组合相关联的可能性以及行为组合与行为信息之间 的差异， 确定用于使待确定的目标转变为特定状态的附加行为。 附图说明 0010 图1是示出根据第一实施方式的系统的整体配置示例的图； 0011 图2是根据第一实施方式的用于描述状态转变和动作的图； 0012 图3是根据第一实。

15、施方式的模型生成服务器的功能配置的功能框图； 0013 图4是用于描述假定的状态转变的图； 0014 图5是用于描述训练数据的生成示例的图； 0015 图6是用于描述每个模型的学习的图； 0016 图7是用于描述学习方法的图； 0017 图8是用于描述学习方法的图； 0018 图9是用于描述从用户日志到特征值的转换的图； 0019 图10是用于描述状态确定的图； 0020 图11是用于指定转变目的地的状态的图； 0021 图12是用于指定推荐给用户的动作内容的图。 0022 图13是示出学习处理的流程的流程图； 0023 图14是示出动作确定处理的流程的流程图； 0024 图15是用于描述在根。

16、据第二实施方式的状态已知时的确定方法的示例的图； 0025 图16是示出训练数据的示例的说明图； 0026 图17是用于描述假设的生成的说明图； 0027 图18是用于描述假设的生成的说明图； 0028 图19是用于描述假设的生成的说明图； 0029 图20是示出已生成的假设的示例的说明图； 0030 图21是用于描述适于输入数据的假设的说明图； 0031 图22是用于描述使用逻辑回归进行加权的说明图； 以及 0032 图23是用于描述硬件配置示例的图。 具体实施方式 0033 将参照附图对优选实施方式进行说明。 本发明不限于实施方式。 实施方式可以在 一致的范围内适当地组合。 0034 a第。

17、一实施方式 0035 整体配置 0036 图1是示出根据第一实施方式的系统的整体配置示例的图。 如图1所示， 在该系统 中， 用户终端5、 Web服务器6、 数据库服务器7和模型生成服务器10经由网络N连接以便彼此 通信。 可以采用诸如因特网和专用线的各种通信网络无论是有线方式还是无线方 式作为网络N。 0037 用户终端5是通过使用Web浏览器访问Web服务器6的用户所使用的终端的示例， 并 说明书 2/13 页 5 CN 111626762 A 5 且例如是诸如智能电话、 移动电话或个人计算机的计算机装置。 例如， 用户终端5访问Web服 务器6以搜索产品或购买产品。 0038 Web服务。

18、器6是向用户终端5提供Web服务的服务器装置的示例。 例如， Web服务器6 向正在访问的用户终端5提供Web购物和搜索服务。 0039 数据库服务器7是使用Web服务器6累积每个用户终端的行为历史的数据库服务器 的示例。 即， 数据库服务器7存储多个用户中的每一个的访问历史。 0040 模型生成服务器10是如下服务器装置的示例： 该服务器装置分析数据库服务器7 中存储的用户的行为历史并且生成指定用户状态的模型。 模型生成服务器10是如下服务器 装置的示例： 该服务器装置从Web服务器6获取用户的日志、 通过使用所生成的模型来估计 用户状态以及指定用于转变用户状态的动作。 生成模型的服务器装置。

19、和指定动作的服务器 装置也可以通过单独的服务器装置来实现。 0041 图2是根据第一实施方式的用于描述状态转变和动作的图。 如图2所示， 通常， 通过 访问Web服务器6来购买产品的用户在从访问开始到购买的时间期间顺序地转变为对产品 的兴趣小的 “小兴趣” 状态、 对产品的兴趣大的 “大兴趣” 状态、 以及购买意向增强的 “购买意 向” 状态， 并最终购买了产品。 0042 然而， 用户不一定毫不犹豫地从 “小兴趣” 状态转变为 “购买意向” 状态。 例如， 用户 查看另一产品并回顾该产品， 或者回顾用户是否确实需要该产品。 因此， 如图2所示， 模型生 成服务器10确定用户状态， 并且指定可。

20、以使用户转变为 “购买意向” 状态的下一动作。 例如， 模型生成服务器10通过对处于 “大兴趣” 状态下的用户执行 “弹出” 动作或 “优惠券分发” 动 作来确定用户可以转变为 “购买意向” 状态。 0043 之后， 模型生成服务器10向Web服务器6通知关于指定动作的信息。 接收到该动作 的信息的Web服务器6对用户终端5执行该动作。 例如， Web服务器6在由用户终端5使用以进 行访问的Web浏览器上分发优惠券。 0044 如上所述， 由于模型生成服务器10可以手动地根据行为历史自动指定动作以使用 户转变为下一状态， 因此可以有效地促进用户的状态转变。 0045 功能配置 0046 图3是。

21、根据第一实施方式的模型生成服务器10的功能配置的功能框图。 如图3所 示， 模型生成服务器10包括通信单元11、 存储单元12和控制单元20。 0047 通信单元11是控制与其他装置的通信的处理单元， 并且是例如通信接口。 例如， 通 信单元11从Web服务器6接收指示用户的当前访问状态的用户日志， 从数据库服务器7接收 每个用户的行为历史， 并且将与用于使用户转变为下一状态的动作有关的信息发送至Web 服务器6。 0048 存储单元12是存储数据或由控制单元20执行的程序的存储装置的示例， 并且是例 如存储器或硬盘。 存储单元12存储行为历史DB 13、 训练数据DB 14和模型DB 15。。

22、 0049 行为历史DB 13是存储每个用户的行为历史的数据库。 例如， 行为历史DB 13针对 每个用户以彼此关联的方式存储指示访问日期和时间的 “日期和时间” 以及指示所访问的 Web页面的 “访问页面” 。 0050 训练数据DB 14是针对用于区分每个状态的每个模型存储用于学习(即训练)每个 模型的训练数据的数据库。 例如， 训练数据DB 14存储所谓的示教数据， 在示教数据中， 作为 说明书 3/13 页 6 CN 111626762 A 6 目标变量(标签)的 “类别” 和作为说明变量的 “特征值” 与每个模型相关联。 0051 模型DB 15是存储与用于区分每个状态的每个模型相关。

23、的信息的数据库。 例如， 模 型DB 15存储学习结果和用于构建每个学习模型(即， 每个训练模型)的各种参数。 0052 控制单元20是控制整个模型生成服务器10的处理单元， 并且是例如处理器。 控制 单元20包括学习处理单元30和确定处理单元40， 并且执行学习指定用户的状态的模型的处 理以及指定促进状态转变的动作的确定处理。 学习处理单元30和确定处理单元40是包括在 处理器中的电子电路的示例以及由处理器执行的处理的示例。 0053 学习处理单元30包括获取单元31、 生成单元32和学习单元33， 并且是执行学习指 定用户的状态的模型的处理的处理单元。 此处， 将描述本实施方式中假定的用户。

24、状态。 图4 是用于描述假定的状态转变的图。 如图4所示， 从用户开始访问Web服务器6到购买产品， 用 户转变为 “小兴趣” 状态、“大兴趣” 状态、“与另一公司比较回顾” 状态、“购买意向” 状态以及 “无兴趣” 状态。 0054 此处， 状态从 “小兴趣” 状态转变为 “大兴趣” 状态， 从 “大兴趣” 状态转变为 “与另一 公司比较回顾” 状态或 “购买意向” 状态， 并且从 “与另一公司比较回顾” 状态转变为 “购买意 向” 状态或 “无兴趣” 状态。 从这些状态转变可以看出， 由于状态从 “大兴趣” 状态转变为两种 状态， 因此可以通过快速指定用户状态并采取用于促进用户转变为 “购。

25、买意向” 状态的动作 来提高营销效果。 0055 获取单元31是获取每个用户的行为历史的处理单元。 例如， 获取单元31在诸如学 习开始定时的任何定时处从数据库服务器7获取每个用户的行为历史， 并且将所获取的行 为历史存储在行为历史DB 13中。 0056 生成单元32是根据每个用户的行为历史生成每个模型的训练数据的处理单元。 具 体地， 生成单元32生成直到表征每个状态的访问内容的行为历史作为用于确定每个状态的 模型的训练数据， 并将所生成的行为历史存储在训练数据DB 14中。 0057 图5是用于描述训练数据的生成示例的图。 如图5所示， 生成单元32在参照特定用 户的行为历史的同时， 将。

26、从作为行为历史的顶部的 “2019/01/04首页访问” 到表征 “小兴趣” 状态的行为 “研讨会参与” 的行为历史设置为数据1。 生成单元32将数据1中包括的行为历史 转换成特征值， 并且生成与指示状态的标签的 “类别” 相关联的训练数据。 例如， 生成单元32 将 “小兴趣” 设置为数据1的 “类别” ， 并且生成如下训练数据： 在该训练数据中，“Y， Y， N， Y， N” 被设置为特征值 “首页访问， 研讨会参与， 访问产品价格页面， 5次或大于5次的页面访问， 20 次或大于20次的页面访问” 。 0058 生成单元32在参照特定用户的行为历史的同时， 将从作为行为历史的顶部的 “2。

27、019/01/04首页访问” 到表征 “大兴趣” 状态的行为 “产品价格页面访问” 的行为历史设置 为数据2。 生成单元32将 “大兴趣” 设置为数据2的 “类别” ， 并且生成如下训练数据： 在该训练 数据中，“Y， Y， Y， Y， Y” 被设置为特征值 “首页访问， 研讨会参与， 访问产品价格页面， 5次或大 于5次的页面访问， 20次或大于20次的页面访问” 。 0059 表征状态的行为是示例， 并且可以任意更改。 设置内容的转换和标签的特征值是 示例， 并且可以任意更改。 作为特征值的项， 在条件满足时设置 “Y” ， 并且在条件不满足时设 置 “N” 。 例如， 当在行为历史中包括。

28、 “首页访问” 的历史时， 对特征值 “首页访问” 设置 “Y” ， 并 且当在行为历史中包括四次 “页面访问” 的历史时， 对特征值 “5次或大于5次的页面访问” 设 说明书 4/13 页 7 CN 111626762 A 7 置 “N” 。 0060 学习单元33是通过使用由生成单元32生成的训练数据来执行对确定每个状态的 每个模型的学习的处理单元。 图6是用于描述每个模型的学习的图。 如图6所示， 学习单元33 从训练数据DB 14读出诸如其中 “小兴趣” 被设置为 “类别” 的数据1的数据， 并且通过使用作 为目标变量的 “类别” 和作为说明变量的 “特征值” 来学习确定 “小兴趣” 。

29、状态的小兴趣确定 模型。 0061 类似地， 学习单元33从训练数据DB 14中读出诸如其中 “大兴趣” 被设置为 “类别” 的数据2的数据， 并且学习确定 “大兴趣” 状态的大兴趣确定模型。 如上所述， 学习单元33通 过使用与 “小兴趣” 状态、“大兴趣” 状态、“与另一公司比较回顾” 状态、“购买意向” 状态和 “无兴趣” 状态中的每个状态(类别)相对应的每个示教数据来学习每个状态的确定模型。 学 习单元33将用于构建模型的各种参数作为学习结果存储在模型DB 15中。 0062 此处， 将描述学习单元33的学习方法的示例。 图7和图8是用于描述学习方法的图。 通常， 由于通过将模仿人类大。

30、脑的神经回路的结构的神经网络分成若干层并精炼一个模型 而实现了准确性的提高， 因此深度学习是人类无法理解的复杂模型。 同时， 如图7所示， 作为 机器学习之一， 学习单元33通过组合数据项来提取大量假设， 并且通过调整假设(知识块 (在下文中简称为 “块” )的影响程度来执行机器学习以构建高精度的分类模型。 知识块是 人类可以理解的简单模型， 并且是以逻辑表达式对可能被建立为输入和输出关系的假设进 行描述的模型。 0063 具体地， 学习单元33通过使用输入数据的所有数据项的组合模式作为假设(块)， 针对每种假设以分类标签的命中率来判断假设的重要性。 学习单元33基于提取的多个知识 块和标签来。

31、构建分类模型。 此时， 当构成知识块的项与构成另一知识块的项极大地交叠时， 学习单元33执行控制以减小对分类模型的影响程度。 0064 将参照图8描述特定示例。 在此， 考虑当期望对购买特定产品或服务的顾客进行判 断时的示例。 顾客数据包括各种项， 例如 “性别” 、“拥有许可证” 、“婚姻” 、“年龄” 和 “年收 入” 。 通过使用这些项的所有组合作为假设来考虑每种假设的重要性。 例如， 数据中有10个 与假设(a)相对应的顾客， 假设(a)是项 “ 男性 、拥有 和 已婚 ” 的组合。 当这10个人中有 9个人购买产品时， 假设 “与项 “男性” 、“拥有” 和 “已婚” 的组合对应的人。

32、购买产品” 被用作具 有高命中率的假设， 并且被提取为知识块。 0065 同时， 数据中有100个与假设(b)相对应的顾客， 假设(b)是项 “ 男性 和 拥有 ” 的 组合。 当这100个人中仅60个人购买产品时， 由于购买命中率是60并且小于阈值(例如 80)， 因此假设 “与项 “男性” 和 “拥有” 的组合对应的人购买产品” 被用作具有低命中率的假 设， 并且不会被提取为知识块。 0066 数据中有20个与假设(c)相对应的顾客， 假设(c)是项 “ 男性 、不拥有 和 未 婚 ” 的组合。 当这20个人中有18个人未购买产品时， 由于未购买命中率是90并且等于或 大于阈值(例如80)。

33、， 因此假设 “与项 “男性” 、“不拥有” 和 “未婚” 的组合对应的人不购买产 品” 被用作具有高命中率的假设， 并且被提取为知识块。 0067 如上所述， 学习单元33提取支持购买和支持不购买的数千万或数亿的知识块， 并 执行模型的学习。 以这种方式学习的模型通过枚举特征的组合作为假设(块)来给出权 重该权重是指示每种假设的确定性的可能性的示例， 计算在输入数据中出现的假设的 说明书 5/13 页 8 CN 111626762 A 8 权重之和作为得分， 并且在得分等于或大于阈值时输出正的示例。 0068 即， 得分是指示状态的确定性的指标， 并且是由每个模型所生成的块(假设)中满 足所。

34、有所属特征的块的权重之和。 例如， 在块A与 “权重： 20， 特征(A1， A2)” 相关联、 块B与 “权 重： 5， 特征(B1)” 相关联并且块C与 “权重： 10， 特征(C1， C2)” 相关联的状态下， 假定在用户日 志中存在行为(A1， A2， B1， C1)。 此时， 由于块A和块B的所有特征均出现， 因此得分为 “20+5 25” 。 本文的特征对应于用户的行为。 0069 返回图3， 确定处理单元40包括转换单元41、 确定单元42和动作决定单元43， 并且 是使用所学习的模型来决定促进状态确定或状态转变的动作的处理单元。 0070 转换单元41是将用户日志转换成特征值的。

35、处理单元。 具体地， 转换单元41从Web服 务器6获取指示用户的当前行为的用户日志作为状态确定目标， 并且通过使用与学习处理 单元30的标准和方法相同的标准和方法将所获取的用户日志转换成特征值。 转换单元41将 特征值输出至确定单元42。 0071 图9是用于描述从用户日志转换成特征值的图。 如图9所示， 转换单元41获取包括 “2019/01/04首页访问” 到 “2019/01/08研讨会参与” 的用户日志作为状态未知的用户日志。 转换单元41对用户日志中包括的访问内容进行计数， 并且将所计数的访问内容转换成具有 与学习处理单元30中使用的项相同的项的特征值 “(首页访问， 研讨会参与，。

36、 访问产品价格 页面， 5次或大于5次的页面访问， 20次或大于20次的页面访问)” 。 此处， 假定转换单元41将 用户日志转换成特征值 “Y， Y， N， Y， N” 。 0072 确定单元42是通过使用每个所学习的确定模型和由转换单元41转换的用户日志 的特征值来确定用户状态的处理单元。 具体地， 确定单元42从模型DB 15获取每个确定模型 的参数， 并且构建每个所学习的确定模型。 确定单元42将从转换单元41获取的特征值输入 至每个所学习的模型， 并且获取每个模型的确定结果。 此后， 确定单元42基于每个模型的确 定结果来确定用户状态， 指定用户状态的下一个转变目的地， 并将其结果输。

37、出至动作决定 单元43。 0073 图10是用于描述状态确定的图。 如图10所示， 确定单元42将用户日志的特征值输 入至小兴趣确定模型、 大兴趣确定模型、 购买意向确定模型以及与另一公司比较回顾模型 中的每一个模型。 确定单元42从小兴趣确定模型获取确定结果 “正” 、 从大兴趣确定模型获 取确定结果 “负” 、 从购买意向确定模型获取确定结果 “负” ， 并且从与另一公司比较回顾模 型获取确定结果 “负” 。 0074 此处， 每个确定模型根据输入的特征值生成包括特征值的项(特征)的组合作为假 设， 计算作为输入数据中出现的假设的权重之和的得分， 并且在得分等于或大于阈值时输 出正的示例。。

38、 在图10的示例中， 由于仅小兴趣确定模型的确定结果为 “正” ， 因此确定单元42 确定用户状态为 “小兴趣” 状态， 并且将确定结果与输入数据相关联。 当多个确定模型的输 出结果为 “正” 时， 选择接近最终目标状态的确定模型的结果。 0075 确定单元42基于每个模型的确定结果来指定用户状态的下一个转变目的地。 图11 是用于指定转变目的地的状态的图。 如图11所示， 确定单元42根据每个模型的确定结果来 确定状态改变容易度(容易度)。 此处， 在当前状态模型的确定结果为 “正” 或者先前状态模 型的确定结果为 “正” 的情况下， 状态改变容易度输出为 “容易” ， 并且在其他情况下状态。

39、改 变容易度输出为 “困难” 。 说明书 6/13 页 9 CN 111626762 A 9 0076 在图11的示例中， 由于小兴趣确定模型的确定结果为 “正” ， 因此确定单元42确定 容易度为 “容易” 。 此外， 由于大兴趣确定模型的确定结果为 “负” 而确定先前状态的小兴趣 确定模型的确定结果为 “正” ， 因此确定单元42确定容易度为 “容易” 。 由于购买意向确定模 型的确定结果和与另一公司比较回顾确定模型的确定结果均为 “负” ， 并且先前状态的确定 结果也为 “负” ， 因此确定单元42确定容易度为 “困难” 。 当确定多个状态的容易度为 “容易” 时， 确定单元42从容易度。

40、为 “容易” 的状态中选择最接近最终目标状态的状态。 0077 动作决定单元43是决定用于使用户转变为如下状态的动作的处理单元： 在该状态 下， 确定单元42确定容易度为 “容易” (在下文中称为 “下一状态” )。 具体地， 动作决定单元43 按照权重大且校正数量少的块的顺序， 优先列出被与下一状态相对应的确定模型确定为正 的块。 0078 图12是用于指定推荐给用户的动作内容的图。 如图12所示， 动作决定单元43获取 与被确定为转变目的地的下一状态相对应的大兴趣确定模型的块(假设)的结果。 此处， 权 重被设置为 “80” 的块A包括 “研讨会参与、 20次或大于20次的页面访问、 访问。

41、产品价格页面” 作为特征。“研讨会参与” 已经出现在用户日志中， 并且 “20次或大于20次的页面访问、 访问 产品价格页面” 没有出现在用户日志中。 即， 在块的特征中已经出现的特征的比例是三分之 一。 0079 权重被设置为 “10” 的块B包括 “研讨会参与、 访问产品价格页面” 作为特征。“研讨 会参与” 已经出现在用户日志中， 并且 “访问产品价格页面” 没有出现在用户日志中。 权重被 设置为 “1” 的块C包括 “研讨会参与” 作为特征， 并且已经出现在用户日志中。 0080 例如， 动作决定单元43从具有10或大于10的权重的块中枚举校正数量最少的块。 在图12的情况下， 动作决。

42、定单元43为块A和块B指定10或大于10的权重。 随后， 动作决定单元 43确定在块A中存在用户日志中没有出现的两个特征 “20次或大于20次的页面访问” 和 “访 问产品价格页面” ， 并且在块B存在用户日志中没有出现的一个特征 “访问产品价格页面” 。 0081 结果， 动作决定单元43按照块B和块A的顺序将每个块、 特征列表以及在用户日志 中未出现的特征作为校正提议输出至Web服务器6。 接收到校正提议的Web服务器6根据校正 提议执行弹出和优惠券分发。 0082 例如， 由于指定了需要 “访问产品价格页面” 以满足块B的特征， 因此Web服务器6将 优惠券分发分配给用户终端， 并且鼓励。

43、用户访问产品价格页面。 由于指定了至少需要 “20次 或大于20次的页面访问” 以满足块A的特征， 因此Web服务器6以弹出的方式在用户终端上显 示产品页面， 并且鼓励用户访问页面。 0083 动作决定单元43还可以向Web服务器6仅呈现一个校正提议。 在上述示例的情况 下， 动作决定单元43将具有少量校正并且仅具有未出现的特征 “访问产品价格页面” 的块B 呈现给Web服务器6。 0084 动作决定单元43可以将要执行的动作而不是校正提议呈现给Web服务器6。 在上述 示例的情况下， 动作决定单元43将作为用于鼓励用户访问产品价格页面的动作的 “优惠券 分发” 作为推荐行为呈现给Web服务器。

44、6。 0085 学习处理的流程 0086 图13是示出学习处理的流程的流程图。 如图13所示， 当由于接收到管理员的指示 或周期性定时的到来而使学习开始的定时到来时(S101： 是)， 学习处理单元30的获取单元 说明书 7/13 页 10 CN 111626762 A 10 31从数据库服务器7获取每个用户的行为历史(S102)。 0087 随后， 生成单元32根据每个用户的行为历史生成每个状态的训练数据(S103)。 学 习单元33通过使用训练数据执行对每个状态的学习(S104)， 并且生成每个状态的确定模型 (S105)。 0088 确定处理的流程 0089 图14是示出动作确定处理的流。

45、程的流程图。 如图14所示， 当根据管理员的指示而 使确定处理开始的定时到来时(S201： 是)， 确定处理单元40的转换单元41从Web服务器6获 取待确定的用户日志(S202)。 随后， 转换单元41以与学习中相同的方式将用户日志转换成 特征值(S203)。 0090 确定单元42将用户日志的特征值输入至每个所学习的确定模型， 并获取每个确定 结果(S204)。 随后， 确定单元42根据每个确定结果来确定用户状态以及该状态向每个状态 转变的容易度(S205)。 此后， 确定单元42基于用户的当前状态和容易度来确定状态转变目 的地(S206)。 0091 动作决定单元43根据与被确定为下一转。

46、变目的地的状态相对应的确定模型的输 出结果指定要校正的块(S207)， 并且将要校正的块输出至Web服务器6(S208)。 0092 效果 0093 如上所述， 当给出用户数据时， 模型生成服务器10可以检测多个状态中接近最终 目标状态并且最容易改变的状态， 并且可以按照在校正特征方面具有高有效性的状态的降 序顺序列出状态， 以使得其状态被确定为正。 因此， 由于不以手动方式根据行为历史考虑动 作以使用户进行状态转变， 因此可以降低成本， 并且可以实时地执行处理， 因此模型生成服 务器10可以有效地鼓励用户进行状态转变。 0094 b第二实施方式 0095 顺便提及， 尽管在第一实施方式中已经。

47、描述了用户状态未知， 但是本发明不限于 此， 并且即使在用户状态已知的情况下也可以执行相同的处理。 因此， 在第二实施方式中， 将描述在用户状态已知的情况下决定用于使用户转变为下一状态的动作的示例。 学习方法 与第一实施方法中的方法相同。 0096 图15是用于描述在根据第二实施方式的状态已知的情况下的确定方法的示例的 图。 如图15所示， 模型生成服务器10将其状态(类别)为 “小兴趣” 的用户的用户日志转换成 特征值 “(首页访问， 研讨会参与， 访问产品价格页面， 5次或大于5次的页面访问， 20次或大 于20次的页面访问)(Y， Y， N， Y， N)” 。 0097 随后， 模型生成。

48、服务器10将用户日志的特征值(Y， Y， N， Y， N)输入至小兴趣确定模 型、 大兴趣确定模型、 购买意向确定模型以及与另一公司比较回顾确定模型中的每个所学 习的确定模型。 0098 模型生成服务器10从每个所学习的模型获取确定结果。 此处， 模型生成服务器10 从小兴趣确定模型获取得分 “80” ， 从大兴趣确定模型获取得分 “30” ， 从购买意向确定模型 获取得分 “20” 并且从与另一公司比较回顾确定模型获取得分 “5” 。 0099 其后， 模型生成服务器10获取与作为已知状态的 “小兴趣” 状态的下一状态相对应 的大兴趣确定模型的确定结果。 模型生成服务器10将通过大兴趣确定模。

49、型获得的块中未达 到的块及其特征呈现给Web服务器6。 此时， 模型生成服务器10可以呈现所有未达到的块， 并 说明书 8/13 页 11 CN 111626762 A 11 且可以呈现未实现的块中具有最大权重的块。 模型生成服务器10可以将除了作为已知状态 的 “小兴趣” 状态之外的每个状态的得分和未达到的块列表呈现给Web服务器6。 0100 模型生成服务器10可以呈现以下信息： 该信息指示哪些行为(动作)要进行校正以 便转变为除了作为已知状态的 “小兴趣” 状态以外的状态的得分的状态。 例如， 由于购买意 向确定模型的得分是 “20” ， 因此模型生成服务器10确定直到可以以被确定为 “。

50、正” 的阈值 (例如80)之前还需要 “60” 的权重。 模型生成服务器10从未达到的块中选择总值为 “60” 的 块。 此后， 模型生成服务器10呈现所选择的块以及该块的未达到的行为(特征)。 0101 如上所述， 由于可以指定用于使用户从当前状态转变为每个状态的动作， 因此模 型生成服务器10可以执行与用户的行为相对应的动作。 例如， 模型生成服务器10还可以鼓 励获得若干天访问权限的谨慎用户立即转变为更接近最终目标状态的状态。 模型生成服务 器10还可以鼓励获得少量时间或天数的访问权限的用户逐步转变为最终目标状态。 0102 c第三实施方式 0103 此处， 对于上述实施方式中的每一个实。