智能决策方法和智能决策系统.pdf

《智能决策方法和智能决策系统.pdf》由会员分享，可在线阅读，更多相关《智能决策方法和智能决策系统.pdf（15页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010165642.2 (22)申请日 2020.03.11 (71)申请人 第四范式 （北京） 技术有限公司 地址 100085 北京市海淀区上地东路35号 颐泉汇大厦写字楼A座610室 (72)发明人 高浩曲风秀陈晓章进洲 方正 (74)专利代理机构 北京铭硕知识产权代理有限 公司 11286 代理人 朱志玲曾世骁 (51)Int.Cl. G06Q 10/06(2012.01) (54)发明名称 智能决策方法和智能决策系统 (57)摘要 本发明提供了一种智能决策方法和智。

2、能决 策系统， 所述智能决策方法可包括： 响应于用于 创建场景的用户操作， 创建场景； 响应于用于获 取数据的用户操作， 获取与创建的场景有关的输 入数据； 响应于用于创建指标的用户操作， 基于 获取的输入数据利用图引擎、 专家规则和机器学 习模型创建对应的指标； 利用创建的指标创建决 策规则并基于创建的决策规则创建决策流； 对创 建的决策流进行调试； 基于针对所述场景的将被 用于进行决策的数据， 利用调试后的决策流进行 决策以提供决策结果。 权利要求书2页 说明书10页 附图2页 CN 111401722 A 2020.07.10 CN 111401722 A 1.一种基于场景的智能决策方法。

3、， 包括： 响应于用于创建场景的用户操作， 创建场景； 响应于用于获取数据的用户操作， 获取与创建的场景有关的输入数据； 响应于用于创建指标的用户操作， 基于获取的输入数据利用图引擎、 专家规则和机器 学习模型创建对应的指标； 利用创建的指标创建决策规则并基于创建的决策规则创建决策流； 对创建的决策流进行调试； 基于针对所述场景的将被用于进行决策的数据， 利用调试后的决策流进行决策以提供 决策结果。 2.如权利要求1所述的智能决策方法， 其中， 创建场景的步骤包括： 定义所述场景的基本信息， 定义所述场景的输入信息和输出信息， 并且将所述场景的 输入信息与适于所述场景的业务字段相映射； 或者 。

4、利用预置的场景模板来创建场景。 3.如权利要求2所述的智能决策方法， 其中， 基于获取的输入数据利用图引擎、 专家规 则和机器学习模型创建对应的指标包括： 基于获取的输入数据之中的适于利用专家规则进行处理的输入数据， 利用专家规则创 建经验相关指标； 基于获取的输入数据之中的适于利用图引擎进行处理的输入数据来创建图， 并利用创 建的图创建图相关指标； 基于获取的输入数据之中的适于利用机器学习模型进行处理的输入数据来创建机器 学习模型， 并利用机器学习模型创建模型相关指标。 4.如权利要求1所述的智能决策方法， 其中， 所述决策规则包括普通规则、 评分卡和决 策表中的至少一个。 5.如权利要求1。

5、或4所述的智能决策方法， 其中， 利用创建的指标创建决策规则并基于 创建的决策规则创建决策流包括： 响应于在决策规则配置界面上的用户操作， 可视化地利用创建的指标创建决策规则； 响应于用户在决策流编排界面上的用户操作， 对创建的决策规则进行可视化编排来创 建决策流。 6.如权利要求1所述的智能决策方法， 其中， 对创建的决策流进行调试包括： 对创建的 决策规则所涉及的阈值以及决策流的整体流程进行调试。 7.如权利要求6所述的智能决策方法， 其中， 对创建的决策规则所涉及的阈值以及决策 流的整体流程进行调试包括： 可视化地显示针对决策规则所涉及的不同阈值的二分类指标， 并根据显示的二分类评 价指。

6、标对创建的决策规则所涉及的阈值进行调试， 其中， 二分类评价指标包括混淆矩阵和 根据混淆矩阵衍生出的评价指标中的至少一个； 可视化地显示与决策流有关的统计数据， 并根据显示的统计数据对决策流中的决策规 则所涉及的阈值以及决策流的整体流程进行调整。 8.一种存储指令的计算机可读存储介质， 其中， 当所述指令被至少一个计算装置运行 时， 促使所述至少一个计算装置执行如权利要求1至7中的任一权利要求所述的智能决策方 权利要求书 1/2 页 2 CN 111401722 A 2 法。 9.一种包括至少一个计算装置和存储指令的至少一个存储装置的系统， 其中， 所述指 令在被所述至少一个计算装置运行时， 。

7、促使所述至少一个计算装置执行如权利要求1至7中 的任一权利要求所述的智能决策方法。 10.一种基于场景的智能决策系统， 包括： 场景创建装置， 被配置为响应于用于创建场景的用户操作， 创建场景； 数据获取装置， 被配置为响应于用于获取数据的用户操作， 获取与创建的场景有关的 输入数据； 指标创建装置， 被配置为响应于用于创建指标的用户操作， 基于获取的输入数据利用 图引擎、 专家规则和机器学习模型创建对应的指标； 决策流创建装置， 利用创建的指标创建决策规则并基于创建的决策规则创建决策流； 调试装置， 被配置为对创建的决策流进行调试； 决策执行装置， 被配置为基于针对所述场景的将被用于进行决策。

8、的数据， 利用调试后 的决策流进行决策以提供决策结果。 权利要求书 2/2 页 3 CN 111401722 A 3 智能决策方法和智能决策系统 技术领域 0001 本公开总体说来涉及人工智能领域， 更具体地， 涉及一种基于场景的智能决策方 法和智能决策系统。 背景技术 0002 在进行决策前， 通常首先需要收集用于决策的信息， 在现今大数据技术日益普及 的当下， 可以用于决策的信息也越来越多、 形态越来越丰富。 这就要求决策产品需要支持灵 活多变的数据格式和较好的扩展性。 然而， 现有的决策产品大多仅支持结构化数据， 而没有 考虑与图等新兴数据恰当结合以便做出更具洞察力的决策。 此外， 在决。

9、策方案制定过程中， 现有决策产品主要是进行专家经验决策， 然而这严重依赖专家个人水平， 决策准确率及稳 定性无法保证， 同时存在时效性差和投入产出差的缺点。 在大数据量下， 专家的分析和总结 能力也会遇到瓶颈， 无法适应复杂多变的业务场景。 而且， 现阶段决策产品大多受制于以规 则为中心的设计思路， 对能够处理复杂长尾变量的机器学习模型的兼容适配差， 而开源免 费的决策产品， 又往往离客户的实际需求较远， 需要较多的开发和维护成本。 部分已经商业 化的决策产品又因为设计起初面向方向为特定业务场景， 导致业务属性耦合严重， 无法成 为通用化的决策产品。 鉴于此， 需要更加通用、 能够适应复杂多变。

10、的业务场景并且具有更高 决策准确率和稳定性的智能决策产品。 发明内容 0003 根据本公开的示例性实施例， 提供了一种基于场景的智能决策方法， 所述智能决 策方法可包括： 响应于用于创建场景的用户操作， 创建场景； 响应于用于获取数据的用户操 作， 获取与创建的场景有关的输入数据； 响应于用于创建指标的用户操作， 基于获取的输入 数据利用图引擎、 专家规则和机器学习模型创建对应的指标； 利用创建的指标创建决策规 则并基于创建的决策规则创建决策流； 对创建的决策流进行调试； 基于针对所述场景的将 被用于进行决策的数据， 利用调试后的决策流进行决策以提供决策结果。 0004 根据本公开的另一示例性。

11、实施例， 提供了一种存储指令的计算机可读存储介质， 其中， 当所述指令被至少一个计算装置运行时， 促使所述至少一个计算装置执行如上所述 的智能决策方法。 0005 根据本公开的另一示例性实施例， 提供了一种包括至少一个计算装置和存储指令 的至少一个存储装置的系统， 其中， 所述指令在被所述至少一个计算装置运行时， 促使所述 至少一个计算装置执行如上所述的智能决策方法。 0006 根据本公开的另一示例性实施例， 提供了一种基于场景的智能决策系统， 所述智 能决策系统可包括： 场景创建装置， 被配置为响应于用于创建场景的用户操作， 创建场景； 数据获取装置， 被配置为响应于用于获取数据的用户操作，。

12、 获取与创建的场景有关的输入 数据； 指标创建装置， 被配置为响应于用于创建指标的用户操作， 基于获取的输入数据利用 图引擎、 专家规则和机器学习模型创建对应的指标； 决策流创建装置， 利用创建的指标创建 说明书 1/10 页 4 CN 111401722 A 4 决策规则并基于创建的决策规则创建决策流； 调试装置， 被配置为对创建的决策流进行调 试； 决策执行装置， 被配置为基于针对所述场景的将被用于进行决策的数据， 利用调试后的 决策流进行决策以提供决策结果。 0007 根据本公开的基于场景的智能决策方法和智能决策系统， 不仅可支持用户自己创 建场景， 而且不再单纯依赖专家规则创建指标， 。

13、而是结合机器学习模型和图引擎一起创建 指标， 因此， 不仅更具通用性， 而且能够更加适应复杂多变的业务场景并且提供准确率和稳 定性更高的决策结果。 附图说明 0008 从下面结合附图对本公开实施例的详细描述中， 本公开的这些和/或其他方面和 优点将变得更加清楚且更容易理解， 其中： 0009 图1示出根据本公开示例性实施例的基于场景的智能决策系统的框图； 0010 图2示出根据本公开示例性实施例的智能决策系统进行智能决策的示意图； 0011 图3示出根据本公开示例性实施例的基于场景的智能决策方法的流程图。 具体实施方式 0012 为了使本领域技术人员更好地理解本公开， 下面结合附图和具体实施方。

14、式对本公 开的示例性实施例作进一步详细说明。 0013 图1是示出根据本公开示例性实施例的基于场景的智能决策系统100的框图。 如图 1所示， 智能决策系统100可包括场景创建装置110、 数据获取装置120、 指标创建装置130、 决 策流创建装置140、 调试装置150以及决策执行装置160。 0014 具体地， 场景创建装置110可响应于用于创建场景的用户操作， 创建场景。 这里， 用 于创建场景的用户操作可包括创建场景过程中涉及的一系列操作， 其既可以是在用于创建 场景的用户界面上的操作(例如， 触摸操作)， 也可以是其他快捷操作， 本公开对用户操作的 类型和方式没有限制。 根据示例性。

15、实施例， 场景创建装置110可响应于用于创建场景的用户 操作， 定义所述场景的基本信息， 定义所述场景的输入信息和输出信息， 并且将所述场景的 输入信息与适于所述场景的业务字段相映射。 这里， 场景的基本信息用于定义期望解决什 么问题， 其可以是定义场景本身的基础信息， 例如， 场景名称、 场景类型、 关于场景的描述 等。 作为示例， 上述基础信息可以是资格审查、 额度费率计算、 信用评分评级、 风控反欺诈、 积分管理、 营销推荐策略等。 定义场景的输入信息可以是定义在所创建的场景的决策中有 哪些信息需要输入。 输入信息既可以是基于行列的结构化数据， 也可以是顶点、 边和映射函 数三元组的图数。

16、据， 还可以是机器学习模型可处理的图像、 文本、 语音以及序列等多种类型 的数据。 定义场景的输出信息可以是定义决策输出是什么， 即， 定义决策结果可以包括哪些 选项。 0015 根据示例性实施例， 创建的场景可以是与反欺诈有关的场景， 例如， 申请反欺诈场 景， 但不限于此。 需要说明的是， 在本公开中， 可根据需要定义任何业务场景， 而并不限于以 上示例。 为描述方便， 在本公开中， 将重点以所创建的场景是申请反欺诈场景为例， 对本发 明的智能决策系统进行介绍。 在所创建的场景是申请反欺诈场景的情况下， 定义的输入信 息可包括申请人的身份信息(例如， 年龄、 公司、 行业、 人脸图像、 身。

17、份证号等)、 申请人所在 说明书 2/10 页 5 CN 111401722 A 5 环境信息(例如， 申请人所用设备、 申请人所在位置信息等)、 与所申请产品有关的信息(例 如， 所申请产品的类型、 额度、 利率等)以及与申请人相关的外部资信信息(例如， 申请人的 通话信息、 多头信息、 人行报告等)中的至少一个， 但不限于此。 在这种情况下， 定义的输出 信息可以是申请拒绝、 申请通过和申请需人工审核中的一个， 但不限于此。 另外， 需要说明 的是， 定义场景的输入信息可通过直接导入外部文件来定义， 该外部文件例如可以是包含 输入信息的数据表； 或者， 也可直接在用户界面上通过用户的输入操。

18、作来定义场景的输入 信息。 0016 此外， 在定义了场景的输入信息和输出信息之后， 如上所述， 场景创建装置110可 将场景的输入信息与适于该场景的业务字段相映射。 例如， 智能决策系统100可预先设置针 对一些场景的业务字段， 这些业务字段可以是反映不同场景的属性字段， 而将输入信息与 业务字段相映射便于后续对输入信息的处理。 例如， 预先设置的一个业务字段可以是客户 唯一标识， 当获取的输入信息中包括客户号时， 可将客户号与客户唯一标识这个业务字段 相映射； 或者， 预先设置的一个业务字段可以是客户所在地， 当获取的输入信息中包括客户 的位置信息(例如， 经纬度)时， 可将该位置信息与客。

19、户所在地这一业务字段相映射。 0017 可选地， 根据本公开另一示例性实施例， 如果存在与期望创建的场景对应的场景 模板， 场景创建装置110也可响应于用户的操作， 利用预置的场景模板来创建场景， 而无需 自定义场景的输入信息和输出信息， 这可便于基于相同或相似的场景快速创建期望的场 景。 具体地， 在这种情况下， 场景创建装置110可响应于用户的操作， 从预置的场景模板中选 择期望的场景模板， 并将选择的场景模板中的业务字段与场景的请求报文字段相映射， 进 而创建场景。 另外， 可选地， 如果基于场景模板中的业务字段预置了对应的业务监控和报 表， 则可在业务字段的映射完成后接入对应的业务监控。

20、和报表， 以便于后续监控和查看。 0018 在场景创建完成之后， 数据获取装置120可响应于用于获取数据的用户操作， 获取 与创建的场景有关的输入数据。 例如， 数据获取装置120可响应于用户在用户界面上的菜单 操作， 从本地或外部设备导入与创建的场景有关的输入数据， 并且这些输入数据可对应于 先前所定义的场景的输入信息。 关于获取数据的用户操作的类型以及具体获取输入数据的 方式， 本公开对此均无限制。 0019 之后， 指标创建装置130可响应于用于创建指标的用户操作， 基于获取的输入数据 利用图引擎、 专家规则和机器学习模型创建对应的指标。 具体地， 指标创建装置130可基于 获取的输入数。

21、据之中的适于利用专家规则进行处理的输入数据， 利用专家规则创建经验相 关指标； 基于获取的输入数据之中的适于利用图引擎进行处理的输入数据来创建图， 并利 用创建的图创建图相关指标； 基于获取的输入数据之中的适于利用机器学习模型进行处理 的输入数据来创建机器学习模型， 并利用机器学习模型创建模型相关指标。 以申请反欺诈 场景为例， 这里， 适于利用专家规则进行处理的输入数据例如可以是一些相对明显和共性 的变量， 适于利用图引擎进行处理的输入数据可以例如是多度关联数据， 适于利用机器学 习模型进行处理的输入数据例如可以是复杂长尾变量， 例如， 一些隐性或个性的变量常常 难以被人察觉， 此时更适合通。

22、过机器学习模型进行处理。 0020 这里， 指标创建装置130利用专家规则创建经验相关指标可以是利用专家规则定 义或编写经验相关指标。 指标创建装置130基于获取的输入数据之中的适于利用图引擎进 行处理的输入数据来创建图， 并利用创建的图创建图相关指标可包括： 基于适于利用图引 说明书 3/10 页 6 CN 111401722 A 6 擎进行处理的输入数据， 可视化地利用图数据库(例如， arangodb、 Neo4j等)或关系型数据 库定义图的节点和边所涉及的属性并将节点和边所涉及的属性的值与业务字段相映射； 并 且利用创建的图归纳演绎出图相关指标。 例如， 如果创建的场景是申请反欺诈场景。

23、， 则可利 用图数据库或关系型数据库定义图的节点 “会员” 、“商户” 和 “设备” 以及节点之间的关系 (即， 图的边)， 比如， 会员之间可以具有相互呼叫的关系， 会员和商户间有申请关系(即， 会 员会申请商户)， 会员和设备间有拥有的关系(即， 会员会拥有设备)。 另外， 在定义了节点和 边之外， 可定义节点和边所涉及的属性， 例如， 会员节点可有年龄、 性别的属性， 呼叫关系的 边上有通话时长、 频次的属性， 等等。 上述定义完成后将输入数据中的字段与节点和边上的 值进行映射即可完成图的创建， 而在图的创建完成之后， 可根据图进一步归纳演绎出图相 关指标。 0021 另外， 指标创建装。

24、置130基于获取的输入数据之中的适于利用机器学习模型进行 处理的输入数据来创建机器学习模型， 并利用机器学习模型创建模型相关指标可包括： 基 于适于机器学习模型进行处理的输入数据， 按照用户定义的特征提取方式生成将用于机器 学习模型训练的特征； 通过用户界面定义机器学习模型和模型的参数配置； 利用生成的特 征以及定义的参数配置， 对定义的机器学习模型进行训练来创建机器学习模型； 利用创建 的机器学习模型执行预测并利用机器学习模型的预测结果创建模型相关指标。 在本公开 中， 用户可事先定义特征提取方式， 例如， 特征抽取脚本。 此外， 还可通过用户界面定义使用 什么样的机器学习模型(例如， 定义。

25、使用逻辑回归模型) 以及模型的参数配置(例如， 定义 模型训练时的超参数， 比如， 最大训练轮数、 正则项系数等)， 在定义了以上配置之后， 便可 利用输入数据开始训练， 并且可依据训练结束的评估结果判断是否需要调整参数和特征提 取方式， 多次循环后完成模型的创建。 在模型创建完成了， 指标创建装置130可利用创建的 机器学习模型执行预测并利用机器学习模型的预测结果创建模型相关指标。 例如， 在机器 学习模型创建完成之后， 可获取与创建的场景有关的预测数据， 利用机器学习模型执行预 测， 并利用机器学习模型针对预测数据的预测结果来确定模型分值， 作为模型相关指标。 0022 这里， 仍以所创建。

26、的场景是申请反欺诈场景为例， 对上述各种指标进行示例性说 明。 例如， 如果所创建的场景是申请反欺诈场景， 则创建的经验相关指标可包括年龄、 性别、 申请金额和同设备申请数中的至少一个， 但不限于此； 图相关指标可包括与申请人相关联 的关联人中的被确定为黑名单的人数或占比， 但不限于此； 模型相关指标可包括模型分值， 但不限于此。 0023 在指标创建之后， 决策流创建装置140可利用创建的指标创建决策规则并基于创 建的决策规则创建决策流。 具体地， 例如， 决策流创建装置140可响应于在决策规则配置界 面上的用户操作， 可视化地利用创建的指标创建决策规则。 这里， 决策规则可包括普通规则 (。

27、例如， 普通的条件表达式及其通过逻辑运算构成的条件组合， 诸如， 第一指标大于预定阈 值， 或者， 第一指标小于预定阈值并且第二指标大于0)、 评分卡和决策表中的至少一个， 但 不限于此。 决策表、 评分卡类似于普通规则， 只是用卡片和表格的形式配置， 在碰到复杂决 策场景下， 比如按年龄不同和月收入不同的阈值排列组合赋予不同的授信额度， 这种情况 如果年龄有5个分段， 如小于18、 18-30、 30-45、 45-60、 大于60， 并且月收入也是有5个分段， 就可能有25个条件， 如果使用普通规则的配置方式会极其繁琐， 此时便可采用评分卡和决 策表这种更加简便的决策规则配置方式。 作为示。

28、例， 决策流创建装置140可响应于用户在决 说明书 4/10 页 7 CN 111401722 A 7 策规则配置界面上的用户操作， 首先选择之前创建的指标， 然后设置各个指标的阈值以及 指标与阈值之间的关系， 并且还可设置由指标和阈值构成的规则之间的逻辑运算， 从而共 同构成决策规则。 在决策规则配置界面上， 决策流创建装置140还可定义规则码、 规则名称、 规则标签、 规则描述等， 并且还可响应于用户的操作而保存创建的每个决策规则。 例如， 在 申请反欺诈场景中， 创建的规则可以是年龄大于18且小于60、 评分卡分数大于0.8、 二度联 系人黑名单人数大于5、 模型分值大于0.1等等， 但。

29、不限于此。 0024 在决策规则创建之后， 决策流创建装置140可响应于用户在决策流编排界面上的 用户操作， 对创建的决策规则进行可视化编排来创建决策流。 对于不同决策场景而言， 决策 流程的可视化对于后续调整和优化决策流程是很有必要的。 例如， 在本公开中， 决策流创建 装置140可使用在画布中拖入节点并设置节点之间的先后顺序的方式对决策流程进行编 排。 这里， 每个节点可对应于一个决策规则， 此外， 节点除可以对应决策规则之外， 还可包括 输入节点和输出节点， 输入节点可表示数据输入， 而输出节点可表示决策输出。 0025 根据示例性实施例， 在决策流创建之后， 调试装置150可对创建的决。

30、策流进行调 试， 以确保决策流的有效性， 进而提升决策效果。 具体地， 调试装置150可对创建的决策规则 所涉及的阈值以及决策流的整体流程进行调试。 现有的一些决策产品对决策方案对比的可 视化分析功能不够完善， 比如只能提供简单图表展示， 不支持决策效果对比和差异个案的 调查， 而本发明通过可视化地显示各种评价指标以及与决策流有关的统计数据， 可以方便 用户对不同决策方案的对比分析。 作为示例， 调试装置150可以可视化地显示针对决策规则 所涉及的不同阈值的二分类指标， 并根据显示的二分类评价指标对创建的决策规则所涉及 的阈值进行调试。 这里， 二分类评价指标可包括混淆矩阵和根据混淆矩阵衍生出。

31、的评价指 标中的至少一个， 但不限于此。 例如， 可分别显示资产负债率大于不同阈值(比如， 资产负债 率大于50、 资产负债率大于55以及资产负债率大于60)下的混淆矩阵以及根据混淆 矩阵计算出的准确率和召回率等， 并以此来衡量决策规则是否满足用户的期望。 0026 此外， 调试装置150不仅可以对单个决策规则进行调试， 而且可以对决策流的整体 流程进行调试， 例如， 确定流程判断和最终的结果分布是否符合预期。 具体地， 例如， 调试装 置150可以可视化地显示与决策流有关的统计数据， 并根据显示的统计数据对决策流中的 决策规则所涉及的阈值以及决策流的整体流程进行调整。 这里， 与决策流有关的。

32、统计数据 可包括各个节点的流量数据以及各个决策规则的统计数据， 例如， 每个规则的击中率， 但不 限于此。 例如， 如果某个规则的击中率低于阈值， 则可以调整该规则涉及的阈值， 或者可调 整节点之间的先后顺序， 甚至可以删除该节点。 需要说明的是， 在本公开中， 既可以在每个 决策规则创建之后就对决策规则涉及的阈值进行调试， 也可在整个决策流创建完成之后， 对决策规则涉及的阈值进行调整并调整决策流的整个流程。 0027 在完成了决策流的调试之后， 便可将调整后的决策流上线以利用其进行决策。 根 据示例性实施例， 决策执行装置160可基于针对所述场景的将被用于进行决策的数据， 利用 调试后的决策。

33、流进行决策以提供决策结果。 例如， 在申请反欺诈场景中， 决策执行装置160 可基于针对该场景的输入数据(这些输入数据可对应于先前针对该场景定义的输入信息) 利用调试后的决策流直接进行决策以确定是拒绝申请、 通过申请还是确定申请需要人工进 一步审核。 0028 根据本发明另一示例性实施例， 为了保证决策流持续可用并且能够不断适应业务 说明书 5/10 页 8 CN 111401722 A 8 场景的变化， 从而保证决策效果不随时间衰减， 智能决策系统100 还可包括决策流调整装 置(未示出)。 决策流调整装置可获取针对决策结果的反馈信息(例如， 用户对于决策结果是 否正确的反馈)， 并基于获取。

34、的反馈信息对决策流进行优化调整， 从而使得智能决策系统 100可利用不断优化调整的决策流进行决策。 这里， 基于获取的反馈信息对决策流进行优化 调整可包括： 基于获取的反馈信息对决策流中的决策规则进行调整， 以及基于获取的反馈 信息对决策流的整体流程进行调整。 具体地， 基于获取的反馈信息对决策流中的决策规则 进行调整可以包括： 首先， 基于获取的反馈信息对创建的图进行调整， 并且基于获取的反馈 信息对机器学习模型进行调整； 随后， 可利用调整后的图和机器学习模型对指标进行调整， 并利用调整后的指标对决策规则进行调整。 对创建的图进行调整可包括重新设计图， 重新 调整图的节点和边， 或者重新调。

35、整节点和边的属性。 对机器学习模型进行调整可以指对机 器学习模型的模型参数进行调整。 作为示例， 对决策规则进行调整可包括增加新的决策规 则、 删除现有的决策规则中的一部分和/或调整现有决策规则所涉及的阈值， 但不限于此。 0029 传统决策产品中多依赖专家的经验对决策流进行调整， 而这会导致决策流的调整 相对滞后， 无法适应迅速变化的业务场景。 而在本公开中， 可通过机器学习模型的自学习来 对创建的机器学习模型进行调整。 具体地， 以上提及的基于获取的反馈信息对机器学习模 型进行调整可包括： 根据预先通过用户界面设置的与机器学习模型自学习相关的配置信 息， 基于获取的反馈信息对创建的机器学习。

36、模型进行自学习来调整机器学习模型。 作为示 例， 与机器学习模型自学习相关的配置信息可包括自学习的运行模式(例如， 单次运行、 循 环运行、 crontab表达式(crontab表达式可指示自学习的频次)或接口调用等)、 自学习的开 始时间、 自学习所使用的反馈数据的选取(例如， 可设置选择某一特定时间段内的反馈数 据)， 但不限于此。 以上配置信息可通过用户在用户界面上的一系列操作来设置， 并且设置 好的配置信息可被保存， 以便于决策流调整装置根据该配置信息来对机器学习模型进行调 整。 0030 以上已经参照图1详细描述了根据本公开示例性实施例的智能决策系统， 该智能 决策系统可支持用户自己。

37、创建场景， 因此更具通用性， 此外， 由于不再单纯依赖专家规则创 建指标， 而是结合机器学习模型和图引擎一起创建指标， 因此能够更加适应复杂多变的业 务场景并且提供准确率和稳定性更高的决策结果。 0031 需要说明的是， 智能决策系统100不仅可以是面向B端企业的软件系统中的一部 分， 也可以是面向C端用户的软件系统中的一部分， 本公开对此并无限制。 而且， 智能决策系 统100也并不仅限于包括以上描述的装置， 而是还可根据需要增加一些其他装置， 例如， 存 储装置、 数据处理装置、 用户交互接口(诸如， 键盘、 鼠标、 触摸输入装置等)等， 或者以上参 照图1描述的任何装置可被组合为一个装置。

38、。 另外， 智能决策系统的所有组件(包括以上参 照图1描述的装置)可经由总线和/或网络而彼此连接。 此外， 本公开中提及的用户操作均既 可以是借助一定的输入工具来实现， 也可以是直接通过用户的触摸输入实现， 或者可通过 以上两者的组合来实现。 0032 以下， 为便于更直观地理解根据本公开示例性实施例的智能决策系统进行智能决 策的过程， 参照图2对其进行简要描述。 图2示出根据本公开示例性实施例的智能决策系统 进行智能决策的示意图。 0033 参照图2， 智能决策系统首先需要创建场景(也可称为 “定义场景” )， 随后， 需要获 说明书 6/10 页 9 CN 111401722 A 9 取与。

39、创建的场景有关的输入数据(在图2中被简称为 “数据引入” )。 接下来， 智能决策系统可 基于输入数据， 利用图引擎、 专家规则和机器学习模型创建对应的指标。 如图2所示， 为了利 用图引擎创建图相关指标， 智能决策系统可首先创建图， 而创建图包括设计图(例如， 设计 图的节点和边并定义图的节点和边所涉及的属性)以及进行字段映射(即， 将设计的图的节 点和边所涉及的属性与业务字段相映射)， 例如， 将请求报文中会员ID 字段映射到会员节 点， 将设备ID字段映射到设备号。 可选地， 在有了节点和边并且映射了字段后还可以进行图 查询， 比如将一个坏客户号23434234放在图中查询， 可以看出这。

40、个坏客户用了一个关联了 很多人的设备， 这时可以指导指标创建。 另外， 可选地， 还可以利用创建的图进行团定义， 例 如， 定义关联关系和力度生成报告， 比如认为同设备使用人数超过10人是不正常的， 这个时 候生成团， 并且生成的疑似团的报告可指导后续指标创建。 0034 为了利用机器学习模型创建模型相关指标， 智能决策系统首先需要创建机器学习 模型， 然后利用机器学习模型创建模型相关指标。 具体地， 如图2 所示， 智能决策系统首先 需要进行模型训练， 然后进行模型评估， 并可将评估后满足条件的机器学习模型进行发布， 此外， 可执行模型的部署服务。 这里， 模型的部署服务可以是将模型的计算公。

41、式部署在某些 服务器上， 分配计算资源， 保证在线上业务请求时可以在一定响应时间和吞吐量的情况下 正确计算。 0035 在利用图引擎、 专家规则和机器学习模型创建对应的指标之后， 智能决策系统可 利用创建的指标创建决策规则， 创建决策规则例如可以包括创建普通规则、 创建决策表以 及创建评分卡。 在创建决策规则之后， 智能决策系统可对决策规则中所涉及的阈值进行调 试(图2中简称为 “阈值测试” )， 并可进一步基于创建的决策规则创建决策流。 此外， 创建的 决策流也可被调试， 例如， 既可调试决策流中的决策规则所涉及的阈值， 也可调整决策流的 整个流程。 0036 另外， 如以上参照图1所述， 。

42、在利用创建的决策流执行决策之后， 还可获取针对决 策结果的反馈信息， 并基于获取的反馈信息对决策流进行优化调整(在图2中被表示为 “结 果反馈” )。 这里， 对决策流调整可以包括基于获取的反馈信息对机器学习模型进行调整， 但 不限于此。 而对机器学习模型进行调整可以是基于获取的反馈信息对创建的机器学习模型 进行自学习来调整机器学习模型的参数， 此外， 调整后的机器学习模型可被再发布以参与 决策。 0037 以上， 已经参照图2的示意图简要地描述了智能决策系统执行决策的过程， 但是， 以上过程仅是示例， 可根据需要省略或合并部分环节。 0038 接下来， 将继续参照图3对根据本申请示例性实施例。

43、的智能决策方法进行简要描 述。 图3示出根据本公开示例性实施例的基于场景的智能决策方法的流程图。 0039 这里， 作为示例， 图3所示的智能决策方法可由图1所示的智能决策系统100来执 行， 也可完全通过计算机程序或指令以软件方式实现， 还可通过特定配置的计算系统或计 算装置来执行， 例如， 可通过包括至少一个计算装置和至少一个存储指令的存储装置的系 统来执行， 其中， 所述指令在被所述至少一个计算装置运行时， 促使所述至少一个计算装置 执行上述智能决策方法。 为了描述方便， 假设图3所示的智能决策方法由图1所示的智能决 策系统100来执行， 并假设智能决策系统100可具有图1所示的配置。 。

44、0040 参照图3， 在步骤S310， 场景创建装置110可响应于用于创建场景的用户操作， 创建 说明书 7/10 页 10 CN 111401722 A 10 场景。 在步骤S310， 场景创建装置110可定义所述场景的基本信息， 定义所述场景的输入信 息和输出信息， 并且将所述场景的输入信息与适于所述场景的业务字段相映射； 或者， 场景 创建装置110也可利用预置的场景模板来创建场景。 例如， 创建的场景可以是与反欺诈有关 的场景， 例如， 申请反欺诈场景， 但不限于此。 此外， 在创建的场景是与反欺诈有关的场景的 情况下， 输入信息可包括申请人的身份信息、 申请人所在环境信息、 与所申请。

45、产品有关的信 息以及与申请人相关的外部资信信息中的至少一个， 输出信息可以为申请拒绝、 申请通过 和申请需人工审核中的一个。 0041 接下来， 在步骤S320， 数据获取装置120可响应于用于获取数据的用户操作， 获取 与创建的场景有关的输入数据。 随后， 在步骤S330， 指标创建装置130可响应于用于创建指 标的用户操作， 基于获取的输入数据利用图引擎、 专家规则和机器学习模型创建对应的指 标。 具体地， 例如， 在步骤S330， 指标创建装置130可基于获取的输入数据之中的适于利用专 家规则进行处理的输入数据， 利用专家规则创建经验相关指标； 基于获取的输入数据之中 的适于利用图引擎进。

46、行处理的输入数据来创建图， 并利用创建的图创建图相关指标； 基于 获取的输入数据之中的适于利用机器学习模型进行处理的输入数据来创建机器学习模型， 并利用机器学习模型创建模型相关指标。 根据示例性实施例， 基于获取的输入数据之中的 适于利用图引擎进行处理的输入数据来创建图， 并利用创建的图创建图相关指标可包括： 基于适于利用图引擎进行处理的输入数据， 可视化地利用图数据库或关系型数据库定义图 的节点和边所涉及的属性并将节点和边所涉及的属性的值与业务字段相映射； 并且利用创 建的图归纳演绎出图相关指标。 此外， 基于获取的输入数据之中的适于利用机器学习模型 进行处理的输入数据来创建机器学习模型， 。

47、并利用机器学习模型创建模型相关指标可包 括： 基于适于机器学习模型进行处理的输入数据， 按照用户定义的特征提取方式生成将用 于机器学习模型训练的特征； 通过用户界面定义机器学习模型和模型的参数配置； 利用生 成的特征以及定义的参数配置， 对定义的机器学习模型进行训练来创建机器学习模型； 利 用创建的机器学习模型执行预测并利用机器学习模型的预测结果创建模型相关指标。 0042 作为示例， 在场景的场景是与反欺诈有关的场景的情况下， 经验相关指标可包括 年龄、 性别、 申请金额和同设备申请数中的至少一个， 图相关指标包括与申请人相关联的关 联人中的被确定为黑名单的人数或占比， 模型相关指标包括模型。

48、分值。 0043 随后， 在步骤S340， 决策流创建装置140可利用创建的指标创建决策规则并基于创 建的决策规则创建决策流。 作为示例， 决策规则可包括普通规则、 评分卡和决策表中的至少 一个， 但不限于此。 例如， 在步骤S340， 决策流创建装置140可响应于在决策规则配置界面上 的用户操作， 可视化地利用创建的指标创建决策规则， 并且响应于用户在决策流编排界面 上的用户操作， 对创建的决策规则进行可视化编排来创建决策流。 0044 在步骤S350， 调试装置150可对创建的决策流进行调试。 例如， 调试装置150可对创 建的决策规则所涉及的阈值以及决策流的整体流程进行调试。 具体而言，。

49、 对创建的决策规 则所涉及的阈值以及决策流的整体流程进行调试可包括： 可视化地显示针对决策规则所涉 及的不同阈值的二分类指标， 并根据显示的二分类评价指标对创建的决策规则所涉及的阈 值进行调试； 并且可视化地显示与决策流有关的统计数据， 并根据显示的统计数据对决策 流中的决策规则所涉及的阈值以及决策流的整体流程进行调整。 这里， 二分类评价指标可 包括混淆矩阵和根据混淆矩阵衍生出的评价指标中的至少一个， 但不限于此。 说明书 8/10 页 11 CN 111401722 A 11 0045 最后， 在步骤S360， 决策执行装置160可基于针对所述场景的将被用于进行决策的 数据， 利用调试后的。

50、决策流进行决策以提供决策结果。 0046 可选地， 如以上参照图1所述， 智能决策系统100还可包括决策流调整装置。 相应 地， 图3所示的智能决策方法还可包括以下步骤(未示出)： 获取针对决策结果的反馈信息， 并基于获取的反馈信息对决策流进行优化调整。 具体地， 基于获取的反馈信息对决策流进 行优化调整既可以包括基于获取的反馈信息对决策流中的决策规则进行调整， 也可以包括 基于获取的反馈信息对决策流的整体流程进行调整。 例如， 基于获取的反馈信息对决策流 中的决策规则进行调整可包括： 基于获取的反馈信息对创建的图进行调整， 并且基于获取 的反馈信息对机器学习模型进行调整； 利用调整后的图和机。