语义相似度匹配模型训练方法、装置、设备及介质.pdf

《语义相似度匹配模型训练方法、装置、设备及介质.pdf》由会员分享，可在线阅读，更多相关《语义相似度匹配模型训练方法、装置、设备及介质.pdf（20页完成版）》请在专利查询网上搜索。

1、(19)国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 202310678690.5(22)申请日 2023.06.08(71)申请人 河南中原消费金融股份有限公司地址 450000 河南省郑州市郑东新区康宁街99号万众大厦(72)发明人 程昱吕杨苗张雪飞张翼飞胡光辉郭腾飞冯玮(74)专利代理机构 北京集佳知识产权代理有限公司 11227专利代理师 薛娇(51)Int.Cl.G06F 40/194(2020.01)G06F 40/30(2020.01)G06F 16/332(2019.01)G06F 18/214(2023.01)(54)发明名称一种语。

2、义相似度匹配模型训练方法、装置、设备及介质(57)摘要本申请公开了一种语义相似度匹配模型训练方法、装置、设备及介质，涉及语义匹配领域，包括：从预设知识库和用户行为信息中收集用户问题和对应的第一预设数量个相似问集合，基于用户问题与各相似问集合之间的相似度确定对应的独热编码；基于用户问题和第一预设数量个相似问集合，以及相应的独热编码构建弱监督训练数据；将弱监督训练数据输入待训练语义相似度匹配模型，利用预设损失函数并基于弱监督训练数据计算相似度损失，基于相似度损失对模型参数进行调整得到训练好的语义相似度匹配模型。本申请通过自动构建弱监督训练数据，解决实际语义场景中的长尾问题，利用弱监督训练数据对模型。

3、进行快速迁移训练，更好地解决实际场景中的语义匹配问题。权利要求书3页 说明书12页 附图4页CN 116611420 A2023.08.18CN 116611420 A1.一种语义相似度匹配模型训练方法，其特征在于，包括：从预设知识库和用户行为信息中收集用户问题和对应的第一预设数量个相似问集合，并基于所述用户问题与各所述相似问集合之间的相似度确定对应的独热编码；所述相似问集合为基于具有相同语义的第二预设数量个相似问构建的集合；基于所述用户问题和对应的所述第一预设数量个相似问集合，以及相应的所述独热编码构建弱监督训练数据；将所述弱监督训练数据输入待训练语义相似度匹配模型，利用预设损失函数并基于所。

4、述弱监督训练数据计算相似度损失，基于所述相似度损失对模型参数进行调整，以得到训练好的语义相似度匹配模型。2.根据权利要求1所述的语义相似度匹配模型训练方法，其特征在于，所述从预设知识库和用户行为信息中收集用户问题和对应的第一预设数量个相似问集合，并基于所述用户问题与各所述相似问集合之间的相似度确定对应的独热编码，包括：从预设知识库中选出第一预设数量个知识点，并从所述第一预设数量个知识点中选出目标知识点，以及将从所述目标知识点中选出的目标相似问确定为用户问题；所述知识点为基于具有相同语义的若干相似问构建的集合；从所述目标知识点中选出第二预设数量个相似问，以得到对应的目标相似问集合；所述目标相似问。

5、集合中不包含所述目标相似问；从各剩余知识点中分别选出第二预设数量个相似问，以得到对应的各剩余相似问集合；所述剩余知识点为所述第一预设数量个知识点中除所述目标知识点之外的任意一个知识点；基于所述目标相似问集合和各所述剩余相似问集合确定与所述用户问题对应的第一预设数量个相似问集合；将与所述目标知识点对应的所述目标相似问集合确定为与所述用户问题的相似度最大的集合，并将所述目标相似问集合的状态编码为1，以及将各所述剩余相似问集合的状态分别编码为0，以得到相应的独热编码。3.根据权利要求1所述的语义相似度匹配模型训练方法，其特征在于，所述从预设知识库和用户行为信息中收集用户问题和对应的第一预设数量个相似。

6、问集合，并基于所述用户问题与各所述相似问集合之间的相似度确定对应的独热编码，包括：获取用户问题，并利用坐席辅助系统从预设知识库中选择与所述用户问题对应的第一预设数量个知识点；获取人工坐席终端输入的知识点选择指令，基于所述知识点选择指令从所述第一预设数量个知识点确定出对应的目标知识点；从所述第一预设数量个知识点中分别选出第二预设数量个相似问，以得到第一预设数量个相似问集合；将与所述目标知识点对应的相似问集合确定为与所述用户问题的相似度最大的集合，并将与所述目标知识点对应的相似问集合的状态编码为1，以及将各剩余相似问集合的状态分别编码为0，以得到相应的独热编码；所述剩余相似问集合为所述第一预设数量。

7、个相似问集合中除与所述目标知识点对应的相似问集合之外的任意一个集合。4.根据权利要求1所述的语义相似度匹配模型训练方法，其特征在于，所述从预设知识权利要求书1/3 页2CN 116611420 A2库和用户行为信息中收集用户问题和对应的第一预设数量个相似问集合，并基于所述用户问题与各所述相似问集合之间的相似度确定对应的独热编码，包括：获取用户问题，并利用智能客服系统从预设知识库中选择与所述用户问题对应的包含命中知识点和若干推荐知识点的第一预设数量个知识点；所述命中知识点为所述智能客服系统选出的与所述用户问题的相似度最大的知识点；所述推荐知识点为所述智能客服系统选出的与所述用户问题的相似度小于所。

8、述命中知识点与所述用户问题的相似度的知识点；从所述第一预设数量个知识点中分别选出第二预设数量个相似问，以得到第一预设数量个相似问集合；获取用户行为信息，若所述用户行为信息为对所述命中知识点的预设同意行为，则将与所述命中知识点对应的相似问集合确定为与所述用户问题的相似度最大的集合，并将与所述命中知识点对应的相似问集合的状态编码为1，以及将与各所述推荐知识点对应的相似问集合的状态分别编码为0，以得到相应的独热编码。5.根据权利要求4所述的语义相似度匹配模型训练方法，其特征在于，所述获取用户行为信息之后，还包括：若所述用户行为信息为对目标推荐知识点的点击行为，则将与所述目标推荐知识点对应的相似问集合。

9、确定为与所述用户问题的相似度最大的集合，并将与所述目标推荐知识点对应的相似问集合的状态编码为1，以及将各剩余相似问集合的状态分别编码为0，以得到相应的独热编码；所述剩余相似问集合为所述第一预设数量个相似问集合中除与所述目标推荐知识点对应的相似问集合之外的任意一个集合。6.根据权利要求4所述的语义相似度匹配模型训练方法，其特征在于，所述获取用户行为信息之后，还包括：若所述用户行为信息为对所述命中知识点的预设否认行为或为预设转人工行为，则将与所述命中知识点对应的相似问集合的状态编码为1，以及将与各所述推荐知识点对应的相似问集合的状态分别编码为0，以得到相应的独热编码。7.根据权利要求1至6任一项所。

10、述的语义相似度匹配模型训练方法，其特征在于，所述利用预设损失函数并基于所述弱监督训练数据计算相似度损失，包括：分别计算所述弱监督训练数据中的所述用户问题与对应的各所述相似问集合之间的相似度；基于各所述相似度确定相似度总和，并基于各所述相似度分别与所述相似度总和之间的比值确定与各所述相似度集合分别对应的概率；基于各所述相似度集合分别对应的概率以及相应的所述独热编码计算相似度损失。8.一种语义相似度匹配模型训练装置，其特征在于，包括：信息收集模块，用于从预设知识库和用户行为信息中收集用户问题和对应的第一预设数量个相似问集合，并基于所述用户问题与各所述相似问集合之间的相似度确定对应的独热编码；所述相。

11、似问集合为基于具有相同语义的第二预设数量个相似问构建的集合；训练数据构建模块，用于基于所述用户问题和对应的所述第一预设数量个相似问集合，以及相应的所述独热编码构建弱监督训练数据；模型训练模块，用于将所述弱监督训练数据输入待训练语义相似度匹配模型，利用预设损失函数并基于所述弱监督训练数据计算相似度损失，基于所述相似度损失对模型参数权利要求书2/3 页3CN 116611420 A3进行调整，以得到训练好的语义相似度匹配模型。9.一种电子设备，其特征在于，包括：存储器，用于保存计算机程序；处理器，用于执行所述计算机程序以实现如权利要求1至7任一项所述的语义相似度匹配模型训练方法。10.一种计算机可。

12、读存储介质，其特征在于，用于保存计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的语义相似度匹配模型训练方法。权利要求书3/3 页4CN 116611420 A4一种语义相似度匹配模型训练方法、装置、设备及介质技术领域0001本发明涉及语义匹配领域，特别涉及一种语义相似度匹配模型训练方法、装置、设备及介质。背景技术0002在金融公司业务不断发展及客户大量积累的背景下，客户的业务咨询量也随之不断提升，仅依靠人工客服无法满足咨询需求，随之借助AI技术，构造智能问答系统，帮助公司实现24小时不间断地对各类业务、各个阶段的贷款问题进行回答，提高公司整体客服服务水平。在智能问答系统。

13、中，存在着大量标准问和相似问，使用中往往通过文本语义相似度匹配出最相似的相似问，进而给出对应回复。0003但随着业务的快速增长，不断产生各种细分的业务领域，由于业务粒度及要求不同，业务人员配置策略也会随之不同，这就可能导致知识库中不同知识点的相似问句子比较相似，较难区分；或者两个句子是否属于同一个意图，在不同的知识库可能不一样，进一步提高了语义相似度匹配的难度。并且，通用语义相似度模型需要在很大训练集上进行训练，此训练方式要求的数据量百万条起步，而语义相似度训练语料人工标注成本高昂，无法在实际应用中大规模使用，另外，通用语义相似度模型是无法解决特定知识库下的语义匹配以及实际语义场景中长尾严重的。

14、问题。发明内容0004有鉴于此，本发明的目的在于提供一种语义相似度匹配模型训练方法、装置、设备及介质，能够通过自动构建弱监督训练数据，解决实际语义场景中的长尾问题，并利用弱监督训练数据对模型进行快速迁移训练，更好地解决实际场景中的语义匹配问题。其具体方案如下：0005第一方面，本申请提供了一种语义相似度匹配模型训练方法，包括：0006从预设知识库和用户行为信息中收集用户问题和对应的第一预设数量个相似问集合，并基于所述用户问题与各所述相似问集合之间的相似度确定对应的独热编码；所述相似问集合为基于具有相同语义的第二预设数量个相似问构建的集合；0007基于所述用户问题和对应的所述第一预设数量个相似问。

15、集合，以及相应的所述独热编码构建弱监督训练数据；0008将所述弱监督训练数据输入待训练语义相似度匹配模型，利用预设损失函数并基于所述弱监督训练数据计算相似度损失，基于所述相似度损失对模型参数进行调整，以得到训练好的语义相似度匹配模型。0009可选的，所述从预设知识库和用户行为信息中收集用户问题和对应的第一预设数量个相似问集合，并基于所述用户问题与各所述相似问集合之间的相似度确定对应的独热编码，包括：0010从预设知识库中选出第一预设数量个知识点，并从所述第一预设数量个知识点中说明书1/12 页5CN 116611420 A5选出目标知识点，以及将从所述目标知识点中选出的目标相似问确定为用户问题。

16、；所述知识点为基于具有相同语义的若干相似问构建的集合；0011从所述目标知识点中选出第二预设数量个相似问，以得到对应的目标相似问集合；所述目标相似问集合中不包含所述目标相似问；0012从各剩余知识点中分别选出第二预设数量个相似问，以得到对应的各剩余相似问集合；所述剩余知识点为所述第一预设数量个知识点中除所述目标知识点之外的任意一个知识点；0013基于所述目标相似问集合和各所述剩余相似问集合确定与所述用户问题对应的第一预设数量个相似问集合；0014将与所述目标知识点对应的所述目标相似问集合确定为与所述用户问题的相似度最大的集合，并将所述目标相似问集合的状态编码为1，以及将各所述剩余相似问集合的状。

17、态分别编码为0，以得到相应的独热编码。0015可选的，所述从预设知识库和用户行为信息中收集用户问题和对应的第一预设数量个相似问集合，并基于所述用户问题与各所述相似问集合之间的相似度确定对应的独热编码，包括：0016获取用户问题，并利用坐席辅助系统从预设知识库中选择与所述用户问题对应的第一预设数量个知识点；0017获取人工坐席终端输入的知识点选择指令，基于所述知识点选择指令从所述第一预设数量个知识点确定出对应的目标知识点；0018从所述第一预设数量个知识点中分别选出第二预设数量个相似问，以得到第一预设数量个相似问集合；0019将与所述目标知识点对应的相似问集合确定为与所述用户问题的相似度最大的集。

18、合，并将与所述目标知识点对应的相似问集合的状态编码为1，以及将各剩余相似问集合的状态分别编码为0，以得到相应的独热编码；所述剩余相似问集合为所述第一预设数量个相似问集合中除与所述目标知识点对应的相似问集合之外的任意一个集合。0020可选的，所述从预设知识库和用户行为信息中收集用户问题和对应的第一预设数量个相似问集合，并基于所述用户问题与各所述相似问集合之间的相似度确定对应的独热编码，包括：0021获取用户问题，并利用智能客服系统从预设知识库中选择与所述用户问题对应的包含命中知识点和若干推荐知识点的第一预设数量个知识点；所述命中知识点为所述智能客服系统选出的与所述用户问题的相似度最大的知识点；所。

19、述推荐知识点为所述智能客服系统选出的与所述用户问题的相似度小于所述命中知识点与所述用户问题的相似度的知识点；0022从所述第一预设数量个知识点中分别选出第二预设数量个相似问，以得到第一预设数量个相似问集合；0023获取用户行为信息，若所述用户行为信息为对所述命中知识点的预设同意行为，则将与所述命中知识点对应的相似问集合确定为与所述用户问题的相似度最大的集合，并将与所述命中知识点对应的相似问集合的状态编码为1，以及将与各所述推荐知识点对应的相似问集合的状态分别编码为0，以得到相应的独热编码。说明书2/12 页6CN 116611420 A60024可选的，所述获取用户行为信息之后，还包括：002。

20、5若所述用户行为信息为对目标推荐知识点的点击行为，则将与所述目标推荐知识点对应的相似问集合确定为与所述用户问题的相似度最大的集合，并将与所述目标推荐知识点对应的相似问集合的状态编码为1，以及将各剩余相似问集合的状态分别编码为0，以得到相应的独热编码；所述剩余相似问集合为所述第一预设数量个相似问集合中除与所述目标推荐知识点对应的相似问集合之外的任意一个集合。0026可选的，所述获取用户行为信息之后，还包括：0027若所述用户行为信息为对所述命中知识点的预设否认行为或为预设转人工行为，则将与所述命中知识点对应的相似问集合的状态编码为1，以及将与各所述推荐知识点对应的相似问集合的状态分别编码为0，以。

21、得到相应的独热编码。0028可选的，所述利用预设损失函数并基于所述弱监督训练数据计算相似度损失，包括：0029分别计算所述弱监督训练数据中的所述用户问题与对应的各所述相似问集合之间的相似度；0030基于各所述相似度确定相似度总和，并基于各所述相似度分别与所述相似度总和之间的比值确定与各所述相似度集合分别对应的概率；0031基于各所述相似度集合分别对应的概率以及相应的所述独热编码计算相似度损失。0032第二方面，本申请提供了一种语义相似度匹配模型训练装置，包括：0033信息收集模块，用于从预设知识库和用户行为信息中收集用户问题和对应的第一预设数量个相似问集合，并基于所述用户问题与各所述相似问集合。

22、之间的相似度确定对应的独热编码；所述相似问集合为基于具有相同语义的第二预设数量个相似问构建的集合；0034训练数据构建模块，用于基于所述用户问题和对应的所述第一预设数量个相似问集合，以及相应的所述独热编码构建弱监督训练数据；0035模型训练模块，用于将所述弱监督训练数据输入待训练语义相似度匹配模型，利用预设损失函数并基于所述弱监督训练数据计算相似度损失，基于所述相似度损失对模型参数进行调整，以得到训练好的语义相似度匹配模型。0036第三方面，本申请提供了一种电子设备，包括：0037存储器，用于保存计算机程序；0038处理器，用于执行所述计算机程序以实现前述的语义相似度匹配模型训练方法。0039。

23、第四方面，本申请提供了一种计算机可读存储介质，用于保存计算机程序，所述计算机程序被处理器执行时实现前述的语义相似度匹配模型训练方法。0040本申请中，从预设知识库和用户行为信息中收集用户问题和对应的第一预设数量个相似问集合，并基于所述用户问题与各所述相似问集合之间的相似度确定对应的独热编码；所述相似问集合为基于具有相同语义的第二预设数量个相似问构建的集合；基于所述用户问题和对应的所述第一预设数量个相似问集合，以及相应的所述独热编码构建弱监督训练数据；将所述弱监督训练数据输入待训练语义相似度匹配模型，利用预设损失函数并基于所述弱监督训练数据计算相似度损失，基于所述相似度损失对模型参数进行调整，以。

24、得到训练好的语义相似度匹配模型。由此可见，一方面，本申请通过自动从预设知识库中获说明书3/12 页7CN 116611420 A7取弱监督训练数据，可以缓解数据分布偏差，以及快速适应对于特定知识库的语义相似度匹配能力；并且，本申请通过自动根据用户行为信息获取弱监督训练数据，可以解决实际语义场景中的长尾问题，提高弱监督训练数据的获取效率；另一方面，本申请利用弱监督训练数据对模型进行快速迁移训练，使得语义相似度匹配模型可以快速适应特定知识库，并具有更适合特定知识库的语义匹配能力，从而可以更好地解决实际场景中的语义相似度匹配问题，以及提高模型对语义相似度匹配的准确率和效率。附图说明0041为了更清楚。

25、地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。0042图1为本申请公开的一种语义相似度匹配模型训练方法流程图；0043图2为本申请公开的一种知识点分类示意图；0044图3为本申请公开的一种语义相似度匹配模型结构图；0045图4为本申请公开的一种具体的语义相似度匹配模型训练方法流程图；0046图5为本申请公开的一种语义相似度匹配模型训练装置结构示意图；0047图6为本申请公开的一种电子设备结构图。具体。

26、实施方式0048下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。0049目前，通用语义相似度模型的语义相似度匹配难度大，并且通用语义相似度模型需要在很大训练集上进行训练，人工标注成本高，无法在实际应用中大规模使用，另外，通用语义相似度模型是无法解决特定知识库下的语义匹配以及实际语义场景中长尾严重的问题。为此，本申请提供了一种语义相似度匹配模型训练方法，通过自动构建弱监督训练数据，解决实。

27、际语义场景中的长尾问题，并利用弱监督训练数据对模型进行快速迁移训练，更好地解决实际场景中的语义匹配问题。0050参见图1所示，本发明实施例公开了一种语义相似度匹配模型训练方法，包括：0051步骤S11、从预设知识库和用户行为信息中收集用户问题和对应的第一预设数量个相似问集合，并基于所述用户问题与各所述相似问集合之间的相似度确定对应的独热编码；所述相似问集合为基于具有相同语义的第二预设数量个相似问构建的集合。0052本实施例中，预设知识库是业务人员根据业务、产品、常识等构建的，预设知识库中包含若干知识点，每个知识点(或称意图)是由若干个相似问形成的，不同的知识点代表不同的意图，并且一个知识点中的。

28、若干相似问具有相同的语义，不同知识点中的相似问具有不同的语义。例如，如图2所示，样例的前两个句子是一个知识点(或称意图)，具有相同的语义，是咨询如何查看个人信用授权书的步骤；中间两个句子是一个知识点(或称意图)，具说明书4/12 页8CN 116611420 A8有相同的语义，是咨询查看个人信用授权书的原因；最后两个句子是一个知识点(或称意图)，具有相同的语义，是咨询个人信用授权书查看不成功的原因。0053对于从预设知识库和用户行为信息中收集用户问题和对应的第一预设数量个相似问集合，并基于所述用户问题与各所述相似问集合之间的相似度确定对应的独热编码。在第一种具体实施方式中，从预设知识库中选出第。

29、一预设数量个知识点，并从所述第一预设数量个知识点中选出目标知识点，以及将从所述目标知识点中选出的目标相似问确定为用户问题；所述知识点为基于具有相同语义的若干相似问构建的集合；从所述目标知识点中选出第二预设数量个相似问，以得到对应的目标相似问集合；所述目标相似问集合中不包含所述目标相似问；从各剩余知识点中分别选出第二预设数量个相似问，以得到对应的各剩余相似问集合；所述剩余知识点为所述第一预设数量个知识点中除所述目标知识点之外的任意一个知识点；基于所述目标相似问集合和各所述剩余相似问集合确定与所述用户问题对应的第一预设数量个相似问集合；将与所述目标知识点对应的所述目标相似问集合确定为与所述用户问题。

30、的相似度最大的集合，并将所述目标相似问集合的状态编码为1，以及将各所述剩余相似问集合的状态分别编码为0，以得到相应的独热编码。具体的，从预设知识库中随机挑选出5个知识点(A、B、C、D、E)，并从5个知识点中随机选出一个目标知识点，比如A，从A中随机挑选出一个目标相似问作为用户问题，记为Q。进一步的，从A中随机选出N个相似问，构成目标相似问集合SA，例如，N可以为20，并且，N条相似问是不包括用户问题Q的，也即不包括目标相似问；从各剩余知识点(B、C、D、E)中分别随机选出N个相似问，构成各剩余相似问集合(SB，SC，SD，SE)，SA，SB，SC，SD，SE即为与用户问题Q对应的5个相似问集。

31、合。由于用户问题Q是从目标知识点A中选出来的，因此，用户问题Q与目标相似问集合SA中的所有相似问之间的最大相似度均要大于SB，SC，SD，SE，也即，用户问题Q与目标相似问集合SA之间的相似度最大，并将目标相似问集合SA的状态编码为1，以及将各剩余相似问集合(SB，SC，SD，SE)的状态分别编码为0，从而得到与5个相似问集合(SA，SB，SC，SD，SE)对应的独热编码(1，0，0，0，0)。这样一来，本实施例通过自动从预设知识库中获取弱监督训练数据，可以缓解数据分布偏差，以及快速适应对于特定知识库的语义相似度匹配能力，并且，可以快速获取大量的训练数据。0054在第二种具体实施方式中，获取用。

32、户问题，并利用坐席辅助系统从预设知识库中选择与所述用户问题对应的第一预设数量个知识点；获取人工坐席终端输入的知识点选择指令，基于所述知识点选择指令从所述第一预设数量个知识点确定出对应的目标知识点；从所述第一预设数量个知识点中分别选出第二预设数量个相似问，以得到第一预设数量个相似问集合；将与所述目标知识点对应的相似问集合确定为与所述用户问题的相似度最大的集合，并将与所述目标知识点对应的相似问集合的状态编码为1，以及将各剩余相似问集合的状态分别编码为0，以得到相应的独热编码；所述剩余相似问集合为所述第一预设数量个相似问集合中除与所述目标知识点对应的相似问集合之外的任意一个集合。具体的，获取用户问题。

33、，记为Q，利用坐席辅助系统从预设知识库中选择与用户问题Q对应的5个知识点(A、B、C、D、E)，并将5个知识点推荐给人工坐席，供人工坐席选择，如果人工坐席认为某个知识点与用户问题Q相似，则会点击该知识点，然后自动回复或稍加修改后回复给用户终端。也即，坐席辅助系统会根据人工坐席终端输入的知识点点击指令从5个知识点(A、B、C、D、E)确定出对应的目标知识点，例如A，然后从5个知识点(A、B、C、D、E)中分别随机选出N个相似说明书5/12 页9CN 116611420 A9问，构成5个相似问集合(SA，SB，SC，SD，SE)。由于人工坐席选择的是目标知识点A，则表明用户问题Q与目标知识点A对应。

34、的相似问集合SA中的所有相似问之间的最大相似度均要大于SB，SC，SD，SE，也即，用户问题Q与相似问集合SA之间的相似度最大，因此需要将与目标知识点A对应的相似问集合SA的状态编码为1，以及将各剩余相似问集合(SB，SC，SD，SE)的状态分别编码为0，从而得到与5个相似问集合(SA，SB，SC，SD，SE)对应的独热编码(1，0，0，0，0)。这样一来，本实施例通过坐席辅助系统以及人工坐席的行为数据获取弱监督训练数据，更加拟合真实样本的分布情况，并为语义相似度匹配模型的训练提供了大量的弱监督训练数据。需要说明的是，除了上述两种具体实施方式之外，还可以进一步通过用户的行为信息获取弱监督训练数。

35、据。0055步骤S12、基于所述用户问题和对应的所述第一预设数量个相似问集合，以及相应的所述独热编码构建弱监督训练数据。0056本实施例中，在获取到用户问题Q、与用户问题Q对应的5个相似问集合(SA，SB，SC，SD，SE)，以及与5个相似问集合(SA，SB，SC，SD，SE)对应的独热编码(Onehot)Y之后，既可将其整理为弱监督训练数据Q，SA，SB，SC，SD，SE，Y。0057步骤S13、将所述弱监督训练数据输入待训练语义相似度匹配模型，利用预设损失函数并基于所述弱监督训练数据计算相似度损失，基于所述相似度损失对模型参数进行调整，以得到训练好的语义相似度匹配模型。0058本实施例中，。

36、待训练语义相似度匹配模型可以以Transformer的Encoder单元为基础，模型包括4个Encoder单元，输出句子向量维度为312，约300万参数，并且由Softmax层计算相似度损失，这样一来，本实施例通过在通用语义相似度匹配模型的基础上实现模型的快速迁移训练，不会丧失通用语义相似度匹配能力。需要说明的是，以Transformer的Encoder单元为基础的模型只展示了一种具体情况，其他具体情况在此不作限定。0059本实施例中，所述利用预设损失函数并基于所述弱监督训练数据计算相似度损失，可以包括分别计算所述弱监督训练数据中的所述用户问题与对应的各所述相似问集合之间的相似度；基于各所述相。

37、似度确定相似度总和，并基于各所述相似度分别与所述相似度总和之间的比值确定与各所述相似度集合分别对应的概率；基于各所述相似度集合分别对应的概率以及相应的所述独热编码计算相似度损失。可以理解的是，如图3所示，将弱监督训练数据Q，SA，SB，SC，SD，SE，Y输入待训练语义相似度匹配模型的Transformer，并通过Relation分别计算用户问题Q与对应的各相似问集合(SA，SB，SC，SD，SE)之间的相似度corei(i1,2,5)。具体的，计算用户问题Q与某一相似问集合中所有相似问之间的相似度，并取最大相似度作为用户问题Q与该相似问集合的相似度。通过Softmax层计算用户问题Q与各相似。

38、问集合(SA，SB，SC，SD，SE)之间的相似度corei的总和，并根据各相似度与总和之间的比值确定与各相似问集合分别对应的概率pi，基于各相似度集合分别对应的概率pi以及相应的独热编码Y即可计算相似度损失Loss。具体计算公式如下：说明书6/12 页10CN 116611420 A1000600061其中，Si表示相似问集合；Q表示用户问题；Relation()用于计算相似度；corei表示用户问题Q与相似问集合Si之间的相似度；pi表示与相似问集合Si对应的概率；Ym表示第m位为1，其他位为0的独热编码；Loss表示相似度损失。0062本实施例中，在得到训练好的语义相似度匹配模型之后，预。

39、先对知识库中的相似问进行句子编码，并存入向量数据库，如Vearch(分布式向量搜索系统)，以及对编码后的相似问建立索引。在训练好的语义相似度匹配模型获取到用户问题之后，先对用户问题进行句子编码，并从向量数据库中查询与编码后的用户问题相似度最大的目标相似问，并输出该目标相似问至用户终端，完成语义相似度匹配。整个过程大概在20ms左右，并且在语义相似度匹配的性能和精度上均表现优异。这样一来，本申请通过利用弱监督训练数据对语义相似度匹配模型进行训练，使得语义相似度匹配模型可以快速适应特定知识库，并具有更适合特定知识库的语义匹配能力，从而可以更好地解决实际场景中的语义相似度匹配问题，以及提高模型对语义。

40、相似度匹配的准确率和效率。0063由此可见，一方面，本申请通过自动从预设知识库中获取弱监督训练数据，可以缓解数据分布偏差，以及快速适应对于特定知识库的语义相似度匹配能力；并且，本申请通过坐席辅助系统以及人工坐席的行为数据获取弱监督训练数据，更加拟合真实样本的分布情况，并为语义相似度匹配模型的训练提供了大量的弱监督训练数据；进一步的，本申请通过自动根据用户行为信息获取弱监督训练数据，可以解决实际语义场景中的长尾问题，提高弱监督训练数据的获取效率；另一方面，本申请利用弱监督训练数据对模型进行快速迁移训练，使得语义相似度匹配模型可以快速适应特定知识库，并具有更适合特定知识库的语义匹配能力，从而可以更。

41、好地解决实际场景中的语义相似度匹配问题，以及提高模型对语义相似度匹配的准确率和效率。0064基于前一实施例可知，本申请描述了语义相似度匹配模型训练的整体过程，接下来，本申请将对如何通过用户行为信息获取弱监督训练数据进行详细阐述。参见图4所示，本发明实施例公开了一种弱监督训练数据的获取过程，包括：0065步骤S21、获取用户问题，并利用智能客服系统从预设知识库中选择与所述用户问题对应的包含命中知识点和若干推荐知识点的第一预设数量个知识点；所述命中知识点为所述智能客服系统选出的与所述用户问题的相似度最大的知识点；所述推荐知识点为所述智能客服系统选出的与所述用户问题的相似度小于所述命中知识点与所述用。

42、户问题的相似度的知识点。0066本实施例中，获取用户问题，记为Q，利用智能客服系统从预设知识库中选择与用户问题Q的相似度最大的命中知识点A，以及选择与用户问题Q的相似度小于用户问题Q与命中知识点A的相似度的若干推荐知识点(B、C、D、E)，命中知识点A和若干推荐知识点(B、C、D、E)即构成了第一预设数量个知识点。说明书7/12 页11CN 116611420 A110067步骤S22、从所述第一预设数量个知识点中分别选出第二预设数量个相似问，以得到第一预设数量个相似问集合。0068本实施例中，从第一预设数量个知识点，也即5个知识点(A、B、C、D、E)中分别随机选出N个相似问，构成5个相似问。

43、集合(SA，SB，SC，SD，SE)，其中，N可以取20。0069步骤S23、获取用户行为信息，若所述用户行为信息为对所述命中知识点的预设同意行为，则将与所述命中知识点对应的相似问集合确定为与所述用户问题的相似度最大的集合，并将与所述命中知识点对应的相似问集合的状态编码为1，以及将与各所述推荐知识点对应的相似问集合的状态分别编码为0，以得到相应的独热编码。0070本实施例中，在获取到用户行为信息之后，在第一种具体实施方式中，如果用户行为信息为对命中知识点A的点赞行为，也即用户对命中知识点A表示同意或满意，则可以将与命中知识点A对应的相似问集合SA确定为与用户问题Q的相似度最大的集合，也即用户问。

44、题Q与相似问集合SA中的所有相似问之间的最大相似度均要大于SB，SC，SD，SE，从而可以将相似问集合SA的状态编码为1，以及将各推荐知识点(B、C、D、E)对应的相似问集合(SB，SC，SD，SE)的状态分别编码为0，以得到与5个相似问集合(SA，SB，SC，SD，SE)对应的独热编码(1，0，0，0，0)。0071在第二种具体实施方式中，若所述用户行为信息为对目标推荐知识点的点击行为，则将与所述目标推荐知识点对应的相似问集合确定为与所述用户问题的相似度最大的集合，并将与所述目标推荐知识点对应的相似问集合的状态编码为1，以及将各剩余相似问集合的状态分别编码为0，以得到相应的独热编码；所述剩余。

45、相似问集合为所述第一预设数量个相似问集合中除与所述目标推荐知识点对应的相似问集合之外的任意一个集合。可以理解的是，如果用户行为信息为对目标推荐知识点B的点击行为，也即用户对目标推荐知识点B更赞同，则可以将与目标推荐知识点B对应的相似问集合SB确定为与用户问题Q的相似度最大的集合，也即用户问题Q与相似问集合SB中的所有相似问之间的最大相似度均要大于SA，SC，SD，SE，从而可以将相似问集合SB的状态编码为1，以及将SA，SC，SD，SE的状态分别编码为0，以得到与5个相似问集合(SA，SB，SC，SD，SE)对应的独热编码(0，1，0，0，0)。0072在第三种具体实施方式中，若所述用户行为信。

46、息为对所述命中知识点的预设否认行为或为预设转人工行为，则将与所述命中知识点对应的相似问集合的状态编码为1，以及将与各所述推荐知识点对应的相似问集合的状态分别编码为0，以得到相应的独热编码。可以理解的是，如果用户行为信息为对命中知识点A的下踩行为或者用户行为信息为转人工行为，也即用户对命中知识点A表示不赞同或不满意，则将与命中知识点A对应的相似问集合SA的状态编码为1，以及将各推荐知识点(B、C、D、E)对应的相似问集合(SB，SC，SD，SE)的状态分别编码为0，以得到与5个相似问集合(SA，SB，SC，SD，SE)对应的独热编码(1，0，0，0，0)。需要说明的是，此时用户问题Q与相似问集合。

47、SA中的所有相似问之间的最大相似度均要小于SB，SC，SD，SE，并且，在利用第三种具体实施方式得到的训练数据进行相似度损失的计算时，对用户问题Q与相似问集合SA的相似度需要取相反数，再用于损失函数计算相似度损失。0073由此可见，本申请通过自动根据不同的用户行为信息，结合预设知识库获取各类的弱监督训练数据，从而可以解决实际语义场景中的长尾问题，以及可以更加拟合真实样本的分布情况，并为语义相似度匹配模型的训练提供了大量的弱监督训练数据。0074参见图5所示，本发明实施例公开了一种语义相似度匹配模型训练装置，包括：说明书8/12 页12CN 116611420 A120075信息收集模块11，用。

48、于从预设知识库和用户行为信息中收集用户问题和对应的第一预设数量个相似问集合，并基于所述用户问题与各所述相似问集合之间的相似度确定对应的独热编码；所述相似问集合为基于具有相同语义的第二预设数量个相似问构建的集合；0076训练数据构建模块12，用于基于所述用户问题和对应的所述第一预设数量个相似问集合，以及相应的所述独热编码构建弱监督训练数据；0077模型训练模块13，用于将所述弱监督训练数据输入待训练语义相似度匹配模型，利用预设损失函数并基于所述弱监督训练数据计算相似度损失，基于所述相似度损失对模型参数进行调整，以得到训练好的语义相似度匹配模型。0078由此可见，一方面，本申请通过自动从预设知识库。

49、中获取弱监督训练数据，可以缓解数据分布偏差，以及快速适应对于特定知识库的语义相似度匹配能力；并且，本申请通过自动根据用户行为信息获取弱监督训练数据，可以解决实际语义场景中的长尾问题，提高弱监督训练数据的获取效率；另一方面，本申请利用弱监督训练数据对模型进行快速迁移训练，使得语义相似度匹配模型可以快速适应特定知识库，并具有更适合特定知识库的语义匹配能力，从而可以更好地解决实际场景中的语义相似度匹配问题，以及提高模型对语义相似度匹配的准确率和效率。0079在一些具体实施例中，所述信息收集模块11，具体可以包括：0080用户问题确定单元，用于从预设知识库中选出第一预设数量个知识点，并从所述第一预设数。

50、量个知识点中选出目标知识点，以及将从所述目标知识点中选出的目标相似问确定为用户问题；所述知识点为基于具有相同语义的若干相似问构建的集合；0081第一集合获取单元，用于从所述目标知识点中选出第二预设数量个相似问，以得到对应的目标相似问集合；所述目标相似问集合中不包含所述目标相似问；0082第二集合获取单元，用于从各剩余知识点中分别选出第二预设数量个相似问，以得到对应的各剩余相似问集合；所述剩余知识点为所述第一预设数量个知识点中除所述目标知识点之外的任意一个知识点；0083集合确定单元，用于基于所述目标相似问集合和各所述剩余相似问集合确定与所述用户问题对应的第一预设数量个相似问集合；0084第一编。