疾病分类编码识别方法、装置及存储介质.pdf

《疾病分类编码识别方法、装置及存储介质.pdf》由会员分享，可在线阅读，更多相关《疾病分类编码识别方法、装置及存储介质.pdf（24页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010285122.5 (22)申请日 2020.04.13 (71)申请人 广州天鹏计算机科技有限公司 地址 510000 广东省广州市天河区珠江东 路11号高德置地秋F座1501室 (72)发明人 陈逸龙 (74)专利代理机构 深圳市赢源知识产权代理事 务所(普通合伙) 44590 代理人 胡明苏迎 (51)Int.Cl. G06F 40/58(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G16H 10/60(2018.。

2、01) (54)发明名称 疾病分类编码识别方法、 装置及存储介质 (57)摘要 本发明各实施例公开了一种疾病分类编码 识别方法、 装置、 计算机设备及存储介质， 其中， 所述疾病分类编码识别方法包括： 获取诊断数 据； 将所述诊断数据作为源语言输入机器翻译模 型， 所述机器翻译模型包括编码网络和解码网 络； 通过所述编码网络进行所述源语言的特征提 取， 得到所述源语言的特征； 将所述源语言的特 征输入所述解码网络进行解码， 使得所述源语言 被翻译为目标语言， 所述目标语言为所述诊断数 据匹配的疾病分类编码。 采用本发明所提供的疾 病分类编码识别方法、 装置、 计算机设备及存储 介质解决了现有技。

3、术中疾病分类编码识别的准 确率不高的问题。 权利要求书3页 说明书11页 附图9页 CN 111581987 A 2020.08.25 CN 111581987 A 1.一种疾病分类编码识别方法， 其特征在于， 包括： 获取诊断数据； 将所述诊断数据作为源语言输入机器翻译模型， 所述机器翻译模型包括编码网络和解 码网络； 通过所述编码网络进行所述源语言的特征提取， 得到所述源语言的特征； 将所述源语言的特征输入所述解码网络进行解码， 使得所述源语言被翻译为目标语 言， 所述目标语言为所述诊断数据匹配的疾病分类编码。 2.如权利要求1所述的方法， 其特征在于， 所述编码网络包括第一嵌入层和若干个。

4、编码 子层； 所述通过所述编码网络进行所述源语言的特征提取， 得到所述源语言的特征， 包括： 在所述第一嵌入层中， 将所述源语言中的分词映射为待编码向量； 通过若干个所述编码子层对所述待编码向量进行特征提取， 得到所述源语言的特征。 3.如权利要求2所述的方法， 其特征在于， 所述编码子层包括第一多头注意力层、 第一 全连接层和第一残差连接层； 所述通过若干个所述编码子层对所述待编码向量进行特征提取， 得到所述源语言的特 征， 包括： 针对每一个编码子层， 接收该编码子层的输入向量作为所述第一多头注意力层的输入 向量， 由所述第一多头注意力层的输入端输入； 所述待编码向量作为第一个编码子层的输。

5、 入向量； 通过连接于所述第一多头注意力层的第一残差连接层， 使得所述第一多头注意力层的 输入向量与输出向量融合， 并传输至所述第一全连接层； 通过连接于所述第一全连接层的第一残差连接层， 使得所述第一全连接层的输入向量 与输出向量融合， 得到该编码子层的输出向量； 该编码子层的输出向量作为后一个编码子 层的输入向量； 将最后一个编码子层的输出向量作为所述源语言的特征。 4.如权利要求3所述的方法， 其特征在于， 所述第一多头注意力层的输入端包括Q1输入 端、 K1输入端和V1输入端； 所述针对每一个编码子层， 接收该编码子层的输入向量作为所述第一多头注意力层的 输入向量， 由所述第一多头注意。

6、力层的输入端输入， 包括： 在所述编码子层中， 将所述编码子层的输入向量通过Q1输入端、 K1输入端和V1输入端 输入所述第一多头注意力层， 分别作为所述第一多头注意力层的Q端输入向量、 K端输入向 量和V端输入向量。 5.如权利要求1所述的方法， 其特征在于， 所述解码网络包括第二嵌入层和若干个解码 子层； 所述将所述源语言的特征输入所述解码网络进行解码， 使得所述源语言被翻译为目标 语言， 包括： 将所述源语言的特征输入所述第二嵌入层进行映射， 得到待解码向量； 通过若干个所述解码子层进行所述待解码向量的解码， 得到所述目标语言。 6.如权利要求5所述的方法， 其特征在于， 所述解码子层包。

7、括第二多头注意力层、 第三 权利要求书 1/3 页 2 CN 111581987 A 2 多头注意力层、 第二全连接层、 第二残差连接层和第三残差连接层； 所述通过若干个所述解码子层进行所述待解码向量的解码， 得到所述目标语言， 包括： 针对每一个解码子层， 接收该解码子层的输入向量作为所述第二多头注意力层的输入 向量， 由所述第二多头注意力层的输入端输入； 所述待解码向量作为第一个解码子层的输 入向量； 通过连接于所述第二多头注意力层的第二残差连接层， 使得所述第二多头注意力层的 输入向量与输出向量融合， 并传输至所述第三多头注意力层； 通过所述第三残差连接层， 将对应于该解码子层的编码子层。

8、的输出向量作为所述第三 多头注意力层的输入向量， 由所述第三多头注意力层的输入端输入， 以及， 通过连接于所述 第三多头注意力层的第二残差连接层， 使得所述第三多头注意力层的输入向量与输出向量 融合， 并传输至所述第二全连接层； 通过连接于所述第二全连接层的第二残差连接层， 使得所述第二全连接层的输入向量 与输出向量融合， 得到该解码子层的输出向量； 该解码子层的输出向量作为后一个解码子 层的输入向量； 由最后一个解码子层的输出向量得到所述目标语言。 7.如权利要求6所述的方法， 其特征在于， 所述第二多头注意力层的输入端包括Q2输入 端、 K2输入端和V2输入端； 所述针对每一个解码子层， 。

9、接收该解码子层的输入向量作为所述第二多头注意力层的 输入向量， 由所述第二多头注意力层的输入端输入， 包括： 在所述解码子层中， 将所述解码子层的输入向量通过Q2输入端、 K2输入端和V2输入端 输入所述第二多头注意力层， 分别作为所述第二多头注意力层的Q端输入向量、 K端输入向 量和V端输入向量。 8.如权利要求6所述的方法， 其特征在于， 所述第三多头注意力层的输入端包括Q3输入 端、 K3输入端和V3输入端； 所述通过所述第三残差连接层， 将对应于该解码子层的编码子层的输出向量作为所述 第三多头注意力层的输入向量， 由所述第三多头注意力层的输入端输入， 包括： 在所述第三多头注意力层中，。

10、 将对应于该解码子层的编码子层的输出向量通过K3输入 端和V3输入端输入所述第三多头注意力层， 分别作为所述第三多头注意力层的K端输入向 量和V端输入向量； 以及， 将所述第二多头注意力层的输入向量与输出向量融合的结果通过Q3输入端输入所述 第三多头注意力层， 作为所述第三多头注意力层的Q端输入向量； 所述通过连接于所述第三多头注意力层的第二残差连接层， 使得所述第三多头注意力 层的输入向量与输出向量融合， 包括： 通过连接于所述第三多头注意力层的第二残差连接层， 使得所述第三多头注意力层的 Q端输入向量与输出向量融合。 9.一种疾病分类编码识别装置， 其特征在于， 包括： 数据获取模块， 用。

11、于获取诊断数据； 数据输入模块， 用于将所述诊断数据作为源语言输入机器翻译模型， 所述机器翻译模 型包括编码网络和解码网络； 权利要求书 2/3 页 3 CN 111581987 A 3 编码模块， 用于通过所述编码网络进行所述源语言的特征提取， 得到所述源语言的特 征； 解码模块， 用于将所述源语言的特征输入所述解码网络进行解码， 使得所述源语言被 翻译为目标语言， 所述目标语言为所述诊断数据匹配的疾病分类编码。 10.一种存储介质， 其特征在于， 其上存储有计算机程序， 所述计算机程序被处理器执 行时实现如权利要求1至8中任一项所述的疾病分类编码识别方法。 权利要求书 3/3 页 4 CN。

12、 111581987 A 4 疾病分类编码识别方法、 装置及存储介质 技术领域 0001 本发明涉及计算机技术领域， 尤其涉及一种疾病分类编码识别方法、 装置及存储 介质。 背景技术 0002 随着医学技术的发展， 国际疾病分类 （ICD, International Classification of Diseases） 编码已被广泛地应用于描述病人病情， 例如病因、 损伤、 死因等等。 因此， 如何快 速地将医生关于病人病情描述的非标准化的数据转化为标准化的疾病分类编码便具有重 要意义。 0003 通常， 上述非标准化至标准化的转化过程， 是由医院专门的编码员为医生给出的 关于病人病情描述。

13、的数据赋予疾病分类编码。 这就要求编码员需要掌握许多特殊技能， 例 如医学知识、 编码规则、 医学术语等等， 进而导致依赖于人工实现的疾病分类编码识别不仅 人力成本非常昂贵， 而且效率过于低下。 0004 为此， 基于计算机设备的疾病分类编码识别应运而生， 然而， 无论是基于字典检索 技术的疾病分类编码识别， 或者基于分类学习的疾病分类编码识别， 虽然在一定程度上缓 解了人工实现的困境， 但不可避免地存在因数据稀疏， 而难以保证疾病分类编码识别的准 确率。 0005 由上可知， 现有的疾病分类编码识别尚存在准确率不高的缺陷。 发明内容 0006 本发明各实施例提供一种疾病分类编码识别方法、 装。

14、置、 计算机设备及存储介质， 以解决相关技术中存在的疾病分类编码识别的准确率不高的问题。 0007 其中， 本发明所采用的技术方案为： 根据本发明实施例的一个方面， 一种疾病分类编码识别方法， 包括： 获取诊断数据； 将 所述诊断数据作为源语言输入机器翻译模型， 所述机器翻译模型包括编码网络和解码网 络； 通过所述编码网络进行所述源语言的特征提取， 得到所述源语言的特征； 将所述源语言 的特征输入所述解码网络进行解码， 使得所述源语言被翻译为目标语言， 所述目标语言为 所述诊断数据匹配的疾病分类编码。 0008 根据本发明实施例的一个方面， 一种疾病分类编码识别装置， 包括： 数据获取模 块，。

15、 用于获取诊断数据； 数据输入模块， 用于将所述诊断数据作为源语言输入机器翻译模 型， 所述机器翻译模型包括编码网络和解码网络； 编码模块， 用于通过所述编码网络进行所 述源语言的特征提取， 得到所述源语言的特征； 解码模块， 用于将所述源语言的特征输入所 述解码网络进行解码， 使得所述源语言被翻译为目标语言， 所述目标语言为所述诊断数据 匹配的疾病分类编码。 0009 在一个实施例中， 所述编码网络包括第一嵌入层和若干个编码子层； 所述编码模 块， 包括： 编码映射单元， 用于在所述第一嵌入层中， 将所述源语言中的分词映射为待编码 说明书 1/11 页 5 CN 111581987 A 5 。

16、向量； 特征提取单元， 用于通过若干个所述编码子层对所述待编码向量进行特征提取， 得到 所述源语言的特征。 0010 在一个实施例中， 所述编码子层包括第一多头注意力层、 第一全连接层和第一残 差连接层； 所述特征提取单元， 包括： 第一输入子单元， 用于针对每一个编码子层， 接收该编 码子层的输入向量作为所述第一多头注意力层的输入向量， 由所述第一多头注意力层的输 入端输入； 所述待编码向量作为第一个编码子层的输入向量； 第一融合子单元， 用于通过连 接于所述第一多头注意力层的第一残差连接层， 使得所述第一多头注意力层的输入向量与 输出向量融合， 并传输至所述第一全连接层； 第二融合子单元，。

17、 用于通过连接于所述第一全 连接层的第一残差连接层， 使得所述第一全连接层的输入向量与输出向量融合， 得到该编 码子层的输出向量； 该编码子层的输出向量作为后一个编码子层的输入向量； 第一输出子 单元， 用于将最后一个编码子层的输出向量作为所述源语言的特征。 0011 在一个实施例中， 所述第一多头注意力层的输入端包括Q1输入端、 K1输入端和V1 输入端； 所述第一输入子单元， 包括： 第一向量输入子单元， 用于在所述编码子层中， 将所述 编码子层的输入向量通过Q1输入端、 K1输入端和V1输入端输入所述第一多头注意力层， 分 别作为所述第一多头注意力层的Q端输入向量、 K端输入向量和V端输。

18、入向量。 0012 在一个实施例中， 所述解码网络包括第二嵌入层和若干个解码子层； 所述解码模 块， 包括： 解码映射单元， 用于将所述源语言的特征输入所述第二嵌入层进行映射， 得到待 解码向量； 特征解码单元， 用于通过若干个所述解码子层进行所述待解码向量的解码， 得到 所述目标语言。 0013 在一个实施例中， 所述解码子层包括第二多头注意力层、 第三多头注意力层、 第二 全连接层、 第二残差连接层和第三残差连接层； 所述特征解码单元， 包括： 第二输入子单元， 用于针对每一个解码子层， 接收该解码子层的输入向量作为所述第二多头注意力层的输入 向量， 由所述第二多头注意力层的输入端输入； 。

19、所述待解码向量作为第一个解码子层的输 入向量； 第三融合子单元， 用于通过连接于所述第二多头注意力层的第二残差连接层， 使得 所述第二多头注意力层的输入向量与输出向量融合， 并传输至所述第三多头注意力层； 第 四融合子单元， 用于通过所述第三残差连接层， 将对应于该解码子层的编码子层的输出向 量作为所述第三多头注意力层的输入向量， 由所述第三多头注意力层的输入端输入， 以及， 通过连接于所述第三多头注意力层的第二残差连接层， 使得所述第三多头注意力层的输入 向量与输出向量融合， 并传输至所述第二全连接层； 第五融合子单元， 用于通过连接于所述 第二全连接层的第二残差连接层， 使得所述第二全连接。

20、层的输入向量与输出向量融合， 得 到该解码子层的输出向量； 该解码子层的输出向量作为后一个解码子层的输入向量； 第二 输入单元， 用于由最后一个解码子层的输出向量得到所述目标语言。 0014 在一个实施例中， 所述第二多头注意力层的输入端包括Q2输入端、 K2输入端和V2 输入端； 所述第二输入单元， 包括： 第二向量输入子单元， 用于在所述解码子层中， 将所述解 码子层的输入向量通过Q2输入端、 K2输入端和V2输入端输入所述第二多头注意力层， 分别 作为所述第二多头注意力层的Q端输入向量、 K端输入向量和V端输入向量。 0015 在一个实施例中， 所述第三多头注意力层的输入端包括Q3输入端。

21、、 K3输入端和V3 输入端； 所述第三融合单元， 包括： 第三向量输入子单元， 用于在所述第三多头注意力层中， 将对应于该解码子层的编码子层的输出向量通过K3输入端和V3输入端输入所述第三多头 说明书 2/11 页 6 CN 111581987 A 6 注意力层， 分别作为所述第三多头注意力层的K端输入向量和V端输入向量； 以及， 第四向量 输入子单元， 用于将所述第二多头注意力层的输入向量与输出向量融合的结果通过Q3输入 端输入所述第三多头注意力层， 作为所述第三多头注意力层的Q端输入向量； 所述第三融合 单元， 还包括： 向量融合子单元， 用于通过连接于所述第三多头注意力层的第二残差连接。

22、 层， 使得所述第三多头注意力层的Q端输入向量与输出向量融合。 0016 根据本发明实施例的一个方面， 一种计算机设备， 包括处理器及存储器， 所述存储 器上存储有计算机可读指令， 所述计算机可读指令被所述处理器执行时实现如上所述的疾 病分类编码识别方法。 0017 根据本发明实施例的一个方面， 一种存储介质， 其上存储有计算机程序， 所述计算 机程序被处理器执行时实现如上所述的疾病分类编码识别方法。 0018 在上述技术方案中， 利用机器翻译模型， 对作为源语言的诊断数据进行翻译， 得到 目标语言， 以作为该诊断数据匹配的疾病分类编码。 0019 具体而言， 获取诊断数据， 以将该诊断数据作。

23、为源语言输入机器翻译模型， 通过机 器翻译模型中的编码网络进行源语言的特征提取， 得到源语言的特征， 进而将源语言的特 征输入机器翻译模型中的解码网络进行解码， 得到目标语言， 作为诊断数据匹配的疾病分 类编码， 由此， 实现了源语言到目标语言的翻译， 既不涉及字典检索技术， 也不涉及分类学 习， 故而无需考虑数据稀疏问题， 从而能够保证疾病分类编码识别的准确率， 以此有效地解 决了现有技术中存在的疾病分类编码识别的准确率不高的问题。 0020 应当理解的是， 以上的一般描述和后文的细节描述仅是示例性和解释性的， 并不 能限制本发明。 附图说明 0021 此处的附图被并入说明书中并构成本说明书。

24、的一部分， 示出了符合本发明的实施 例， 并于说明书一起用于解释本发明的原理。 0022 图1是根据本发明所涉及的实施环境的示意图。 0023 图2是根据一示例性实施例示出的一种计算机设备的硬件结构图。 0024 图3是根据一示例性实施例示出的一种疾病分类编码识别方法的流程图。 0025 图4是图3对应实施例所涉及的机器翻译模型的结构示意图。 0026 图5是根据一示例性实施例示出的编码网络的结构示意图。 0027 图6是图3对应实施例中步骤350在一个实施例的流程图。 0028 图7是图5对应实施例所涉及的第一多头注意力层的结构示意图。 0029 图8是根据一示例性实施例示出的解码网络的结构。

25、示意图。 0030 图9是图3对应实施例中步骤370在一个实施例的流程图。 0031 图10是图8对应实施例所涉及的第二多头注意力层和第三多头注意力层的结构示 意图。 0032 图11是根据一示例性实施例示出的一种疾病分类编码识别装置的框图。 0033 图12是根据一示例性实施例示出的一种计算机设备的框图。 0034 图13是根据一示例性实施例示出的一种存储介质的框图。 0035 通过上述附图， 已示出本发明明确的实施例， 后文中将有更详细的描述， 这些附图 说明书 3/11 页 7 CN 111581987 A 7 和文字描述并不是为了通过任何方式限制本发明构思的范围， 而是通过参考特定实施。

26、例为 本领域技术人员说明本发明的概念。 具体实施方式 0036 这里将详细地对示例性实施例执行说明， 其示例表示在附图中。 下面的描述涉及 附图时， 除非另有表示， 不同附图中的相同数字表示相同或相似的要素。 以下示例性实施例 中所描述的实施方式并不代表与本发明相一致的所有实施方式。 相反， 它们仅是与如所附 权利要求书中所详述的、 本发明的一些方面相一致的装置和方法的例子。 0037 图1为一种疾病分类编码识别方法所涉及的实施环境的示意图。 该实施环境包括 用户端110和服务端130。 0038 具体地， 用户端110， 用于提供医生关于病人病情描述的非标准化的数据， 即诊断 数据。 该用户。

27、端110可以是台式电脑、 笔记本电脑、 平板电脑、 智能手机、 掌上电脑、 便携移动 终端等等具有通信功能的电子设备， 在此不构成具体限定。 0039 服务端130， 该服务端130可以是台式电脑、 笔记本电脑、 服务器等等计算机设备， 还可以是由多台服务器构成的服务器集群， 甚至是由多台服务器构成的云计算中心。 其中， 服务器是为用户提供后台服务的计算机设备， 例如， 后台服务包括但不限于疾病分类编码 识别服务等等。 0040 服务端130与用户端110之间预先通过有线或者无线等方式建立通信连接， 并通过 该通信连接实现服务端130与用户端110之间的数据传输。 传输的数据包括但不限于： 疾。

28、病 分类编码、 诊断数据等等。 0041 通过用户端110与服务端130的交互， 用户端110将收集到的诊断数据上传至服务 端130， 以使服务端130基于该诊断数据提供疾病分类编码识别服务。 0042 对于服务端130而言， 在接收到用户端110上传的诊断数据之后， 便能够调用疾病 分类编码识别服务， 获得该诊断数据匹配的疾病分类编码， 并返回至用户端110。 0043 基于上述过程， 实现高效且准确的疾病分类编码识别。 0044 图2是根据一示例性实施例示出的一种计算机设备的硬件结构框图。 该种计算机 设备适用于图1所示出实施环境的服务端130。 0045 需要说明的是， 该种计算机设备只。

29、是一个适配于本发明的示例， 不能认为是提供 了对本发明的使用范围的任何限制。 该种计算机设备也不能解释为需要依赖于或者必须具 有图2中示出的示例性的计算机设备200中的一个或者多个组件。 0046 计算机设备200的硬件结构可因配置或者性能的不同而产生较大的差异， 如图2所 示， 计算机设备200包括： 电源210、 接口230、 至少一存储器250、 以及至少一中央处理器 （CPU, Central Processing Units） 270。 0047 具体地， 电源210用于为计算机设备200上的各硬件设备提供工作电压。 0048 接口230包括至少一有线或无线网络接口， 用于与外部设备。

30、交互。 例如， 进行图1所 示出实施环境中用户端110与服务端130之间的交互。 0049 当然， 在其余本发明适配的示例中， 接口230还可以进一步包括至少一串并转换接 口233、 至少一输入输出接口235以及至少一USB接口237等， 如图2所示， 在此并非对此构成 具体限定。 说明书 4/11 页 8 CN 111581987 A 8 0050 存储器250作为资源存储的载体， 可以是只读存储器、 随机存储器、 磁盘或者光盘 等， 其上所存储的资源包括操作系统251、 应用程序253及数据255等， 存储方式可以是短暂 存储或者永久存储。 0051 其中， 操作系统251用于管理与控制计。

31、算机设备200上的各硬件设备以及应用程序 253， 以实现中央处理器270对存储器250中海量数据255的运算与处理， 其可以是Windows ServerTM、 Mac OS XTM、 UnixTM、 LinuxTM、 FreeBSDTM等。 0052 应用程序253是基于操作系统251之上完成至少一项特定工作的计算机程序， 其可 以包括至少一模块 （图2中未示出） ， 每个模块都可以分别包含有对计算机设备200的一系列 计算机可读指令。 例如， 疾病分类编码识别装置可视为部署于计算机设备200的应用程序 253。 0053 数据255可以是存储于磁盘中的照片、 图片等， 还可以是诊断数据、。

32、 疾病分类编码 等等， 存储于存储器250中。 0054 中央处理器270可以包括一个或多个以上的处理器， 并设置为通过至少一通信总 线与存储器250通信， 以读取存储器250中存储的计算机可读指令， 进而实现对存储器250中 海量数据255的运算与处理。 例如， 通过中央处理器270读取存储器250中存储的一系列计算 机可读指令的形式来完成疾病分类编码识别方法。 0055 此外， 通过硬件电路或者硬件电路结合软件也能同样实现本发明， 因此， 实现本发 明并不限于任何特定硬件电路、 软件以及两者的组合。 0056 请参阅图3， 在一示例性实施例中， 一种疾病分类编码识别方法适用于计算机设 备，。

33、 例如， 图1所示实施环境的服务端130， 该计算机设备的结构可以如图2所示。 0057 该种疾病分类编码识别方法可以由计算机设备执行， 也可以理解为由计算机设备 中运行的应用程序 （例如疾病分类编码识别装置） 执行。 在下述方法实施例中， 为了便于描 述， 以各步骤的执行主体为计算机设备加以说明， 但是并不对此构成限定。 0058 该种疾病分类编码识别方法可以包括以下步骤： 步骤310， 获取诊断数据。 0059 其中， 诊断数据， 指的是医生关于病人病情描述的非标准化的数据。 0060 关于诊断数据的来源， 回请参阅图1， 可以是用户端实时收集到的诊断数据， 也可 以是用户端中存储的一历史。

34、时间段内收集到的诊断数据。 换而言之， 对于服务端而言， 诊断 数据的获取， 既可以是接收用户端实时收集并主动上报的诊断数据， 还可以是服务端主动 读取用户端中存储的诊断数据， 亦即是主动读取一历史时间段内用户端收集到的诊断数 据， 此处并未加以限定。 0061 相应地， 在获取到诊断数据之后， 计算机设备可以对诊断数据进行实时处理， 也可 以存储了再处理。 例如， 在计算机设备内存占用率较低的时候处理， 或者， 按照编码员的指 示进行处理， 以此有利于提升疾病分类编码识别的识别效率。 0062 步骤330， 将所述诊断数据作为源语言输入机器翻译模型。 0063 首先说明的是， 机器翻译模型，。

35、 实质是在源语言与目标语言之间建立了数学映射 关系， 由此， 当作为源语言的诊断数据输入机器翻译模型， 便可基于该数学映射关系， 将源 语言翻译为目标语言， 即视为该诊断数据匹配的疾病分类编码。 0064 在此， 机器翻译模型， 是通过多个训练样本对基础模型加以训练生成的。 其中， 基 说明书 5/11 页 9 CN 111581987 A 9 础模型包括但不限于： 神经网络模型等等。 0065 关于训练样本， 实质是通过匹配校正使得诊断数据与疾病分类编码相匹配而生成 的。 换而言之， 训练样本， 指的是携带ICD-10标签的诊断数据， 该ICD-10标签用于指示该诊 断数据匹配的疾病分类编码。

36、。 0066 举例来说， 诊断数据为右肺气肿 （并肺大泡形成） ， 通过匹配校正， 与该诊断数据匹 配的ICD-10标签为J43.901,J43.900， 那么， 训练样本可以表示为： 右肺气肿 （并肺大泡形 成） J43.901,J43.900。 0067 关于训练， 则是通过多个训练样本， 对基础模型的参数进行优化， 使得特定函数收 敛， 进而使得源语言与目标语言之间的数学映射关系达到最优， 则由基础模型收敛得到机 器翻译模型。 其中， 特定函数包括但不限于： 最大似然函数、 激活损失函数、 期望函数等等。 0068 下面以激活损失函数作为特定函数， 举例说明机器翻译模型的训练过程。 00。

37、69 具体地， 对基础模型的参数进行随机初始化， 并基于随机初始化的参数和其中一 个训练样本， 计算已构建的激活损失函数的损失值。 其中， 该激活损失函数的构建与随机初 始化的参数有关。 0070 如果该激活损失函数的损失值达到最小， 则该激活损失函数视为收敛， 此时， 由基 础模型收敛得到机器翻译模型。 也即是， 机器翻译模型相当于携带随机初始化的参数的基 础模型。 0071 反之， 如果该激活损失函数的损失值未达到最小， 则更新基础模型的参数， 并基于 更新的参数和后一个训练样本， 再次计算重新构建的激活损失函数的损失值。 其中， 该激活 损失函数的重新构建与更新的参数有关。 0072 如。

38、此循环优化， 直至该激活损失函数的损失值达到最小， 由基础模型收敛得到机 器翻译模型。 也即是， 机器翻译模型相当于携带更新的参数的基础模型。 0073 当然， 考虑训练效率， 还可以设置迭代次数， 该迭代次数可以根据应用场景的实际 需要灵活地调整， 例如， 对疾病分类编码识别的准确率要求较高的应用场景， 设置较大的迭 代次数。 0074 此时， 如果迭代次数达到最大， 即使激活损失函数的损失值尚未达到最小， 也停止 训练， 视为该激活损失函数已收敛， 由基础模型收敛得到机器翻译模型。 0075 由此， 当训练完成， 机器翻译模型便具备了翻译能力， 方能够实现源语言至目标语 言的翻译， 进而实。

39、现疾病分类编码识别。 0076 其次， 机器翻译模型的结构属于encoder-decoder型， 也可以理解为， 所述机器翻 译模型包括编码网络和解码网络。 0077 在一个实施例中， 编码网络和解码网络采用rnn-rnn结构。 0078 具体而言， 如图4(a)所示， 编码网络包括嵌入层、 双向长短期记忆层 （BLSTM, Bi- Long Short Term Memory） 和自注意力层 （Self-Attention） 。 其中， 嵌入层采用字符级别的 embedding， 以此克服医学领域中诊断数据涉及大量医学术语导致分词处理不够精准的问 题。 双向长短期记忆层， 由于具备出色的序列。

40、建模能力， 不仅有利于以诊断数据为源语言的 特征提取， 而且能够很好地避免因梯度消失而导致模型训练不足的问题。 自注意力层， 进一 步地考虑源语言中各分词的上下文语义关系以及各分词在源语言中的位置关系， 从而能够 更加有效地提升特征对源语言的表示效果。 说明书 6/11 页 10 CN 111581987 A 10 0079 解码网络， 则用于将源语言的特征解码为目标语言， 亦即是诊断数据匹配的疾病 分类编码。 其中， 为了保证解码器能够更加准确地区分不同源语言的特征所解码得到的目 标语言的不同， 解码器采用单向长短期记忆层 （LSTM, Long Short Term Memory） 实现。。

41、 0080 在另一个实施例中， 编码网络和解码网络采用transformer-transformer结构。 0081 具体而言， 如图4(b)所示， 所述编码网络包括第一嵌入层和若干个编码子层。 其 中， 第一嵌入层， 采用字符级别的embedding， 用于抽取源语言中各分词的上下文语义特征 word embedding以及位置特征position embedding， 以便于计算机设备能够识别自然语言 形式表达的源语言。 通过若干个编码子层提取得到源语言的特征， 来唯一且准确地表示源 语言， 以此充分地保障疾病分类编码识别的准确率。 0082 所述解码网络包括第二嵌入层和若干个解码子层。 。

42、其中， 第二嵌入层， 仍然采用字 符级别的embedding， 实质是进一步地抽取源语言中各分词的上下文语义特征word embedding以及位置特征position embedding， 使得计算机设备能够更好地识别自然语言 形式表达的源语言。 通过若干个解码子层进行的解码， 最终使得源语言被翻译为目标语言。 0083 步骤350， 通过所述编码网络进行所述源语言的特征提取， 得到所述源语言的特 征。 0084 本实施例中， 编码网络适用于transformer-transformer结构， 如图4(b)所示， 即 编码网络包括第一嵌入层和若干个编码子层。 0085 具体地， 在所述第一嵌。

43、入层中， 将所述源语言中的分词映射为待编码向量， 以使自 然语言形式表达的源语言转换为计算机设备能够识别的机器语言。 通过若干个所述编码子 层对所述待编码向量进行特征提取， 得到所述源语言的特征， 来唯一且准确地表示源语言。 0086 步骤370， 将所述源语言的特征输入所述解码网络进行解码， 使得所述源语言被翻 译为目标语言， 所述目标语言为所述诊断数据匹配的疾病分类编码。 0087 本实施例中， 解码网络适用于transformer-transformer结构， 如图4(b)所示， 即 所述解码网络包括第二嵌入层和若干个解码子层。 0088 具体地， 将所述源语言的特征输入所述第二嵌入层进。

44、行映射， 得到待解码向量， 以 进一步地转换自然语言形式表达的源语言为计算机设备能够识别的机器语言， 使得计算机 设备能够更好地识别自然语言形式表达的源语言。 通过若干个所述解码子层进行所述待解 码向量的解码， 得到所述目标语言， 亦即是， 诊断数据匹配的疾病分类编码。 0089 通过如上所述的过程， 实现了基于机器翻译模型的疾病分类编码识别， 即将诊断 数据作为源语言， 该诊断数据匹配的疾病分类编码则作为目标语言， 在源语言至目标语言 的翻译过程中， 既不涉及字典检索技术， 也不涉及分类学习， 由此避免了因数据稀疏问题而 导致疾病分类编码识别的准确率不高的问题， 从而有效地提升了疾病分类编码。

45、识别的准确 率。 0090 请参阅图5， 在一示例性实施例中， 所述编码子层包括第一多头注意力层、 第一全 连接层和第一残差连接层。 其中， 第一多头注意力层用于局部特征的提取， 第一全连接层用 于全局特征的提取， 第一残差连接层用于在编码子层内部进行特征传播。 0091 可选地， 编码子层还包括第一标准化层， 用于进行层标准化。 0092 下面结合图6以及图5中示出的编码子层的结构， 对源语言的特征提取过程进行详 细地说明。 说明书 7/11 页 11 CN 111581987 A 11 0093 如图6所示， 步骤350可以包括以下步骤： 步骤351， 针对每一个编码子层， 接收该编码子层。

46、的输入向量作为所述第一多头注意力 层的输入向量， 由所述第一多头注意力层的输入端输入。 0094 其中， 所述待编码向量作为第一个编码子层的输入向量。 0095 步骤353， 通过连接于所述第一多头注意力层的第一残差连接层， 使得所述第一多 头注意力层的输入向量与输出向量融合， 并传输至所述第一全连接层。 0096 步骤355， 通过连接于所述第一全连接层的第一残差连接层， 使得所述第一全连接 层的输入向量与输出向量融合， 得到该编码子层的输出向量。 0097 其中， 该编码子层的输出向量作为后一个编码子层的输入向量。 0098 步骤357， 将最后一个编码子层的输出向量作为所述源语言的特征。。

47、 0099 具体而言， 如图5所示， 在每一个编码子层中， 经由该编码子层中的第一多头注意 力层的输入端输入该编码子层的输入向量， 并输出得到该编码子层的局部向量。 所述待编 码向量作为第一个编码子层的输入向量。 0100 经由该编码子层中连接于该第一多头注意力层的第一残差连接层， 将该编码子层 的输入向量传输至该编码子层中连接于该第一多头注意力层的第一标准化层， 并与该编码 子层的局部向量进行特征融合和层标准化， 得到该编码子层的中间向量。 0101 将该编码子层的中间向量输入该编码子层中的第一全连接层， 经由该第一全连接 层输出得到该编码子层的全局向量。 0102 经由该编码子层中连接于该。

48、第一全连接层的第一残差连接层， 将该编码子层的中 间向量传输至该编码子层中连接于该第一全连接层的第一标准化层， 并与该编码子层的全 局向量进行特征融合和层标准化， 得到该编码子层的输出向量。 0103 对编码网络中的各编码子层进行遍历， 将相应地获得各编码子层的输出向量， 以 前一个编码子层的输出向量作为后一个编码子层的输入向量。 0104 直至编码网络中的各编码子层完成遍历， 将最后一个编码子层的输出向量作为所 述源语言的特征。 0105 上述过程中， 基于第一残差连接层实现了编码子层中各层之间的特征传播， 避免 使用卷积操作， 由此可避免特征传播的瓶颈问题。 0106 此外， 通过第一标准。

49、化层中进行的编码子层中各层之间的特征融合， 使得不同分 辨率不同尺度的特征能够相互关联， 而并非孤立的， 有利于进一步地提升疾病分类编码识 别的准确率。 0107 进一步地， 请参阅图7， 在一示例性实施例中， 所述第一多头注意力层的输入端包 括Q1输入端、 K1输入端和V1输入端。 0108 在所述编码子层中， 将所述编码子层的输入向量通过Q1输入端、 K1输入端和V1输 入端输入所述第一多头注意力层， 分别作为所述第一多头注意力层的Q端输入向量、 K端输 入向量和V端输入向量。 0109 应当说明的是， Q表示query， K表示keys， V表示values， 使得第一多头注意力层得 以。

50、关注源语言中各分词的上下文语义关系以及各分词在源语言中的位置关系， 以此进一步 地保证疾病分类编码识别的准确率。 0110 请参阅图8， 在一示例性实施例中， 所述解码子层包括第二多头注意力层、 第三多 说明书 8/11 页 12 CN 111581987 A 12 头注意力层、 第二全连接层、 第二残差连接层和第三残差连接层。 其中， 第二多头注意力层、 第三多头注意力层均用于局部特征的提取， 第二全连接层用于全局特征的提取， 第二残差 连接层用于在解码子层内部进行特征传播， 第三残差连接层用于在解码子层及其对应的编 码子层之间进行特征传播。 0111 可选地， 解码子层还包括第二标准化层，。