医学影像的AI一体化显示系统及方法.pdf

《医学影像的AI一体化显示系统及方法.pdf》由会员分享，可在线阅读，更多相关《医学影像的AI一体化显示系统及方法.pdf（15页完成版）》请在专利查询网上搜索。

1、(19)国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 202410014209.7(22)申请日 2024.01.05(71)申请人 青岛美迪康数字工程有限公司地址 266000 山东省青岛市市南区太平路51号山东国际贸易大厦15层(72)发明人 赖永航冯健王韶青(74)专利代理机构 北京慧智兴达知识产权代理有限公司 11615专利代理师 李丽颖(51)Int.Cl.H04N 21/2187(2011.01)H04N 21/234(2011.01)H04N 21/2662(2011.01)H04N 21/44(2011.01)H04N 21/462(。

2、2011.01)G16H 30/20(2018.01)G06V 10/80(2022.01)G06V 10/74(2022.01)G06V 10/764(2022.01)G06V 10/82(2022.01)G06N 3/0464(2023.01)G06N 3/09(2023.01)(54)发明名称一种医学影像的AI一体化显示系统及方法(57)摘要本发明涉及医疗信息通信技术领域，提供一种医学影像的AI一体化显示系统及方法，包括医学影像采集设备、第一图像处理设备、云处理服务器、第二图像处理设备、视频融合器和医学影像显示器，第一图像处理设备将医学影像采集设备采集的医学影像数据传输到云处理服务器，云。

3、处理服务器设置有AI识别模型，将AI识别模型输出的图像识别结果发送到第二图像处理设备，第二图像处理设备基于图像识别结果生成图像识别界面，将其发送到视频融合器，视频融合器将医学影像数据和图像识别界面进行融合，生成医学影像数据和图像识别界面融合显示的视频数据供医学影像显示器进行显示。本发明能够在医学影像采集过程中实时显示AI识别结果，以提供辅助建议。权利要求书3页 说明书9页 附图2页CN 117528131 A2024.02.06CN 117528131 A1.一种医学影像的AI一体化显示系统，其特征在于，包括医学影像采集设备、第一图像处理设备、云处理服务器、第二图像处理设备、视频融合器以及医学。

4、影像显示器；所述医学影像采集设备用于采集实时的医学影像数据；所述第一图像处理设备设置有通信模块，用于识别医学影像采集设备采集的医学影像数据是否满足预设的图像清晰度标准，并对满足图像清晰度标准的医学影像数据重复图像过滤，将处理后的医学影像数据传输到云处理服务器；所述云处理服务器设置有预设的AI识别模型，用于接收第一图像处理设备上传的医学影像数据，并将AI识别模型对医学影像数据识别后输出的图像识别结果发送至第二图像处理设备；所述第二图像处理设备，用于接收所述云处理服务器发送的图像识别结果，基于图像识别结果生成图像识别界面，将所述图像识别界面发送到视频融合器；所述视频融合器分别与医学影像采集设备和第。

5、二图像处理设备通信连接，用于接收医学影像采集设备上传的医学影像数据和第二图像处理设备上传的当前医学影像数据对应的图像识别结果，并对医学影像数据和当前医学影像数据对应的图像识别界面进行融合生成融合显示的视频数据；所述医学影像显示器与所述视频融合器连接，用于显示所述视频融合器生成的视频数据。2.如权利要求1所述的医学影像的AI一体化显示系统，其特征在于，所述医学影像显示器与所述医学影像采集设备通过视频线连接，以当所述视频融合器与医学影像显示器之间的视频传输链路发生故障时切换至医学影像采集设备为医学影像显示器提供待显示图像数据。3.如权利要求1所述的医学影像的AI一体化显示系统，其特征在于，所述第一。

6、图像处理设备，用于将医学影像采集设备采集的医学影像数据按照预设尺寸进行缩放，并对缩放后的图像等间隔采样n行图像数据，得到医学影像数据的第一图像特征向量集；对医学影像数据的第一图像特征向量集中每一行图像特征向量进行自定义特征提取，得到医学影像数据的第二图像特征向量集；对预先构建的第一数据库和第二数据库中的各个样本内镜图像按照预设尺寸进行缩放，并对缩放后的图像等间隔采样n行图像数据，得到各个样本内镜图像的第三图像特征向量集，第一数据库中的内镜图像是模糊的内镜图像，第一数据库中的内镜图像是清晰的内镜图像；对各个样本内镜图像的第三图像特征向量集中每一行图像特征向量进行自定义特征提取，得到各个样本内镜图。

7、像的第四图像特征向量集；计算医学影像数据的第二图像特征向量集与每一样本内镜图像的第四图像特征向量集的相似度，根据相似度最高的样本内镜图像所属数据库确定医学影像数据是否为模糊图像；若医学影像数据为模糊图像则将其删除。4.如权利要求3所述的医学影像的AI一体化显示系统，其特征在于，所述第一图像处理设备，具体用于将医学影像数据的第二图像特征向量集中每一行特征向量依次与每一样本内镜图像的第四图像特征向量集中对应行的特征向量计算皮尔逊相关系数，计算各行特征向量的皮尔逊相关系数的平均值，将得到的平均值作为医学影像数据与当前样本内镜图像的相似度。5.如权利要求3所述的医学影像的AI一体化显示系统，其特征在于。

8、，自定义特征包括：权利要求书1/3 页2CN 117528131 A2图像的灰度平均像素值，灰度最大像素值，灰度最小像素值，亮度，对比度，Lab色彩空间的颜色亮度L的平均值、Lab色彩空间的绿红程度a的平均值、Lab色彩空间的蓝黄程度b的平均值中的一个或多个。6.如权利要求1或 所述的医学影像的AI一体化显示系统，其特征在于，所述第一图像处理设备，用于使用光流法获取相邻医学影像数据的每个像素点的运动矢量，计算相邻医学影像数据的各个像素点的平均运动矢量，当所述平均运动矢量小于预设的判别阈值时，则判定相邻医学影像数据中后采集的医学影像数据与先采集的医学影像数据相似，并删除相邻医学影像数据中后采集的。

9、医学影像数据。7.如权利要求1所述的医学影像的AI一体化显示系统，其特征在于，所述预设的AI识别模型的生成器为一个超分辨率网络，用于将输入的低分辨率图像进行上采样的超分辨图像；所述预设的AI识别模型的判别器为多任务网络，判别器采用ResNet模型作为骨干网络，在骨干网络的最后一个平均池化层后面添加3个并行的全连接层，分别用来识别消化道部位分类、消化疾病分类、消化病灶目标位置。8.一种医学影像的AI一体化显示方法，其特征在于，所述方法包括；医学影像采集设备采集实时的医学影像数据；第一图像处理设备识别医学影像采集设备采集的医学影像数据是否满足预设的图像清晰度标准，并对满足图像清晰度标准的医学影像数。

10、据重复图像过滤，将处理后的医学影像数据传输到云处理服务器；云处理服务器采用预设的AI识别模型对预处理后的医学影像数据进行识别，并将AI识别模型输出的图像识别结果发送至第二图像处理设备；第二图像处理设备基于所述图像识别结果生成图像识别界面，将所述图像识别界面发送到视频融合器；视频融合器获取医学影像采集设备上传的医学影像数据和第二图像处理设备上传的当前医学影像数据对应的图像识别结果，并对医学影像数据和当前医学影像数据对应的图像识别界面进行融合生成融合显示的视频数据；医学影像显示器显示所述视频融合器生成的视频数据。9.如权利要求8所述的医学影像的AI一体化显示方法，其特征在于，所述第一图像处理设备对。

11、获取到的医学影像数据进行预处理，包括：将医学影像采集设备采集的医学影像数据按照预设尺寸进行缩放，并对缩放后的图像等间隔采样n行图像数据，得到医学影像数据的第一图像特征向量集；对医学影像数据的第一图像特征向量集中每一行图像特征向量进行自定义特征提取，得到医学影像数据的第二图像特征向量集；对预先构建的第一数据库和第二数据库中的各个样本内镜图像按照预设尺寸进行缩放，并对缩放后的图像等间隔采样n行图像数据，得到各个样本内镜图像的第三图像特征向量集，第一数据库中的内镜图像是模糊的内镜图像，第一数据库中的内镜图像是清晰的内镜图像；对各个样本内镜图像的第三图像特征向量集中每一行图像特征向量进行自定义特征提取。

12、，得到各个样本内镜图像的第四图像特征向量集；计算医学影像数据的第二图像特征向量集与每一样本内镜图像的第四图像特征向量集的相似度，根据相似度最高的样本内镜图像所属数据库确定医学影像数据是否为模糊图像；若医学影像数据为模糊权利要求书2/3 页3CN 117528131 A3图像则将其删除。10.如权利要求8或9所述的医学影像的AI一体化显示方法，其特征在于，所述第一图像处理设备对获取到的医学影像数据进行预处理，还包括：使用光流法获取相邻医学影像数据的每个像素点的运动矢量，计算相邻医学影像数据的各个像素点的平均运动矢量，当所述平均运动矢量小于预设的判别阈值时，则判定相邻医学影像数据中后采集的医学影像。

13、数据与先采集的医学影像数据相似，并删除相邻医学影像数据中后采集的医学影像数据。权利要求书3/3 页4CN 117528131 A4一种医学影像的AI一体化显示系统及方法技术领域0001本发明涉及医疗信息通信技术领域，尤其涉及一种医学影像的AI一体化显示系统及方法。背景技术0002随着AI技术水平的不断提高，AI在医疗领域的很多方面已经得到广泛应用。在医学影像处理方面，虽然AI已经被用于进行图像识别处理，但是受限于各方面原因，如医院算力无法在本地完成大规模的人工智能识别等，现有技术并不能准确地在医学影像采集过程中实时显示AI识别结果。例如，根据实际诊断需求，需要电子内窥镜设备一旦插入患者体内就要。

14、求医生实时做出诊断和治疗，即AI必须在医生做患者检查的过程中实时给出辅助诊断建议。然而，目前基于内窥镜图像的AI方案均无法做到在医学影像采集过程中实时显示AI识别结果。发明内容0003为解决上述技术问题，本发明提供了一种能够在医学影像采集过程中实时显示AI识别结果的医学影像的AI一体化显示系统及方法。0004第一方面，本发明提出了一种医学影像的AI一体化显示系统，包括医学影像采集设备、第一图像处理设备、云处理服务器、第二图像处理设备、视频融合器以及医学影像显示器；所述医学影像采集设备用于采集实时的医学影像数据；所述第一图像处理设备设置有通信模块，用于识别医学影像采集设备采集的医学影像数据是否满。

15、足预设的图像清晰度标准，并对满足图像清晰度标准的医学影像数据重复图像过滤，将处理后的医学影像数据传输到云处理服务器；所述云处理服务器设置有预设的AI识别模型，用于接收第一图像处理设备上传的医学影像数据，并将AI识别模型对医学影像数据识别后输出的图像识别结果发送至第二图像处理设备；所述第二图像处理设备，用于接收所述云处理服务器发送的图像识别结果，基于图像识别结果生成图像识别界面，将所述图像识别界面发送到视频融合器；所述视频融合器分别与医学影像采集设备和第二图像处理设备通信连接，用于接收医学影像采集设备上传的医学影像数据和第二图像处理设备上传的当前医学影像数据对应的图像识别结果，并对医学影像数据和。

16、当前医学影像数据对应的图像识别界面进行融合生成融合显示的视频数据；所述医学影像显示器与所述视频融合器连接，用于显示所述视频融合器生成的视频数据。0005可选地，所述医学影像显示器与所述医学影像采集设备通过视频线连接，以当所述视频融合器与医学影像显示器之间的视频传输链路发生故障时切换至医学影像采集设说明书1/9 页5CN 117528131 A5备为医学影像显示器提供待显示图像数据。0006可选地，所述第一图像处理设备，用于将医学影像采集设备采集的医学影像数据按照预设尺寸进行缩放，并对缩放后的图像等间隔采样n行图像数据，得到医学影像数据的第一图像特征向量集；对医学影像数据的第一图像特征向量集中每。

17、一行图像特征向量进行自定义特征提取，得到医学影像数据的第二图像特征向量集；对预先构建的第一数据库和第二数据库中的各个样本内镜图像按照预设尺寸进行缩放，并对缩放后的图像等间隔采样n行图像数据，得到各个样本内镜图像的第三图像特征向量集，第一数据库中的内镜图像是模糊的内镜图像，第一数据库中的内镜图像是清晰的内镜图像；对各个样本内镜图像的第三图像特征向量集中每一行图像特征向量进行自定义特征提取，得到各个样本内镜图像的第四图像特征向量集；计算医学影像数据的第二图像特征向量集与每一样本内镜图像的第四图像特征向量集的相似度，根据相似度最高的样本内镜图像所属数据库确定医学影像数据是否为模糊图像；若医学影像数据。

18、为模糊图像则将其删除。0007可选地，所述第一图像处理设备，具体用于将医学影像数据的第二图像特征向量集中每一行特征向量依次与每一样本内镜图像的第四图像特征向量集中对应行的特征向量计算皮尔逊相关系数，计算各行特征向量的皮尔逊相关系数的平均值，将得到的平均值作为医学影像数据与当前样本内镜图像的相似度。0008可选地，自定义特征包括：图像的灰度平均像素值，灰度最大像素值，灰度最小像素值，亮度，对比度，Lab色彩空间的颜色亮度L的平均值、Lab色彩空间的绿红程度a的平均值、Lab色彩空间的蓝黄程度b的平均值中的一个或多个。0009可选地，所述第一图像处理设备，用于还使用光流法获取相邻医学影像数据的每个。

19、像素点的运动矢量，计算相邻医学影像数据的各个像素点的平均运动矢量，当所述平均运动矢量小于预设的判别阈值时，则判定相邻医学影像数据中后采集的医学影像数据与先采集的医学影像数据相似，并删除相邻医学影像数据中后采集的医学影像数据。0010可选地，所述预设的AI识别模型的生成器为一个超分辨率网络，用于将输入的低分辨率图像进行上采样的超分辨图像；所述预设的AI识别模型的判别器为多任务网络，判别器采用ResNet模型作为骨干网络，在骨干网络的最后一个平均池化层后面添加3个并行的全连接层，分别用来识别消化道部位分类、消化疾病分类、消化病灶目标位置。0011另一方面，本发明提出了一种医学影像的AI一体化显示方。

20、法，所述方法包括；医学影像采集设备采集实时的医学影像数据；第一图像处理设备识别医学影像采集设备采集的医学影像数据是否满足预设的图像清晰度标准，并对满足图像清晰度标准的医学影像数据重复图像过滤，将处理后的医学影像数据传输到云处理服务器；云处理服务器采用预设的AI识别模型对预处理后的医学影像数据进行识别，并将AI识别模型输出的图像识别结果发送至第二图像处理设备；第二图像处理设备基于所述图像识别结果生成图像识别界面，将所述图像识别界面发送到视频融合器；视频融合器获取医学影像采集设备上传的医学影像数据和第二图像处理设备上传的当前医学影像数据对应的图像识别结果，并对医学影像数据和当前医学影像数据对应说明。

21、书2/9 页6CN 117528131 A6的图像识别界面进行融合生成融合显示的视频数据；医学影像显示器显示所述视频融合器生成的视频数据。0012可选地，所述第一图像处理设备对获取到的医学影像数据进行预处理，包括：将医学影像采集设备采集的医学影像数据按照预设尺寸进行缩放，并对缩放后的图像等间隔采样n行图像数据，得到医学影像数据的第一图像特征向量集；对医学影像数据的第一图像特征向量集中每一行图像特征向量进行自定义特征提取，得到医学影像数据的第二图像特征向量集；对预先构建的第一数据库和第二数据库中的各个样本内镜图像按照预设尺寸进行缩放，并对缩放后的图像等间隔采样n行图像数据，得到各个样本内镜图像的。

22、第三图像特征向量集，第一数据库中的内镜图像是模糊的内镜图像，第一数据库中的内镜图像是清晰的内镜图像；对各个样本内镜图像的第三图像特征向量集中每一行图像特征向量进行自定义特征提取，得到各个样本内镜图像的第四图像特征向量集；计算医学影像数据的第二图像特征向量集与每一样本内镜图像的第四图像特征向量集的相似度，根据相似度最高的样本内镜图像所属数据库确定医学影像数据是否为模糊图像；若医学影像数据为模糊图像则将其删除。0013可选地，所述第一图像处理设备对获取到的医学影像数据进行预处理，还包括：使用光流法获取相邻医学影像数据的每个像素点的运动矢量，计算相邻医学影像数据的各个像素点的平均运动矢量，当所述平均。

23、运动矢量小于预设的判别阈值时，则判定相邻医学影像数据中后采集的医学影像数据与先采集的医学影像数据相似，并删除相邻医学影像数据中后采集的医学影像数据。0014与现有技术相比，本发明技术方案主要的优点如下：本发明提供的医学影像的AI一体化显示系统及方法，能够在医学影像采集过程中实时显示AI识别结果，以实现在检查过程中实时辅助诊断的目的；而且AI识别功能设在云端完成，可同时处理多个内镜室的识别需求，因此可保证同一时间内多个内镜室AI识别结果与内镜采集图像的实时显示。0015上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它。

24、目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。附图说明0016通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1为本发明实施例提供的医学影像的AI一体化显示系统的结构框图；图2为本发明实施例提供的医学影像的AI一体化显示方法的流程图。具体实施方式0017下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反。

25、，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围说明书3/9 页7CN 117528131 A7完整的传达给本领域的技术人员。0018本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语（包括技术术语和科学术语），具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非被特定定义，否则不会用理想化或过于正式的含义来解释。0019图1为本发明实施例提供的一种医学影像的AI一体化显示系统的结构框图。如图1所示，本发明实施例的医学影像的AI一体化显示系统，包括医学。

26、影像采集设备10、第一图像处理设备20、云处理服务器30、第二图像处理设备40、视频融合器50以及医学影像显示器60；医学影像采集设备10用于采集实时的医学影像数据。0020第一图像处理设备20设置有通信模块，用于识别医学影像采集设备采集的医学影像数据是否满足预设的图像清晰度标准，并对满足图像清晰度标准的医学影像数据重复图像过滤，将处理后的医学影像数据传输到云处理服务器。其中，所述通信模块可以通过Socket通信方式实现数据传输。0021云处理服务器30设置有预设的AI识别模型301，与所述第一图像处理设备20通信连接，用于接收第一图像处理设备20上传的医学影像数据，并将AI识别模型301对医。

27、学影像数据识别后输出的图像识别结果发送到第二图像处理设备40。具体的，还可以根据实际应用场景，同时在第一图像处理设备和云处理服务器安装部署AI识别模型，以根据使用需要采用不同位置部署的AI识别模型实现图像识别功能。在一种可选地实现方式中，第一图像处理设备和第二图像处理设备之间通信连接，当采用部署在云处理服务器的AI识别模型实现图像识别功能时，还可以将图像识别结果返回第一图像处理设备，由第一图像处理设备转发到第二图像处理设备，以避免当云处理服务器与第二图像处理设备之间出现通信故障引起的无法显示图像的问题。在另一种可选地实现方式中，当采用部署在第一图像处理设备的AI识别模型实现图像识别功能时，还可。

28、以直接通过第一图像处理设备将图像识别结果发送到第二图像处理设备。0022第二图像处理设备40，用于接收所述云处理服务器30发送的图像识别结果，基于图像识别结果生成图像识别界面，将所述图像识别界面发送到视频融合器50。具体的，第二图像处理设备生成并展示图像识别界面的实现方式可采用现有技术常见的图像处理显示方法实现，如，将网线发过来的视频信号转成视频通过视频线提供给视频融合器进行显示，本发明对此不做限定。0023所述视频融合器50分别与医学影像采集设备10和第二图像处理设备40通信连接，用于接收医学影像采集设备10上传的医学影像数据和第二图像处理设备40上传的当前医学影像数据对应的图像识别结果，并。

29、对医学影像数据和当前医学影像数据对应的图像识别界面进行融合生成融合显示的视频数据。具体的，视频融合器实现医学影像数据和图像识别界面融合显示的视频数据的方式可采用现有技术常见的视频融合方法实现，本发明对此不做限定。0024医学影像显示器60与所述视频融合器50连接，用于显示所述视频融合器50生成的视频数据。0025本实施例中，第一图像处理设备20上设置有采集卡，采集卡安装在第一图像处理说明书4/9 页8CN 117528131 A8设备20内，通过视频线与医学影像采集设备连接。视频融合器50分别通过视频线与医学影像采集设备10和第二图像处理设备40连接。0026进一步地，第二图像处理设备40包括。

30、将触摸屏、液晶屏、工业pc单元(即主机)以及一体机外壳，连接电源线即可实现触控操作。第二图像处理设备40不仅可以将图像识别结果转化为AI识别界面输出给视频融合器，该第二图像处理设备还可实现叫号、查看诊疗计划以及召集视频会议等医疗事项。0027需要说明的是，还可以根据具体使用需要同时在第一图像处理设备和云处理服务器安装部署AI识别模型，以根据使用需要确定具体采用的AI识别模型。0028本发明实施例中，医学影像采集设备10即内镜主机可以同时输出3路视频数据，分别为视频1、视频2以及视频3，其中：在本发明的另一实施例中，内镜主机输出视频1到采集卡，采集卡安装在第一图像处理设备上，该第一图像处理设备上。

31、安装有AI识别模型，用于识别医学影像数据，识别后将识别结果通过本地电脑即第一图像处理设备发送至第二图像处理设备。在本发明的另一实施例中，AI识别模型还可安装于云处理服务器即云平台，云处理服务器可以同时接入多个第一图像处理设备，这样可以同时处理来自多个内镜主机的识别需求，识别后将识别结果通过云处理服务器发送至对应的第二图像处理设备。0029内镜主机输出视频2到视频融合器，视频融合器将来自内镜主机的医学影像数据和来自第二图像处理设备的图像即图像识别界面进行融合，以生成医学影像数据和图像识别界面左右融合显示的视频数据。进一步地，还可以将AI识别模型的病灶识别矩形框叠加显示在医学影像数据上。0030内。

32、镜设备显示器与内镜主机通过视频线连接，内镜主机还输出视频3到直接连接的内镜设备显示器，以当视频融合器与医学影像显示器之间的视频传输链路发生故障时切换至医学影像采集设备为医学影像显示器提供待显示图像数据，以保证内镜检查过程的连续执行。0031由于内镜检查的镜头是持续不规律移动的，镜头过近会出现图像的局部模糊、背景模糊、虚化的情况，仍图像里还具有清晰的区域，仍然包含有效信息，而且内镜检查还会进行电子染色、光学染色等处理，无法用常规的图像模糊检测算法设置固定阈值进行模糊、清晰的界定。此外内镜画面还存在帧间运动变化不大的情况，需要排除掉相似度高的重复图像。因此，本实施例通过设置第一图像处理设备来对医学。

33、影像采集设备采集的医学影像数据进行预处理，以过滤掉采集图像中的模糊图像和重复图像。0032需要说明的是，第一图像处理设备对医学影像采集设备采集的医学影像数据进行预处理的实现方法可以采用现有图像处理技术实现。0033在另一个实施例中，第一图像处理设备还可通过以下方式实现医学影像数据的预处理。0034具体的，实现模糊图像过滤的方式为：第一图像处理设备，用于将医学影像采集设备采集的医学影像数据按照预设尺寸进行缩放，并对缩放后的图像等间隔采样n行图像数据，得到医学影像数据的第一图像特征向量集；对医学影像数据的第一图像特征向量集中每一行图像特征向量进行自定义特征提取，得到医学影像数据的第二图像特征向量集。

34、；对预先构建的第一数据库和第二数据库中说明书5/9 页9CN 117528131 A9的各个样本内镜图像按照预设尺寸进行缩放，并对缩放后的图像等间隔采样n行图像数据，得到各个样本内镜图像的第三图像特征向量集，第一数据库中的内镜图像是模糊的内镜图像，第一数据库中的内镜图像是清晰的内镜图像；对各个样本内镜图像的第三图像特征向量集中每一行图像特征向量进行自定义特征提取，得到各个样本内镜图像的第四图像特征向量集；计算医学影像数据的第二图像特征向量集与每一样本内镜图像的第四图像特征向量集的相似度，根据相似度最高的样本内镜图像所属数据库确定医学影像数据是否为模糊图像；若医学影像数据为模糊图像则将其删除。其。

35、中，自定义特征包括：图像的灰度平均像素值，灰度最大像素值，灰度最小像素值，亮度，对比度，Lab色彩空间的颜色亮度L的平均值、Lab色彩空间的绿红程度a的平均值、Lab色彩空间的蓝黄程度b的平均值中的一个或多个。0035进一步地，第一图像处理设备，具体用于将医学影像数据的第二图像特征向量集中每一行特征向量依次与每一样本内镜图像的第四图像特征向量集中对应行的特征向量计算皮尔逊相关系数，计算各行特征向量的皮尔逊相关系数的平均值，将得到的平均值作为医学影像数据与当前样本内镜图像的相似度。可理解的，计算医学影像数据的第二图像特征向量集与每一样本内镜图像的第四图像特征向量集的相似度的方式还可通过其他算法实。

36、现，如向量距离、余弦相似度等。0036在一个具体实施例中，本发明预先建立一个模糊图像的内镜图像数据库、一个清晰图像的内镜图像数据库，收集内镜检查的图像，将图像分为模糊和清晰两个类别，并进行图像特征提取记录到数据库中。图像特征提取方式为：将图像缩放成128128的图像，提取等间隔采样10行图像数据，即形成12810的图像特征向量，对每行向量进行自定义特征，自定义特征包括一行图像的灰度平均像素值，灰度最大像素值，灰度最小像素值，亮度，对比度，Lab色彩空间的颜色亮度L的平均值、Lab色彩空间的绿红程度a的平均值、Lab色彩空间的蓝黄程度b的平均值，即一张图像可提取出810的图像特征向量。内镜工作站。

37、启动采集程序时，获取内镜图像数据库里的表示模糊的图像特征向量和表示清晰的图像特征向量。对采集的单帧图像提取上述的810的图像特征向量，它的每一行特征向量，依次与数据库里的样本内镜图像的图像特征向量对应的行特征向量计算皮尔逊相关系数，一副图像一共有10行，因此得到了10个皮尔逊相关系数，求平均值得到图像总的皮尔逊相关系数作为相似度。找出相似度最接近1的样本内镜图像所属数据库里所对应的图像类别，判断当前单帧图像是模糊还是清晰。使用上述方法将采集的每秒30帧画面过滤掉模糊类别的图像。0037具体的，实现重复图像过滤的方式为：第一图像处理设备，用于还使用光流法获取相邻医学影像数据的每个像素点的运动矢量。

38、，计算相邻医学影像数据的各个像素点的平均运动矢量，当所述平均运动矢量小于预设的判别阈值时，则判定相邻医学影像数据中后采集的医学影像数据与先采集的医学影像数据相似，并删除相邻医学影像数据中后采集的医学影像数据，否则认为是画面变化大的图像数据。本申请通过使用运动矢量来过滤掉画面变化不大、相似度高的重复图像。0038本发明一个可选实施例中，预设的AI识别模型的生成器为一个超分辨率网络，用于将输入的低分辨率图像进行上采样到4倍的超分辨图像；预设的AI识别模型的判别器为多任务网络，判别器采用ResNet模型作为骨干网络，在骨干网络的最后一个平均池化层后面添加3个并行的全连接层，分别用来识别消化道部位分类。

39、、消化疾病分类、消化病灶目标说明书6/9 页10CN 117528131 A10位置。0039具体的，为了解决大文件网络传输实时性问题，训练一个端到端的多任务生成对抗网络模型，能够同时解决多个识别任务，以提高模型的实时性性能。该AI识别模型的生成器是一个超分辨率网络，实现将输入的低分辨率图像进行上采样到4倍的超分辨图像，生成器的输出是清晰的超分辨图像更容易使判别器分类和目标检测。判别器是个多任务网络，ResNet模型作为判别器中的骨干网络，在骨干网的最后一个平均池层后面添加3个并行的全连接层，分别用来识别消化道部位分类、消化疾病分类、消化病灶目标位置检测。0040本发明提供的医学影像的AI一体。

40、化显示系统的具体实现过程如下：采集卡以每秒30帧采集视频画面，通过第一图像处理设备过滤掉模糊图像、画面变化不大、相似度高的图像，得到上传AI云即云处理服务器的图像队列，对待上传图像进行4x下采样得到低分辨率图像，图像转jpg等压缩格式进一步减少文件大小。将多副上传图像转换成一个大的网络数据包：先自定义一个固定长度的文件头信息，里面包含了32位的MD5码、上传图像的总个数、每一帧上传图像的文件大小、网络数据包的总大小。再将上传图像的内存数据加载到当前网络数据包的内存流中。使用socket通信将当前网络数据包传输到AI云服务器端，服务端解析网络数据包，提取出固定长度的文件头信息，进行MD5验证是否。

41、一致，如果验证失败说明网络数据包有问题，不进行识别。验证成功则提取一帧帧的图像数据，依次调用云端部署的AI识别模型识别每帧图像的消化道部位类别、消化疾病类别及病灶目标识别矩形框结果，并将识别结果通过socket通信发送到第二图像处理设备，第二图像处理设备基于图像识别结果生成图像识别界面，将其发送到视频融合器，视频融合器将医学影像数据和图像识别界面进行融合，生成医学影像数据和图像识别界面融合显示的视频数据，以供医学影像显示器进行显示。0041本发明提供的医学影像的AI一体化显示系统及方法，能够在医学影像采集过程中实时显示AI识别结果，以实现在检查过程中实时辅助诊断的目的。而且，通过将AI识别模型。

42、在云端部署，AI识别功能设在云端完成，可满足同时处理多个内镜室的识别需求，保证同一时间内多个内镜室AI识别结果与内镜采集图像的实时显示。0042此外，本发明实施例还提出了一种医学影像的AI一体化显示方法。图2为本发明实施例提供的一种医学影像的AI一体化显示方法的流程图。如图2所示，所述方法具体包括如下步骤；S11、医学影像采集设备采集实时的医学影像数据；S12、第一图像处理设备识别医学影像采集设备采集的医学影像数据是否满足预设的图像清晰度标准，并对满足图像清晰度标准的医学影像数据重复图像过滤，将处理后的医学影像数据传输到云处理服务器；S13、云处理服务器采用预设的AI识别模型对预处理后的医学影。

43、像数据进行识别，并将AI识别模型输出的图像识别结果发送至第二图像处理设备；S14、第二图像处理设备基于所述图像识别结果生成图像识别界面，将所述图像识别界面发送到视频融合器；S15、视频融合器获取医学影像采集设备上传的医学影像数据和第二图像处理设备上传的当前医学影像数据对应的图像识别结果，并对医学影像数据和当前医学影像数据对应的图像识别界面进行融合生成融合显示的视频数据；说明书7/9 页11CN 117528131 A11S16、医学影像显示器显示所述视频融合器生成的视频数据。0043本发明实施例中，步骤S12中的第一图像处理设备对获取到的医学影像数据进行预处理，包括：将医学影像采集设备采集的医。

44、学影像数据按照预设尺寸进行缩放，并对缩放后的图像等间隔采样n行图像数据，得到医学影像数据的第一图像特征向量集；对医学影像数据的第一图像特征向量集中每一行图像特征向量进行自定义特征提取，得到医学影像数据的第二图像特征向量集；对预先构建的第一数据库和第二数据库中的各个样本内镜图像按照预设尺寸进行缩放，并对缩放后的图像等间隔采样n行图像数据，得到各个样本内镜图像的第三图像特征向量集，第一数据库中的内镜图像是模糊的内镜图像，第一数据库中的内镜图像是清晰的内镜图像；对各个样本内镜图像的第三图像特征向量集中每一行图像特征向量进行自定义特征提取，得到各个样本内镜图像的第四图像特征向量集；计算医学影像数据的第。

45、二图像特征向量集与每一样本内镜图像的第四图像特征向量集的相似度，根据相似度最高的样本内镜图像所属数据库确定医学影像数据是否为模糊图像；若医学影像数据为模糊图像则将其删除。其中，自定义特征包括：图像的灰度平均像素值，灰度最大像素值，灰度最小像素值，亮度，对比度，Lab色彩空间的颜色亮度L的平均值、Lab色彩空间的绿红程度a的平均值、Lab色彩空间的蓝黄程度b的平均值中的一个或多个。0044进一步地，计算医学影像数据的第二图像特征向量集与每一样本内镜图像的第四图像特征向量集的相似度，具体包括：将医学影像数据的第二图像特征向量集中每一行特征向量依次与每一样本内镜图像的第四图像特征向量集中对应行的特征。

46、向量计算皮尔逊相关系数，计算各行特征向量的皮尔逊相关系数的平均值，将得到的平均值作为医学影像数据与当前样本内镜图像的相似度。可理解的，计算医学影像数据的第二图像特征向量集与每一样本内镜图像的第四图像特征向量集的相似度的方式还可通过其他算法实现，如向量距离、余弦相似度等。0045本发明实施例中，步骤S12中的所述第一图像处理设备对获取到的医学影像数据进行预处理，还包括：使用光流法获取相邻医学影像数据的每个像素点的运动矢量，计算相邻医学影像数据的各个像素点的平均运动矢量，当所述平均运动矢量小于预设的判别阈值时，则判定相邻医学影像数据中后采集的医学影像数据与先采集的医学影像数据相似，并删除相邻医学影。

47、像数据中后采集的医学影像数据。0046本发明实施例中，预设的AI识别模型的生成器为一个超分辨率网络，用于将输入的低分辨率图像进行上采样到4倍的超分辨图像；预设的AI识别模型的判别器为多任务网络，判别器采用ResNet模型作为骨干网络，在骨干网络的最后一个平均池化层后面添加3个并行的全连接层，分别用来识别消化道部位分类、消化疾病分类、消化病灶目标位置。0047对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的。

48、实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。0048进一步地，对于方法实施例而言，由于其与系统实施例基本相似，所以描述的比较简单，相关之处参见系统实施例的部分说明即可，且具有相应的技术效果。0049以上借助具体实施例对本发明做了进一步描述，但是应该理解的是，这里具体的说明书8/9 页12CN 117528131 A12描述，不应理解为对本发明的实质和范围的限定，本领域内的普通技术人员在阅读本说明书后对上述实施例做出的各种修改，都属于本发明所保护的范围。在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施例对各种可能的组合方式不再另行说明。0050若本发明实施例中有涉及方向性指示（诸如上、下、左、右、前、后），则该方向性指示仅用于解释在某一特定姿态（如附图所示）下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。说明书9/9 页13CN 117528131 A13图 1说明书附图1/2 页14CN 117528131 A14图 2说明书附图2/2 页15CN 117528131 A15。