基于混合现实的辅助诊疗系统在神经外科中的应用方法.pdf

《基于混合现实的辅助诊疗系统在神经外科中的应用方法.pdf》由会员分享，可在线阅读，更多相关《基于混合现实的辅助诊疗系统在神经外科中的应用方法.pdf（10页完整版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201810630485.0 (22)申请日 2018.06.19 (71)申请人 黑龙江拓盟科技有限公司 地址 150000 黑龙江省哈尔滨市高新技术 产业开发区科技创新城创新创业广场 15号楼 （明月街192号） 火炬物联网大 厦3层393室 (72)发明人 邱兆文 张健 张相彤 梁洪生 (74)专利代理机构 大庆禹奥专利事务所 23208 代理人 朱士文 杨晓梅 (51)Int.Cl. A61B 34/20(2016.01) (54)发明名称 基于混合现实的辅助诊疗系统在神。

2、经外科 中的应用方法 (57)摘要 本发明涉及一种基于混合现实的辅助诊疗 系统在神经外科中的应用方法， 该方法包括面部 特征点提取、 混合现实设备中的模型和面部特征 配准、 手术辅助导航三个部分。 本发明通过将医 学影像定位技术、 配准技术以及特征识别技术整 合在一起， 并结合混合现实设备完成一套基于全 息三维可视化辅助诊疗系统， 并将其应用于神经 外科； 该系统可以有效完成外科术前计划以及手 术完成时对手术完成情况的检验提供了可靠的 保证， 降低手术风险， 减少医患纠纷， 拥有着良好 的商业前景和价值。 权利要求书1页 说明书5页 附图3页 CN 109124765 A 2019.01.04。

3、 CN 109124765 A 1.一种基于混合现实的辅助诊疗系统在神经外科中的应用方法， 其特征在于： 该方法 包括面部特征点提取、 混合现实设备中的模型和面部特征配准、 手术辅助导航三个部分， 其 中， 所述的面部特征点提取包括以下步骤： (1)通过电极片采集人体特征点， 记录点云数据； (2)将特征的点云数据生成二维码； (3)通过混合现实设备自带的摄像头识别二维码， 获取特征点云模型； 所述的和面部特征配准包括以下步骤： 混合现实设备上传的比对图片为3维， 特征点生成的对比图像也同样是3维， 通过点云 配准的方法计算两组3维图像模型的误差， 用来判断人体信息与混合现实设备中的模型是 否。

4、吻合； 所述的手术辅助导航包括以下步骤： (1)在模型上为病患部位进行标注， 然后将图片上传到混合现实设备上； (2)医生通过混合现实设备的体感模式， 操作指针， 调整视线所在方向， 系统检测标记 中心， 通过两点一线确定开口位置； (3)然后通过重心到指针的连线做平行线， 该平行线会与病变位置有两个切点， 切点距 离即为理想开口大小； (4)将开口直接标记在模型表面， 会呈现一个光斑， 实时反馈给操作医生， 并且在模型 透视下， 系统会显示开口到病变位置的路径， 再根据血管和神经位置调整指针， 确定开口方 案。 2.根据权利要求1所述的基于混合现实的辅助诊疗系统在神经外科中的应用方法， 其 。

5、特征在于： 所述的面部特征点提取中步骤(1)中点云数据的构建方法为建立笛卡尔坐标系， 拟定任意原点， 记录特征点的坐标信息， 形成点云数据。 3.根据权利要求1所述的基于混合现实的辅助诊疗系统在神经外科中的应用方法， 其 特征在于： 所述的和面部特征配准中点云配准的方法为ICP算法。 4.根据权利要求1所述的基于混合现实的辅助诊疗系统在神经外科中的应用方法， 其 特征在于： 所述的手术辅助导航中步骤(3)和步骤(4)之间还包括误差补偿步骤， 理想开口 大小经过误差步骤得到实际开口大小， 实际开口大小的计算公式如下： C实 际(1+ )C理 想 其中，重构前的模型点坐标集合为P， 重构后坐标集合。

6、为Q。 在P中任取一 点， 可以计算与其最近的一点(在Q中)， 并记录， 于是可以得到P中每一个在Q中的点， 并计算 每一对对应点的欧氏距离， 累加后除以P与Q的重心距离再除以P中点的个数即为误差值。 5.根据权利要求1-4中任一权利要求所述的基于混合现实的辅助诊疗系统在神经外科 中的应用方法， 其特征在于： 所述的混合现实设备为微软Hololens眼镜。 权 利 要 求 书 1/1 页 2 CN 109124765 A 2 基于混合现实的辅助诊疗系统在神经外科中的应用方法 技术领域 0001 本发明属于图像识别和医学图像处理领域， 涉及一种基于混合现实的辅助诊疗系 统在神经外科中的应用方法。。

7、 背景技术 0002 混合现实指的是合并现实和虚拟世界而产生的新的可视化环境， 在新的可视化环 境里物理和数字对象共存， 并实时互动。 混合现实的实现需要在一个能与现实世界各事物 相互交互的环境中， 如果一切事物都是虚拟的那就是虚拟现实， 如果展现出来的虚拟信息 只能简单叠加在现实事物上， 那就是增强现实。 将二者的优势结合即为混合现实的最终目 的所在。 0003 神经外科手术的医学影像导航系统是近年来发展非常迅速的一个领域。 在发达国 家， 这类导航技术已经在临床广泛使用。 国内在关键技术和系统集成方面的研究工作还不 多， 为此， 我们对其中的关键技术研究以及如何把这些关键技术集成为系统的工。

8、作进行了 尝试。 神经外科手术应在切除病灶的同时最大限度地保护正常组织， 并降低手术创伤， 其间 关键问题是术前如何制订手术计划、 术中如何进行实时监督以及术后如何对手术质量进行 检验。 发明内容 0004 本发明的目的是提供一种基于混合现实的辅助诊疗系统在神经外科中的应用方 法， 解决目前在神经外科手术中， 精准度低， 容易对正常组织造成创伤的问题。 0005 本发明通过以下技术方案来实现： 一种基于混合现实的辅助诊疗系统在神经外科 中的应用方法， 该方法包括面部特征点提取、 混合现实设备中的模型和面部特征配准、 手术 辅助导航三个部分， 其中， 0006 所述的面部特征点提取包括以下步骤：。

9、 0007 (1)通过电极片采集人体特征点， 记录点云数据； 0008 (2)将特征的点云数据生成二维码； 0009 (3)通过混合现实设备自带的摄像头识别二维码， 获取特征点云模型； 0010 所述的和面部特征配准包括以下步骤： 0011 混合现实设备上传的比对图片为3维， 特征点生成的对比图像也同样是3维， 通过 点云配准的方法计算两组3维图像模型的误差， 用来判断人体信息与混合现实设备中的模 型是否吻合； 0012 所述的手术辅助导航包括以下步骤： 0013 (1)在模型上为病患部位进行标注， 然后将图片上传到混合现实设备上； 0014 (2)医生通过混合现实设备的体感模式， 操作指针，。

10、 调整视线所在方向， 系统检测 标记中心， 通过两点一线确定开口位置； 0015 (3)然后通过重心到指针的连线做平行线， 该平行线会与病变位置有两个切点， 切 说 明 书 1/5 页 3 CN 109124765 A 3 点距离即为理想开口大小； 0016 (4)将开口直接标记在模型表面， 会呈现一个光斑， 实时反馈给操作医生， 并且在 模型透视下， 系统会显示开口到病变位置的路径， 再根据血管和神经位置调整指针， 确定开 口方案。 0017 进一步的， 所述的面部特征点提取中步骤(1)中点云数据的构建方法为建立笛卡 尔坐标系， 拟定任意原点， 记录特征点的坐标信息， 形成点云数据。 001。

11、8 进一步的， 所述的和面部特征配准中点云配准的方法为ICP算法。 0019 进一步的， 所述的手术辅助导航中步骤(3)和步骤(4)之间还包括误差补偿步骤， 理想开口大小经过误差步骤得到实际开口大小， 实际开口大小的计算公式如下： 0020 C实 际(1+ )C理 想 0021其中，重构前的模型点坐标集合为P， 重构后坐标集合为Q。 在P中 任取一点， 可以计算与其最近的一点(在Q中)， 并记录， 于是可以得到P中每一个在Q中的点， 并计算每一对对应点的欧氏距离， 累加后除以P与Q的重心距离再除以P中点的个数即为误 差值。 0022 进一步的， 所述的混合现实设备为微软Hololens眼镜。 。

12、0023 采用上述技术方案的积极效果： 本发明通过将医学影像定位技术、 配准技术以及 特征识别技术整合在一起， 并结合混合现实设备完成一套基于全息三维可视化辅助诊疗系 统， 并将其应用于神经外科； 该系统可以有效完成外科术前计划以及手术完成时对手术完 成情况的检验提供了可靠的保证， 降低手术风险， 减少医患纠纷， 拥有着良好的商业前景和 价值。 附图说明 0024 图1是为面部图像特征点分布示意图； 0025 图2是为混合设备中保存是病人的三维面部模型； 0026 图3是本发明的基于混合现实的特征点定位方法示意图： 0027 图4是ICP配准结果示意图； 0028 图5是配准的误差计算示意图；。

13、 0029 图6是应用于脑部肿瘤手术的示意图； 0030 图7是导航给出的开口方案的大小补偿示意图。 具体实施方式 0031 下面结合附图对本发明的技术方案做进一步的说明， 但不应理解为对本发明的限 制： 0032 一种基于混合现实的辅助诊疗系统在神经外科中的应用方法， 该方法包括面部特 征点提取、 混合现实设备中的模型和面部特征配准、 手术辅助导航三个部分， 其中， 0033 所述的面部特征点提取包括以下步骤： 0034 (1)通过电极片采集人体特征点， 记录点云数据； 0035 (2)将特征的点云数据生成二维码； 说 明 书 2/5 页 4 CN 109124765 A 4 0036 (3。

14、)通过混合现实设备自带的摄像头识别二维码， 获取特征点云模型； 0037 所述的和面部特征配准包括以下步骤： 0038 混合现实设备上传的比对图片为3维， 特征点生成的对比图像也同样是3维， 通过 点云配准的方法计算两组3维图像模型的误差， 用来判断人体信息与混合现实设备中的模 型是否吻合； 0039 所述的手术辅助导航包括以下步骤： 0040 (1)在模型上为病患部位进行标注， 然后将图片上传到混合现实设备上； 0041 (2)医生通过混合现实设备的体感模式， 操作指针， 调整视线所在方向， 系统检测 标记中心， 通过两点一线确定开口位置； 0042 (3)然后通过重心到指针的连线做平行线，。

15、 该平行线会与病变位置有两个切点， 切 点距离即为理想开口大小； 0043 (4)将开口直接标记在模型表面， 会呈现一个光斑， 实时反馈给操作医生， 并且在 模型透视下， 系统会显示开口到病变位置的路径， 再根据血管和神经位置调整指针， 确定开 口方案。 0044 进一步的， 所述的面部特征点提取中步骤(1)中点云数据的构建方法为建立笛卡 尔坐标系， 拟定任意原点， 记录特征点的坐标信息， 形成点云数据。 0045 进一步的， 所述的和面部特征配准中点云配准的方法为ICP算法。 0046 进一步的， 所述的手术辅助导航中步骤(3)和步骤(4)之间还包括误差补偿步骤， 理想开口大小经过误差步骤得。

16、到实际开口大小， 实际开口大小的计算公式如下： 0047 C实 际(1+ )C理 想 0048其中，重构前的模型点坐标集合为P， 重构后坐标集合为Q。 在P中任 取一点， 可以计算与其最近的一点(在Q中)， 并记录， 于是可以得到P中每一个在Q中的点， 并 计算每一对对应点的欧氏距离， 累加后除以P与Q的重心距离再除以P中点的个数即为误差 值。 0049 进一步的， 所述的混合现实设备为微软Hololens眼镜。 0050 实施例1 0051 一种提取面部图像特征点数据方法包括： 0052 步骤一、 使用90个特征点定位人脸， 其中特征点分布为： 18个点标记嘴部， 14个点 标记下颚， 12。

17、个点标记眼睛， 6个点标记眉毛， 4个点标记脸颊和腮部， 10个点标记鼻子， 4个 点标记后颈， 10个点标记耳朵， 12个点标记头发。 如图1所示。 0053 步骤二、 建立笛卡尔坐标系， 拟定任意原点， 记录特征点的坐标信息， 构建点云数 据。 该点云数据为拥有90行3列的坐标数组， 3列分布对应x、 y、 z坐标值， 每行表示不同的特 征点。 0054 步骤三、 将点云数据转换成二维码进行存储， 方便混合现实设备扫描识别。 0055 实施例2 0056 一种基于混合现实的特征点定位方法， 包括： 0057 步骤一、 医生通过佩戴混合现实设备， 扫描带有病人特征的二维码， 获取特征点云 模。

18、型， 过程如图3所示。 说 明 书 3/5 页 5 CN 109124765 A 5 0058 步骤二、 将病人特征点云命名为p， 模型的点云命名为q。 通过如下公式计算出点云 重心： 0059 0060 0061 利用求得的点云重心构造协方差矩阵： 0062 0063 步骤三、 接下来进入ICP算法进行模型配准， ICP的功能是可以匹配两个数目不同 的数据集合， 那么应用ICP实现要利用协方差矩阵构建一个44的对称阵： 0064 0065 其中， 通过这个对称阵的最大特征向量可以用来计算旋转参数， 进而求出整个刚 体变换所需要的R和T(R为最佳旋转向量， T为最佳位移向量)。 获得了选择平移。

19、的方式就可 以对两幅图像配准， 进而达到计算误差的效果， 配准结果如图4所示。 0066 步骤四、 接下来说明误差计算方式， 如图5所示， MODEL为p点云， DATA为q点云， mid 为DATA点云的中间点的位置， iclosest表记录的为每一个DATA云中的点所匹配的点的编号 (在MODEL点云中的编号)。 0067 步骤五、 通过计算MODLE点到中间位置点云配准点的欧几里得距离， 保证在该点云 的一个区间内任意点到DATA点云的欧氏距离都小于这一点所运算出来的距离。 同理计算 midn的每一个点所匹配的最小欧氏距离， 并且对这些距离进行累加， 得到的结果作为误 差值返回。 006。

20、8 实施例3 0069 本实施例说明本发明的技术方案为脑瘤患者进行导航辅助的过程。 0070 步骤一、 为在模型上为脑瘤部位进行标注， 然后将图片上传到混合现实设备上。 0071 步骤二、 如图6所示， 医生通过操作指针， 即混合现实眼镜视线所在方向， 系统检测 标记中心， 通过两点一线确定开口位置。 0072 步骤三、 开口大小由开口方向做切线， 切线与标记肿瘤相切位置的延长线会与脑 部边界产生交点， 交点距离为待补偿距离； 为了防止开口误差， 系统通过补偿运算计算出实 际开口距离， 补偿距离为1mm， 如图7所示， 即在待补偿距离的边缘处增加1mm的补偿距离为 实际开口距离。 0073 步。

21、骤四、 混合现实的手术导航系统会将运算出来的开口直接标记在模型表面， 会 说 明 书 4/5 页 6 CN 109124765 A 6 呈现某一光斑， 实时反馈给操作医生， 并且在模型透视下， 系统会显示开口到病变位置的路 径， 用来检测是该开口方式会不会受到血管的干扰， 完成辅助导航功能。 0074 本发明通过将医学影像定位技术、 配准技术以及特征识别技术整合在一起， 并结 合混合现实设备完成一套基于全息三维可视化辅助诊疗系统， 并将其应用于神经外科； 该 系统可以有效完成外科术前计划以及手术完成时对手术完成情况的检验提供了可靠的保 证， 降低手术风险， 减少医患纠纷， 拥有着良好的商业前景和价值。 说 明 书 5/5 页 7 CN 109124765 A 7 图1 图2 说 明 书 附 图 1/3 页 8 CN 109124765 A 8 图3 图4 图5 说 明 书 附 图 2/3 页 9 CN 109124765 A 9 图6 图7 说 明 书 附 图 3/3 页 10 CN 109124765 A 10 。