基于关键点信息的眼眶软组织形态评价方法、系统及设备.pdf

《基于关键点信息的眼眶软组织形态评价方法、系统及设备.pdf》由会员分享，可在线阅读，更多相关《基于关键点信息的眼眶软组织形态评价方法、系统及设备.pdf（10页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010655993.1 (22)申请日 2020.07.09 (71)申请人 上海交通大学 地址 200240 上海市闵行区东川路800号 申请人 上海交通大学医学院附属第九人民 医院 (72)发明人 翟广涛杨逸炎朱文瀚杨小康 宋雪霏毕晓萍范先群周一雄 张路 (74)专利代理机构 上海恒慧知识产权代理事务 所(特殊普通合伙) 31317 代理人 徐红银刘翠 (51)Int.Cl. A61B 5/107(2006.01) (54)发明名称 基于关键点信息的眼眶软组织形态评价方。

2、 法、 系统及设备 (57)摘要 本发明提供了一种基于关键点信息的眼眶 软组织形态评价方法、 系统及设备， 使用LSFM模 型对三维人脸数据进行注册， 并以标准可动模型 所处的坐标空间为基础对三维人脸数据做校准 和归一化； 记录左右眼区域特征点索引和特征点 数量， 并提取左右眼区域特征点； 采用线性回归 模型判断从三维人脸数据手术前后对应的左、 右 眼特征点区域， 得到平均位移矩阵和对应区域是 否进行手术， 再得到线性回归的自变量和因变 量， 计算出方向对结果影响的权值； 计算手术眼 区域与标准可动模型的平均位移矩阵和非手术 眼区域与标准可动模型的平均位移矩阵， 设定阈 值判断术后眼眶软组织恢。

3、复情况。 本发明准确率 达到90。 权利要求书2页 说明书6页 附图1页 CN 111938655 A 2020.11.17 CN 111938655 A 1.一种基于关键点信息的眼眶软组织形态评价方法， 其特征在于， 包括： 使用LSFM模型对三维人脸数据进行注册， 并以标准可动模型所处的坐标空间为基础对 注册后的三维人脸数据做校准和归一化； 记录左右眼区域特征点索引和特征点数量n， 并在三维人脸数据中提取左右眼区域特 征点作为关键点； 采用线性回归模型判断手术区域位于左眼或者右眼， 包括从第i个三维人脸数据手术 前后对应的左、 右眼特征点区域Pi_before,Pi_after， 得到第i。

4、个平均位移矩阵Pi和对应区域是 否进行手术Yi， 再得到线性回归的自变量P和因变量Y， 计算出x、 y、 z方向对结果影响的权值 W； 计算手术眼区域与标准可动模型的平均位移矩阵Poperation和非手术眼区域与标准可动 模型的平均位移矩阵Pnatural， 设定阈值thread判断术后眼眶软组织恢复情况。 2.根据权利要求1所述的基于关键点信息的眼眶软组织形态评价方法， 其特征在于， 所 述注册采用非刚性迭代最近点算法， 将三维人脸数据中的点与标准可动模型对应。 3.根据权利要求1所述的基于关键点信息的眼眶软组织形态评价方法， 其特征在于， 所 述校准和归一化是指对三维人脸数据的空间位置与。

5、数据大小进行统一。 4.根据权利要求1所述的基于关键点信息的眼眶软组织形态评价方法， 其特征在于， 所 述特征点索引是指在标准可动模型的纹理数据中选取符合左右眼手术区域的特征点， 并记 录特征点的编号。 5.根据权利要求1所述的基于关键点信息的眼眶软组织形态评价方法， 其特征在于， 所 述特征点数量n包括左眼区域的2572个特征点和/或右眼区域的2591个特征点。 6.根据权利要求1所述的基于关键点信息的眼眶软组织形态评价方法， 其特征在于， 所 述平均位移矩阵Pi(Pi_after-Pi_before)/n； 所述对应区域的手术情况 所述自变量其中， m为训练集样本数量； 所述因变量其中， 。

6、m为训练集样本数量； 所述权值W(PTP)-1PTY。 7.根据权利要求1所述的基于关键点信息的眼眶软组织形态评价方法， 其特征在于， 所 述阈值thread0.006； 所述判断术后眼眶软组织恢复情况为： 当Poperation-threadPnaturalPoperation+thread时， 判断为恢复良好， 否则判断为未恢复。 8.一种基于关键点信息的眼眶软组织形态评价系统， 其特征在于， 包括： 预处理模块： 使用LSFM模型对三维人脸数据进行注册， 并以标准可动模型所处的坐标 空间为基础对注册后的三维人脸数据做校准和归一化； 特征提取模块： 记录左右眼区域特征点索引和特征点数量n，。

7、 并在三维人脸数据中提取 权利要求书 1/2 页 2 CN 111938655 A 2 左右眼区域特征点； 手术区域判断模块： 采用线性回归模型判断手术区域位于左眼或者右眼， 包括从第i个 三维人脸数据手术前后对应的左、 右眼特征点区域Pi_before,Pi_after得到第i个平均位移矩阵 Pi和对应区域是否进行手术Yi， 再得到线性回归的自变量P和因变量Y， 计算出x、 y、 z方向对 结果影响的权值W； 术后恢复判断模块： 计算手术眼区域与标准可动模型的平均位移矩阵Poperation和非手 术眼区域与标准可动模型的平均位移矩阵Pnatural， 设定阈值thread判断术后眼眶软组织。

8、恢 复情况。 9.一种设备， 包括存储器、 处理器及存储在存储器上并能够在处理器上运行的计算机 程序， 其特征在于， 所述处理器执行所述计算机程序时能够用于执行权利要求1至7中任一 项所述的方法。 10.一种设备， 其特征在于， 包括存储器、 处理器及存储在存储器上并可通过处理器运 行的权利要求8中所提供的系统。 权利要求书 2/2 页 3 CN 111938655 A 3 基于关键点信息的眼眶软组织形态评价方法、 系统及设备 技术领域 0001 本发明涉及三维图像处理领域， 具体是一种基于关键点三维信息的眼眶软组织形 态评价方法、 系统及设备。 背景技术 0002 眼眶病的诊断、 治疗方案决。

9、策、 疗效评价等当前主要依赖患者CT、 MRI的资料。 近年 来， 随着美学需求的日益增长， 基于患者主观感受的医学决策和patient-reported outcomes越来越受到重视。 因此， 在影像学前置判断的基础上， 基于面部测量的判断逐渐成 为影像眼眶病诊疗决策的新因素。 眼眶病包括血管类疾病、 肿瘤类疾病、 外伤、 炎症等， 很多 疾病比如甲状腺相关眼病(TAO)、 眼眶骨折等在病程的不同时段可以发生多次、 快速、 短暂 的临床表现的变化， 尤其是体现在软组织形态的变化。 依靠影像学检查虽然可以捕捉这些 变化， 但CT检查要付出的代价是射线的辐射， MRI的限制因素是成本和检查时长。

10、， 因此此二 类检查仅在诊断决策和重要随访节点时使用， 并不是可以多次、 随时、 重复检测的项目， 无 法为患者快速变化的体征提供可靠数据， 限制了眼眶医生在患者高风险变化早期提示、 快 速反应、 康复指导等方面的认知和干预方面的提升空间。 0003 眼眶骨折是眼眶病中比重很大的一类， 多数由外伤引起， 造成面中部畸形以及眼 球运动障碍、 复视、 视力下降甚至失明等不良后果。 TAO导致眼球突出、 眼睑退缩以及眼球运 动障碍等临床症状， 严重患者出现角膜穿孔、 视神经损伤等不可逆损害， 生活质量严重降 低。 无论是眼眶骨折还是TAO， 除了骨性结构和视功能方面的考量， 外观改变也同样是日益 重。

11、要的影响手术决策的因素。 可察觉的眶面部形态改变、 眼眶肿胀程度、 眼眶软组织肿胀的 消退等， 都是patient-reported outcomes或者说主诉， 这些主诉在患者就诊目的和自我评 价疗效等方面具有不可忽视的重要性。 然而， 如前所述， 除了CT和MRI以及基于或不基于这 些影像学检查的眼球突出度等指标之外， 我们没有除了主观的 “有无评判” 之外的更好指 标。 以眼眶骨折患者为例， 符合手术适应症的患者通常在病程中具有或不具有如下全部或 部分特征： 患侧术前可察觉眶面部形态改变， 术后即刻眼眶软组织肿胀， 术后近期或远期肿 胀消退。 既往对此类内容的评价仅凭医患双方的主观感受，。

12、 无法进行具有可重复性的量化 评价， 因此无法作为可靠的观察指标， 同时也严重减少了患者视角在疾病诊疗过程中的参 与度。 0004 目前没有发现同本发明类似技术的说明或报道， 也尚未收集到国内外类似的资 料。 发明内容 0005 本发明针对现有技术存在的上述不足， 提供了一种基于关键点三维信息的眼眶软 组织形态评价方法、 系统及设备。 0006 本发明是通过以下技术方案实现的。 0007 根据本发明的一个方面， 提供了一种基于关键点信息的眼眶软组织形态评价方 说明书 1/6 页 4 CN 111938655 A 4 法， 包括： 0008 使用LSFM模型对三维人脸数据进行注册， 并以标准可动。

13、模型所处的坐标空间为基 础对注册后的三维人脸数据做校准和归一化； 0009 记录左右眼区域特征点索引和特征点数量n， 并在三维人脸数据中提取左右眼区 域特征点作为关键点； 0010 采用线性回归模型判断手术区域位于左眼或者右眼， 包括从第i个三维人脸数据 手术前后对应的左、 右眼特征点区域Pi_before,Pi_after， 得到第i个平均位移矩阵Pi和对应区 域是否进行手术Yi， 再得到线性回归的自变量P和因变量Y， 计算出x、 y、 z方向对结果影响的 权值W； 0011 计算手术眼区域与标准可动模型的平均位移矩阵Poperation和非手术眼区域与标准 可动模型的平均位移矩阵Pnatu。

14、ral， 设定阈值thread判断术后眼眶软组织恢复情况。 0012 优选地， 所述注册采用非刚性迭代最近点算法， 将三维人脸数据中的点与LSFM标 准可动模型对应。 0013 优选地， 所述校准和归一化是指对三维人脸数据的空间位置与数据大小进行统 一。 0014 优选地， 所述特征点索引是指在标准可动模型的纹理数据中选取符合左右眼手术 区域的特征点， 并记录特征点的编号。 0015 优选地， 所述特征点数量n包括左眼区域的2572个特征点和/或右眼区域的2591个 特征点。 0016 优选地， 所述平均位移矩阵Pi(Pi_after-Pi_before)/n。 0017优选地， 所述对应区域。

15、的手术情况 0018优选地， 所述自变量其中， m为训练集样本数量。 0019优选地， 所述因变量其中， m为训练集样本数量。 0020 优选地， 所述权值W(PTP)-1PTY。 0021 优选地， 所述阈值thread0.006。 0022 优选地所述判断术后眼眶软组织恢复情况为： 0023 当Poperation-threadPnaturalPoperation+thread时， 判断为恢复良好， 否则判断为未 恢复。 0024 根据本发明的另一个方面， 提供了一种基于关键点三维信息的眼眶软组织形态评 价系统， 包括： 0025 预处理模块： 使用LSFM模型对三维人脸数据进行注册， 并。

16、以标准可动模型所处的 坐标空间为基础对注册后的三维人脸数据做校准和归一化； 0026 特征提取模块： 记录左右眼区域特征点索引和特征点数量n， 并在三维人脸数据中 提取左右眼区域特征点； 说明书 2/6 页 5 CN 111938655 A 5 0027 手术区域判断模块： 采用线性回归模型判断手术区域位于左眼或者右眼， 包括从 第i个三维人脸数据手术前后对应的左、 右眼特征点区域Pi_before,Pi_after得到第i个平均位 移矩阵Pi和对应区域是否进行手术Yi， 再得到线性回归的自变量P和因变量Y， 计算出x、 y、 z 方向对结果影响的权值W； 0028 术后恢复判断模块： 计算手。

17、术眼区域与标准可动模型的平均位移矩阵Poperation和 非手术眼区域与标准可动模型的平均位移矩阵Pnatural， 设定阈值thread判断术后眼眶软组 织恢复情况。 0029 根据本发明的第三个方面， 提供了一种设备， 包括存储器、 处理器及存储在存储器 上并能够在处理器上运行的计算机程序， 所述处理器执行所述计算机程序时能够用于执行 上述任一项所述的方法。 0030 根据本发明的第四个方面， 提供了另一种设备， 包括存储器、 处理器及存储在存储 器上并可通过处理器运行的上述所提供的系统。 0031 与现有技术相比， 本发明具有如下至少一项有益效果： 0032 本发明提供的基于关键点三维。

18、信息的眼眶软组织形态评价方法、 系统， 因其与传 统影像都是基于图像的判别， 不涉及直接干预， 风险也并不增加。 除了符合临床试验方面替 代终点的基本原则性要求之外， 该方法、 系统的优势还体现在指标采集的便捷、 测量过程的 可重复、 评价方式的量化。 0033 本发明提供的基于关键点三维信息的眼眶软组织形态评价方法、 系统， 根据人脸 三维模型注册过程中不改变模型的形状， 只改变拓扑结构的特性， 将医疗诊断部分自动化、 可重复化， 并且准确率达到90。 附图说明 0034 通过阅读参照以下附图对非限制性实施例所作的详细描述， 本发明的其它特征、 目的和优点将会变得更明显： 0035 图1为本。

19、发明实施例所提供的基于关键点三维信息的眼眶软组织形态评价方法中 对三维人脸数据注册、 校准和归一化结果示意图； 其中： (a)为原始模型， (b)为注册后模型， (c)为校准、 归一化后模型； 0036 图2为本发明实施例所提供的基于关键点三维信息的眼眶软组织形态评价方法中 提取左右眼区域示意图； 其中： 图a为左眼区域模型， 图b为右眼区域模型； 0037 图3为本发明实施例所提供的基于关键点三维信息的眼眶软组织形态评价方法流 程图。 具体实施方式 0038 下面对本发明的实施例作详细说明： 本实施例在以本发明技术方案为前提下进行 实施， 给出了详细的实施方式和具体的操作过程。 应当指出的是。

20、， 对本领域的普通技术人员 来说， 在不脱离本发明构思的前提下， 还可以做出若干变形和改进， 这些都属于本发明的保 护范围。 0039 本发明一实施例提供了一种基于关键点信息的眼眶软组织形态评价方法， 该方法 可用于自动判断术后患者眼眶软组织消肿情况， 该方法及系统可用于自动判断术后患者眼 说明书 3/6 页 6 CN 111938655 A 6 眶软组织消肿情况。 如图3所示， 该方法包括： 0040 第一步， 使用LSFM模型对三维人脸数据进行注册， 并以标准可动模型所处的坐标 空间为基础对注册后的三维人脸数据做校准和归一化。 0041 作为一优选实施例， 注册采用非刚性迭代最近点算法， 。

21、将三维人脸数据中的点与 LSFM标准可动模型对应。 0042 作为一优选实施例， 校准和归一化是指对三维人脸数据的空间位置与数据大小进 行统一。 0043 第一步中具体注册、 校准和归一化结果如图1所示。 0044 第二步， 记录左右眼区域特征点索引和特征点数量n， 并在三维人脸数据中提取左 右眼区域特征点(即关键点)。 0045 作为一优选实施例， 特征点索引是指在标准可动模型的纹理数据中选取符合左右 眼手术区域的特征点， 并记录特征点的编号。 0046 作为一优选实施例， 特征点的数量包括左眼区域的2572个特征点和右眼区域的 2591个特征点。 0047 第三步， 采用线性回归模型判断手。

22、术区域位于左眼或者右眼， 包括从第i个三维人 脸数据手术前后对应的左、 右眼特征点区域Pi_before,Pi_after， 得到第i个平均位移矩阵Pi和 对应区域是否进行手术Yi， 再得到线性回归的自变量P和因变量Y， 计算出x、 y、 z方向对结果 影响的权值W。 0048 作为一优选实施例， 平均位移矩阵Pi(Pi_after-Pi_before)/n。 0049作为一优选实施例， 对应区域的手术情况 0050作为一优选实施例， 自变量其中， m为训练集样本数量。 0051作为一优选实施例， 因变量其中， m为训练集样本数量。 0052 作为一优选实施例， 权值W(PTP)-1PTY。 。

23、0053 作为一优选实施例， 第三步中， W47.85693945， 2.64343121， 79.23895416， - 0.37536196， 四个数值分别对应模型x坐标对结果影响的权值， y坐标对结果影响的权值， z 坐标对结果影响的权值和误差项。 0054 第四步， 计算手术眼区域与标准可动模型的平均位移矩阵Poperation和非手术眼区 域与标准可动模型的平均位移矩阵Pnatural， 设定阈值thread判断术后眼眶软组织恢复情 况。 0055 作为一优选实施例， 阈值thread0.006； 0056 作为一优选实施例， 判断术后眼眶软组织恢复情况为： 0057 当Popera。

24、tion-threadPnaturalPoperation+thread时， 判断为恢复良好， 否则判断为未 恢复。 0058 第四步中Poperation0.01588， Pnatural0.00865， 判断结果未恢复， 与实际情况一 说明书 4/6 页 7 CN 111938655 A 7 致， 如图1和图2所示。 0059 实施效果 0060 依据上述步骤， 对65例患者的三维人脸模型进行诊断， 其中59例实现正确诊断。 0061 本发明另一实施例提供了一种基于关键点信息的眼眶软组织形态评价系统， 包 括： 0062 预处理模块： 使用LSFM模型对三维人脸数据进行注册， 并以标准可动。

25、模型所处的 坐标空间为基础对注册后的三维人脸数据做校准和归一化； 0063 特征提取模块： 记录左右眼区域特征点索引和特征点数量n， 并在三维人脸数据中 提取左右眼区域特征点； 0064 手术区域判断模块： 采用线性回归模型判断手术区域位于左眼或者右眼， 包括从 第i个三维人脸数据手术前后对应的左、 右眼特征点区域Pi_before,Pi_after得到第i个平均位 移矩阵Pi和对应区域是否进行手术Yi， 再得到线性回归的自变量P和因变量Y， 计算出x、 y、 z 方向对结果影响的权值W； 0065 术后恢复判断模块： 计算手术眼区域与标准可动模型的平均位移矩阵Poperation和 非手术眼。

26、区域与标准可动模型的平均位移矩阵Pnatural， 设定阈值thread判断术后眼眶软组 织恢复情况。 0066 本发明第三个实施例提供了一种设备， 包括存储器、 处理器及存储在存储器上并 能够在处理器上运行的计算机程序， 处理器执行计算机程序时能够用于执行基于关键点信 息的眼眶软组织形态评价方法。 0067 可选地， 存储器， 用于存储程序； 存储器， 可以包括易失性存储器(英文： volatile memory)， 例如随机存取存储器(英文： random-access memory， 缩写： RAM)， 如静态随机存取 存储器(英文： static random-access memor。

27、y， 缩写： SRAM)， 双倍数据率同步动态随机存取 存储器(英文： Double Data Rate Synchronous Dynamic Random Access Memory， 缩写： DDR SDRAM)等； 存储器也可以包括非易失性存储器(英文： non-volatile memory)， 例如快 闪存储器(英文： flash memory)。 存储器62用于存储计算机程序(如实现上述方法的应用程 序、 功能模块等)、 计算机指令等， 上述的计算机程序、 计算机指令等可以分区存储在一个或 多个存储器中。 并且上述的计算机程序、 计算机指令、 数据等可以被处理器调用。 0068 。

28、上述的计算机程序、 计算机指令等可以分区存储在一个或多个存储器中。 并且上 述的计算机程序、 计算机指令、 数据等可以被处理器调用。 0069 处理器， 用于执行存储器存储的计算机程序， 以实现上述实施例涉及的方法中的 各个步骤。 具体可以参见前面方法实施例中的相关描述。 0070 处理器和存储器可以是独立结构， 也可以是集成在一起的集成结构。 当处理器和 存储器是独立结构时， 存储器、 处理器可以通过总线耦合连接。 0071 本发明第四个实施例提供了另一种设备， 包括存储器、 处理器及存储在存储器上 并可通过处理器运行的基于关键点信息的眼眶软组织形态评价系统。 0072 该实施例中可采用与上。

29、述相同或相似的存储器和处理器， 此处不再赘述。 0073 本发明上述实施例所提供的基于关键点信息(三维信息)的眼眶软组织形态评价 方法、 系统及设备， 是一种快速、 可量化评价、 重复性好的眼眶软组织形态评价新技术， 基于 SKO的眼眶软组织量化评价， 为眼部软组织形态描述提供快速、 可量化、 可重复性的评价。 在 说明书 5/6 页 8 CN 111938655 A 8 Bellus3D结构光扫描仪采集得到的眼眶病患者人脸三维信息中提取眼眶区域2500多个 mesh顶点建立眼眶软组织评价关键点集合(SKO， soft-tissue key-points-set of the orbit)， 。

30、并使用LSFM(Large Scale Face Model)进行关键点注册； 以65位眼眶骨折患者数 据建立SKO回归方程并进行眼眶软组织形态的判断， 实现了对可察觉眶面部形态改变、 眼眶 肿胀和消退等主观评判的客观评价并得到了有效验证， 为眶面部疾病的诊疗和决策研究提 供了新的思路。 与现有技术相比， 降低了对人工的需求， 基本实现医疗诊断的自动化， 且准 确率达到90， 基本符合临床需求。 0074 需要说明的是， 本发明提供的方法中的步骤， 可以利用系统中对应的模块、 装置、 单元等予以实现， 本领域技术人员可以参照系统的技术方案实现方法的步骤流程， 即， 系统 中的实施例可理解为实现。

31、方法的优选例， 在此不予赘述。 0075 本领域技术人员知道， 除了以纯计算机可读程序代码方式实现本发明提供的系统 及其各个装置以外， 完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其 各个装置以逻辑门、 开关、 专用集成电路、 可编程逻辑控制器以及嵌入式微控制器等的形式 来实现相同功能。 所以， 本发明提供的系统及其各项装置可以被认为是一种硬件部件， 而对 其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构； 也可以将用于实现各 种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。 0076 以上对本发明的具体实施例进行了描述。 需要理解的是， 本发明并不局限于上述 特定实施方式， 本领域技术人员可以在权利要求的范围内做出各种变形或修改， 这并不影 响本发明的实质内容。 说明书 6/6 页 9 CN 111938655 A 9 图1 图2 图3 说明书附图 1/1 页 10 CN 111938655 A 10 。