基于低尺度血管检测分割视网膜血管的方法.pdf

《基于低尺度血管检测分割视网膜血管的方法.pdf》由会员分享，可在线阅读，更多相关《基于低尺度血管检测分割视网膜血管的方法.pdf（19页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910058161.9 (22)申请日 2019.01.22 (71)申请人 安徽海浪智能技术有限公司 地址 241000 安徽省芜湖市弋江区科技产 业园一期A11-2 申请人 江南大学 (72)发明人 肖志勇吴鑫鑫刘辰宋嵘榕 (74)专利代理机构 大连理工大学专利中心 21200 代理人 梅洪玉 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06N 3/04(2006.01) (54)发明名称 一种基于低尺度血管检测。

2、分割视网膜血管 的方法 (57)摘要 本发明属于图像识别和医学图像处理领域， 涉及一种基于低尺度血管检测的视网膜血管分 割方法。 第一步： 特征提取， 本发明用到两个维度 的特征矩阵， 一个直接来自于彩色视网膜眼底图 像的绿色通道。 另一个是对用B-COSFIRE滤波器 处理后得到的响应结果。 第二步， 通过三倍标准 差法去掉两个特征矩阵异常值， 第三步， LVD模型 的设计考虑到多尺度下的特征提取， 以及每一层 特征的融合， 不仅能够从低尺度提取特征， 而且 保留了原尺度的细节特征。 本发明的LVD模型融 合了原尺度的细节特征， 使得特征信息不丢失， 分割结果更准确； 子网络ADS-N有较深。

3、的网络， 并 且卷积核都是非对称的， 对细小的血管有很好的 检测效果。 权利要求书3页 说明书7页 附图8页 CN 109978819 A 2019.07.05 CN 109978819 A 1.一种基于低尺度血管检测分割视网膜血管的方法， 其特征在于， 步骤如下： 第一步： 特征提取 本发明需要用到两个维度的特征矩阵； 一个直接来自于彩色视网膜眼底图像的绿色通 道map1； 另一个是对map1用B-COSFIRE滤波器处理后得到的响应结果map2； B-COSFIRE滤波器处理过程如下： 1.1 通过DoG滤波器对map1进行处理， 得到输入c： 其中， 外部高斯函数偏差为 ， 内部高斯函数。

4、标准偏差为0.5 ， 符号|+表示去负为零， x为像素点的行， y为像素点的列； 1.2 B-COSFIRE滤波器有两种， 一种是对称的， 用于检测血管主干， 另一种是非对称的， 用于检测血管末端， B-COSFIRE滤波器为一个三元组集合其中i指 考虑的点的个数； 1.3 对S进行模糊移位操作， 提高各个点的容错性： 其中0+ i， 、 0为常数， G为高斯函数， -3 x， y3 ； 1.4 求取集合S中所有三元组的模糊移位的几何平均， 公式为： 其中|t表示阈值为t时得到的最大响应， 0 t1； 1.5对不同方向上的B-COSFIRE滤波器响应结果进行融合， 得到第二个特征矩阵map2：。

5、 权利要求书 1/3 页 2 CN 109978819 A 2 其中， nr代表方向的个数； 第二步： 归一化 2.1 通过三倍标准差法去掉两个特征矩阵map异常值： 其中， mapi表示第i个特征矩阵， i只有1和2两个值，表示mapi的平均值， ni表示mapi 像素个数， i表示mapi的标准差， 3 表示限制值的上限为3 ， 下限为-3 . 2.2 利用最大最小规范化法， 缩放2.1步得到的特征矩阵map到0， 1： mapi MaxMin(mapi)-0.5 (6) 再平移到-0.5， 0.5的范围， 得到归一化后的特征矩阵map ： 将归一化后的特征矩阵拼接成LVD模型的输入矩阵；。

6、 第三步： LVD模型 LVD模型包括三个隐藏层、 两个侧输出层和一个共享输出层； 第一个隐藏层跟输入层直 接连接， 三个隐藏层为链式， 顺序连接； 从第二个隐藏层开始， 每个隐藏层都单独与一个侧 输出层连接； 输入数据依次进入三个隐藏层， 能得到三个中间特征； 后两个隐藏层单独连接 一个输出层， 得到中间特征的侧输出； 最后将第一个隐藏层得到的中间特征与两个侧输融 合送入共享的输出层得到最后的分割结果； 子网络ADS-N包含十个卷积层， 每层卷积核都是非对称的， 并且深度固定为N； 将ADS-N 作为一层加入到LVD模型的每个隐藏层中， 得到整个LVD网络； 整个模型的损失函数采用均方误差，。

7、 对于输出结果y与人工标注y 的均方误差计算如 下： 其中n代表像素点的个数，代表平方和； 为了防止过拟合， 在损失函数中引入了L2正 则化项， 最终的损失函数Loss定义如下： 其中， w表示网络中边上的权重； k表示正则化项的权重； 第四步： 二值化 二值化是在测试阶段， 对LVD测试结果y进行后处理， 得到最后的血管分割结果； 先将y 通过公式(6)规范化， 再采用阈值分割二值化， 得到最后的分割结果， 其中阈值设置为 。 2.如权利要求1所述的一种基于低尺度血管检测分割视网膜血管的方法， 其特征在于， ADS-N子网络有12层， 第0层为输入层， 第一个隐藏层中有一个ADS-N层和一个。

8、11的卷积 权利要求书 2/3 页 3 CN 109978819 A 3 层， 第二个隐藏层有一个最大池化层和一个ADS-N层， 第三个隐藏层跟第二个隐藏层一样； 低尺度下的输出层通过反卷积层实现， 最后的输出层通过一个连接层和一个11的卷积层 得到。 3.如权利要求2所述的一种基于低尺度血管检测分割视网膜血管的方法， 其特征在于， 每个卷积层后跟一个Batch_Norm层来加速收敛和一个Relu层进行激活。 权利要求书 3/3 页 4 CN 109978819 A 4 一种基于低尺度血管检测分割视网膜血管的方法 技术领域 0001 本发明属于图像识别和医学图像处理领域， 涉及一种基于低尺度血。

9、管检测的视网 膜血管分割方法。 背景技术 0002 报告显示， 截止至2017年， 全球约4.25亿成人患糖尿病， 占总人口的8.8， 预计到 2045年， 糖尿病患者可能达到6.29亿。 2017年全球糖尿病患者(20-79 岁)分布中， 中国达到 了1.144亿， 排在第一位。 据评估， 全球有多达2.124亿人或所有20-79岁糖尿病患者的一半 不知道已患病。 并且已知病史的糖尿病患者中， 视网膜病变的患病率高达65.2。 视网膜血 管的形态、 宽度、 角度等信息可以直接用来疾病的诊断和筛选， 所以早期的检测很重要。 0003 传统的检测需要医生手工标注血管， 任务量大， 需要耗费近两个。

10、小时来完成一张 图片的血管分割。 为了节约人力， 提高效率， 需要借助计算机辅助， 自动化地分割血管。 视网 膜血管分割方法主要有两大类， 一类是非监督学习的分割方法， 另一类是监督学习的分割 方法。 0004 非监督学习方法主要是根据血管的某个或者多个特性来提取血管。 监督学习的方 法主要是事先标记好血管点和背景点， 再通过构造好的模型来学习输入到输出间的映射关 系， 不断调整模型。 0005 这些监督学习的方法， 在充足的训练数据和优异的模型下， 分割的结果往往比非 监督学习的方法更好。 发明内容 0006 本发明为了进一步提高分割精度， 提出了一种基于低尺度血管检测分割视网膜血 管的方法。

11、， 该方法采用一种新的模型低尺度血管检测(Low-scale Vessel Detection， LVD)模型， 采用端到端的监督学习方法， 对眼底视网膜图像的血管进行自动分 割。 0007 本发明的技术方案如下： 0008 本发明的输入是个三维矩阵， 有两个特征维度。 第一个特征矩阵来自彩色视网膜 图像的绿色通道， 另一个来自B-COSFIRE滤波器的响应结果。 采用LVD 模型， 并加入非对称 固定深度为N的子网络(ADS-N)， 得到完整的血管分割网络。 在训练过程中， 需要与手动分割 数据集进行参数的调整。 测试过程中， 需要对分割的结果二值化。 整个流程在图1中显示， 下 面是具体的。

12、步骤： 0009 第一步： 特征提取 0010 本发明需要用到两个维度的特征矩阵。 一个直接来自于彩色视网膜眼底图像的绿 色通道map1。 另一个是对map1用B-COSFIRE滤波器处理后得到的响应结果map2。 0011 B-COSFIRE滤波过程如下： 0012 1.1通过DoG滤波器对map1进行处理， 得到输入c： 说明书 1/7 页 5 CN 109978819 A 5 0013 0014 其中， 外部高斯函数偏差为 ， 内部高斯函数标准偏差为0.5 ， 符号|+表示去负 为零， x为像素点的行， y为像素点的列。 0015 1.2 B-COSFIRE滤波器有两种， 一种是对称的，。

13、 用于检测血管主干， 另一种是非对 称的， 用于检测血管末端， 如图2所示。 0016B-COSFIRE滤波器为一个三元组集合其中i指考虑的点 的个数， 对于图2(a)的对称滤波器， i为5， 即标注数字的5个点。 其中代表第i个点的 极坐标， 极坐标的原点在图2中都是标注1的点的位置， 也是 B-COSFIRE滤波器的中心。 0017 1.3对S进行模糊移位操作， 提高各个点的容错性： 0018 0019其中 0+ i， 、 0为常数， G为高斯函数， - 3 x， y3 。 0020 1.4求取集合S中所有三元组的模糊移位的几何平均， 公式为： 0021 0022其中|t表示阈值为t时得到。

14、的最大响应， 0t 1。 0023 1.5为了检测不同方向上的血管， 需构造不同方向上的B-COSFIRE滤波器， 对不同 方向上的B-COSFIRE滤波器响应结果进行融合， 得到第二个特征矩阵 map2： 0024 0025 其中， nr代表方向的个数。 0026 第二步： 归一化 0027 2.1通过三倍标准差法去掉两个特征矩阵map异常值： 说明书 2/7 页 6 CN 109978819 A 6 0028 0029其中， mapi表示第i个特征矩阵， i只有1和2两个值，表示mapi的平均值， ni表示 mapi像素个数， i表示mapi的标准差， 3 表示限制值的上限为3 ， 下限为。

15、-3 . 0030 2.2利用最大最小规范化法， 缩放2.1步得到的特征矩阵map到0， 1： 0031 mapi” MaxMin(mapi)-0.5 (6) 0032 再平移到-0.5， 0.5的范围， 得到归一化后的特征矩阵map” ： 0033 0034将归一化后的特征矩阵拼接成LVD模型的输入矩阵。 0035 第三步： LVD模型 0036 LVD模型的设计主要考虑到多尺度下的特征提取， 以及每一层特征的融合， 如图3 所示。 该模型是整体嵌套网络(Holistically-nested network)的变体， 不仅能够从低尺度 提取特征， 而且保留了原尺度的细节特征。 0037 L。

16、VD模型包括三个隐藏层、 两个侧输出层和一个共享输出层。 第一个隐藏层跟输入 层直接连接， 三个隐藏层为链式， 顺序连接。 从第二个隐藏层开始， 每个隐藏层都单独与一 个侧输出层连接。 输入数据依次进入三个隐藏层， 能得到三个中间特征。 后两个隐藏层 (hidden layer)单独连接一个输出层(output layer)， 用来得到中间特征的侧输出。 最后 将第一个隐藏层得到的中间特征与两个侧输融合送入共享的输出层得到最后的分割结果。 0038 LVD模型的第一个隐藏层仅有卷积层， 用来特征提取， 所以该层的中间特征为原尺 度。 第二个隐藏层除了有卷积层外， 还有一个池化层(处在第一层)，。

17、 所以中间特征为低尺 寸。 第三个隐藏层与第二个隐藏层结构一样。 这样， LVD模型就实现了三个尺度下的特征提 取。 因为低尺度特征融合前需要统一尺寸， 所以两个侧输出层内各含有一个上采样层， 从而 输出原尺度下的特征。 共享输出层中， 除了有一个融合层用来融合特征外， 还有一个卷积层 进行降维， 得到只有一个特征维度的分割结果。 0039 为了更好的提取血管特征， 尤其是细小的血管特征， 本发明设计了非对称固定深 度为N的子网络(ADS-N)。 ADS-N的结构展示在图4。 该子网络包含十个卷积层， 每层卷积核都 是非对称的， 并且深度固定为N。 0040 将ADS-N作为一层加入到LVD模。

18、型的每个隐藏层中， 得到整个LVD网络。 该网络有12 层， 第0层为输入层， 第一个隐藏层中有一个ADS-N层(步长为1) 和一个11的卷积层(步长 为1)， 第二个隐藏层有一个最大池化层(步长为2)和一个ADS-N层(步长为1)， 第三个隐藏层 跟第二个隐藏层一样。 低尺度下的输出层通过反卷积层实现， 最后的输出层通过一个连接 层和一个11的卷积层得到， 如图5所示。 每个卷积层后跟一个Batch_Norm层来加速收敛和 一个Relu 层进行激活。 0041 整个模型的损失函数采用均方误差， 对于输出结果y与人工标注y 的均方误差计 算如下： 说明书 3/7 页 7 CN 10997881。

19、9 A 7 0042 0043其中n代表像素点的个数，代表平方和。 为了防止过拟合， 在损失函数中引入了 L2正则化项， 最终的损失函数Loss定义如下： 0044 0045 其中， w表示网络中边上的权重。 k表示正则化项的权重。 0046 第四步： 二值化 0047 二值化是在测试阶段， 对LVD测试结果y进行后处理， 得到最后的血管分割结果。 先 将y通过公式(6)规范化， 再采用阈值分割二值化， 得到最后的分割结果， 其中阈值设置为 。 0048 本发明的有益效果： 0049 本发明的LVD模型， 不仅考虑了低尺度下的特征， 而且融合了原尺度的细节特征， 使得特征信息不丢失， 分割结果。

20、更准确； 子网络ADS-N有较深的网络， 并且卷积核都是非对 称的， 对细小的血管有很好的检测效果。 附图说明 0050 图1是本发明在血管分割应用上的流程图。 0051 图2(a)是B-COSFIRE对称滤波器。 0052 图2(b)是B-COSFIRE非对称滤波器。 0053 图3是LVD模型。 0054 图4是ADS-N子网络。 0055 图5是LVD网络。 0056 图6是ROC曲线。 0057 图7(a)列是侧视图。 0058 图7(b)列是专家分割图。 0059 图7(c)列是LVD输出结果图。 0060 图7(d)列是二值化分割结果图。 具体实施方式 0061 下面结合附图和具体。

21、实施方式对本发明作进一步的详细说明。 0062 一种基于低尺度血管检测分割视网膜血管的方法， 步骤如下： 0063 第一步： 特征提取 0064 第一个特征矩阵直接取彩色视网膜图像的绿色通道map1。 0065 第二个特征来自于B-COSFIRE滤波器的响应结果map2。 0066 B-COSFIRE滤波过程如下： 0067 1.1通过DoG滤波器对map1进行处理， 得到构造B-COSFIRE滤波器的输入 c。 公式 为： 说明书 4/7 页 8 CN 109978819 A 8 0068 0069 其中， 外部高斯函数偏差为 2.4， 符号|+表示去负为零， x为像素点的行， y 为像素点。

22、的列。 0070 1.2 B-COSFIRE滤波器有两种， 一种是对称的， 用于检测血管主干， 另一种是非对 称的 ， 用于检 测血管 末端 ， 如图 2所示。 B-CO SFIR E滤 波器为一个三元组 集合 其中i9， 0， 2， 4， 6， 8。 0071 1.3对S进行模糊移位操作， 提高各个点的容错性， 公式为： 0072 0073其中0+ i， 03， 0.7， G为高斯函 数， -3 x， y3 。 0074 1.4求取集合S中所有三元组的模糊移位的几何平均， 公式为： 0075 0076其中|t表示阈值为t时得到的最大响 应， 0t1。 0077 1.5为了检测不同方向上的血管。

23、， 还需构造不同方向上的B-COSFIRE滤波器， 并对 所有的B-COSFIRE滤波器的响应结果进行融合， 得到第二个特征矩阵 map2， 公式为： 0078 0079 其中， nr12。 0080 第二步： 归一化 0081 2.1通过三倍标准差法去掉特征矩阵map异常值： 0082 说明书 5/7 页 9 CN 109978819 A 9 0083其中， mapi表示第i个特征矩阵， i只有1和2两个值，表示mapi的平均值， ni表 示mapi像素个数， i表示mapi的标准差， 3 表示限制值的上限为3 ， 下限为-3 . 0084 2.2利用最大最小规范化法， 缩放特征矩阵map到。

24、0， 1， 公式如下： 0085 mapi” MaxMin(mapi)-0.5 (6) 0086 再平移到-0.5， 0.5的范围， 得到归一化后的特征矩阵map” ： 0087 0088将归一化后的特征矩阵拼接成LVD模型的输入矩阵。 0089 第三步： LVD模型 0090 LVD模型的设计主要考虑到多尺度下的特征提取， 以及每一层特征的融合， 如图3 所示。 该模型是整体嵌套网络(Holistically-nested network)的变体， 不仅能够从低尺度 提取特征， 而且保留了原尺度的细节特征。 0091 LVD模型包括三个隐藏层、 两个侧输出层和一个共享输出层。 第一个隐藏层跟。

25、输入 层直接连接， 三个隐藏层为链式， 顺序连接。 从第二个隐藏层开始， 每个隐藏层都单独与一 个侧输出层连接。 输入数据依次进入三个隐藏层， 能得到三个中间特征。 后两个隐藏层 (hidden layer)单独连接一个输出层(output layer)， 用来得到中间特征的侧输出。 最后 将第一个隐藏层得到的中间特征与两个侧输融合送入共享的输出层得到最后的分割结果。 0092 LVD模型的第一个隐藏层仅有卷积层， 用来特征提取， 所以该层的中间特征为原尺 度。 第二个隐藏层除了有卷积层外， 还有一个池化层(处在第一层)， 所以中间特征为低尺 寸。 第三个隐藏层与第二个隐藏层结构一样。 这样，。

26、 LVD模型就实现了三个尺度下的特征提 取。 因为低尺度特征融合前需要统一尺寸， 所以两个侧输出层内各含有一个上采样层， 从而 输出原尺度下的特征。 共享输出层中， 除了有一个融合层用来融合特征外， 还有一个卷积层 进行降维， 得到只有一个特征维度的分割结果。 0093 为了更好的提取血管特征， 尤其是细小的血管特征， 本发明设计了非对称固定深 度为N的子网络(ADS-N)。 ADS-N的结构展示在图4。 该子网络包含十个卷积层， 每层卷积核都 是非对称的， 并且深度固定为N。 0094 将ADS-50作为一层加入到LVD模型的每个隐藏层中， 得到整个LVD网络。 该网络有 12层， 第0层为。

27、输入层， 第一个隐藏层中有一个ADS-50层(步长为1)和一个11的卷积层(步 长为1)， 第二个隐藏层有一个最大池化层(步长为 2)和一个ADS-50层(步长为1)， 第三个隐 藏层跟第二个隐藏层一样。 低尺度下的输出层通过反卷积层实现， 最后的输出层通过一个 连接层和一个11的卷积层得到， 如图5所示。 每个卷积层后跟一个Batch_Norm层来加速收 敛和一个 Relu层进行激活。 具体参数见表1。 0095 表1 LVD网络参数 说明书 6/7 页 10 CN 109978819 A 10 0096 0097 整个模型的损失函数采用均方误差， 对于输出结果y与人工标注y 的均方误差计 。

28、算如下： 0098 0099其中n代表像素点的个数，代表平方和。 为了防止过拟合， 在损失函数中引入了 L2正则化项， 最终的损失函数Loss定义如下： 0100 0101 其中， w表示网络中边上的权重， 初始化方式是从截断的正态分布中输出随机值， 该正态分布的标准差为0.1； k0.001。 0102 第四步： 二值化 0103 二值化是在测试阶段， 对LVD测试结果y进行后处理， 得到最后的血管分割结果。 先 将y通过公式(6)规范化， 再采用阈值分割二值化， 得到最后的分割结果， 其中阈值设置为 0.3。 0104 在DRIVE数据库上进行了实验， 对20幅测试集进行测试， 并选用第一。

29、位专家的分割 结果作为评判标准。 分割结果的敏感性达到了0.8551， 特异性达到了0.9785， 准确率达到了 0.9675。 由图6可知， ROC曲线靠近左上角， AUC的值高达0.9782， 体现了本发明在血管检测的 准确性极高。 整个分割结果在图7 中显示， 从中可以发现， LVD网络对血管， 尤其是细小的血 管由很好的检测效果。 说明书 7/7 页 11 CN 109978819 A 11 图1 图2(a) 说明书附图 1/8 页 12 CN 109978819 A 12 图2(b) 图3 说明书附图 2/8 页 13 CN 109978819 A 13 图4 图5 说明书附图 3/8 页 14 CN 109978819 A 14 图6 说明书附图 4/8 页 15 CN 109978819 A 15 图7(a) 说明书附图 5/8 页 16 CN 109978819 A 16 图7(b) 说明书附图 6/8 页 17 CN 109978819 A 17 图7(c) 说明书附图 7/8 页 18 CN 109978819 A 18 图7(d) 说明书附图 8/8 页 19 CN 109978819 A 19 。