基于进化神经架构搜索的眼底图像视网膜血管分割方法.pdf

《基于进化神经架构搜索的眼底图像视网膜血管分割方法.pdf》由会员分享，可在线阅读，更多相关《基于进化神经架构搜索的眼底图像视网膜血管分割方法.pdf（21页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202011172307.1 (22)申请日 2020.10.28 (71)申请人 汕头大学 地址 515063 广东省汕头市大学路汕头大 学 (72)发明人 韦家弘范衠林培涵朱贵杰 马培立黄文宁李晓明龙周彬 (74)专利代理机构 广州嘉权专利商标事务所有 限公司 44205 代理人 叶洁勇 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 3/。

2、12(2006.01) (54)发明名称 基于进化神经架构搜索的眼底图像视网膜 血管分割方法 (57)摘要 本发明提供基于进化神经架构搜索的眼底 图像视网膜血管分割方法， 以U型解码编码结构 为骨干网络对其中模块的内部结构进行搜索和 优化， 从而为这些模块寻找到比人工设计更好和 具有更低计算复杂度的结构和操作； 本发明的神 经网络模型能更有效地处理眼底图像的复杂情 况， 对复杂的眼底图像病灶、 血管中心反光现象 的干扰和光照不均衡现象的干扰具有较强的鲁 棒性， 能更准确地提取视网膜血管的特征， 从而 提高整张图像的分割准确率。 既保证了架构的灵 活性也提高了架构搜索的效率， 并且改进了遗传 算。

3、法中的交叉操作， 提高了遗传算法的在架构搜 索过程中的搜索能力， 更有潜力应用于临床上的 疾病诊断。 权利要求书3页 说明书14页 附图3页 CN 112258486 A 2021.01.22 CN 112258486 A 1.基于进化神经架构搜索的眼底图像视网膜血管分割方法， 其特征在于， 所述方法包 括以下步骤： 将视网膜图像数据集划分为训练集、 验证集和测试集； 构建神经网络模型； 对神经网络模型进行优化得到优化神经网络模型； 以训练集对优化神经网络模型训练得到视网膜图像分割模型； 通过视网膜图像分割模型对输入的视网膜图像进行视网膜图像分割。 2.根据权利要求1所述的基于进化神经架构搜索。

4、的眼底图像视网膜血管分割方法， 其 特征在于， 视网膜图像数据集为公开的如DRIVE、 STARE和CHASE_DB1视网膜血管分割的数据 集。 3.根据权利要求1所述的基于进化神经架构搜索的眼底图像视网膜血管分割方法， 其 特征在于， 构建神经网络模型的方法为： 所述神经网络模型以U型神经网络为基本的神经网 络骨架进行搜索， 所述神经网络模型由一个编码器和一个解码器构成， 其中编码器和解码 器都分别包含编码模块和解码模块； 从上到下， U型神经网络的U型解码编码结构可以被分 成不同的阶段， 相同阶段的特征图维度是不变的； 除最后一个阶段外， 对应的编码器模块和 解码器模块均通过跳连方式将编码。

5、器E所提取的不同语义信息传递给解码器D， 编码器D需 要融合来自跳连和上采样的信息， 其中采用拼接和对位相加的方式将解码过程中上采集的 信息与来自跳连的信息进行融合。 4.根据权利要求1所述的基于进化神经架构搜索的眼底图像视网膜血管分割方法， 其 特征在于， 将所述神经网络模型中的编码模块和解码模块统称为模块， 每个模块的内部结 构都是由节点和连接各节点的边组成的， 每个节点代表一个操作单元或者一个操作序列， 每条边代表的是两个节点间具有连接关系； 使用二值编码表示模块内部节点间的连接关 系， 先将模块中的节点分成两类， 默认节点和中间节点； 默认节点包括默认输入节点和默认 输出节点， 默认输。

6、入节点接收先前模块输出的数据， 并将所输出的数据传送给每个没有前 置的节点； 默认输出节点则接收所有没有后置的节点的输出数据， 并把这些数据加起来并 处理， 然后再把数据传向池化层； 对于模块中另外的K个中间节点vk(k0， 1， 2， .， K-1)， 使用位比特编码这些节点间的连接关系， 第一位比特表示的是(v0， v1)的连接关 系， 接下来的两位比特表示的是(v0， v2)和(v1， v2)的连接关系， 以此类推， 直到后K-1位比特 用以表示v1， v2， .， vK-2和vK-1之间的连接关系， 其中， 如果两个节点间对应的比特是1， 则说 明它们之间相连接， 后面的节点会把前面节。

7、点的输出作为输入的一部分， 如果比特是0， 则 说明对应的两个节点间不存在连接； 节点都会把它们的所有输入先加起来再进行处理。 5.根据权利要求1所述的基于进化神经架构搜索的眼底图像视网膜血管分割方法， 其 特征在于， 对神经网络模型进行优化得到优化神经网络模型的方法包括以下步骤： S101： 首先随机初始化N个种群， N为种群规模； 然后演化T代， T为最大进化代数， 每一代 都会包含着交叉、 变异和选择操作， pc为交叉概率， pm为变异概率， pb为每比特位的变异概 率； S102： 随机初始化规模为N个使用二值编码的个体作为初始化种群P0； S103： 评估种群P0中个体的适应度值； 。

8、权利要求书 1/3 页 2 CN 112258486 A 2 S104： 设置变量t的初始值为0， t为自然数取值为0， T， 令Qt为种群； S105： 设置Qt为空集； S106： 从Pt中选择两个父代个体p1和p2； S107： 将父代个体p1和p2分别以概率pc、 pm和pb进行交叉和变异以生成两个子代个体q1 和q2； S108： 当|Qt|N时将Qtq1q2赋值到Qt中并转到步骤S106， 否则转到步骤S109； S109： 评估种群Qt中个体的适应度值； S110： 使用相应的环境选择方法从PtQt选出N个个体到种群Pt+1中； S111： 当t小于T时， 将变量t增加1并且转到。

9、步骤S105， 否则转到步骤S112； S112： 输出种群Pt中适应度值最大的个体。 6.根据权利要求5所述的基于进化神经架构搜索的眼底图像视网膜血管分割方法， 其 特征在于， 在S106和S110中， S106中的从Pt中选择两个父代个体p1和p2的选择方法和S110中 的环境选择方法为： 从当前种群Pt和所生成的子代Qt中选出S个最好的个体进入下一代种群 Pt+1， S为5， 此时， 将被选出的个体也会从PtQt中移除； 然后， 继续使用二元锦标赛选择法从 PtQt选择其他的个体进入下一代种群， 直至下一代种群Pt+1和当前种群Pt的种群规模相 同。 7.根据权利要求5所述的基于进化神经。

10、架构搜索的眼底图像视网膜血管分割方法， 其 特征在于， 在S106和S110中， S106中的从Pt中选择两个父代个体p1和p2的选择方法和S110中 的环境选择方法为： 遗传算法的交叉操作， 为了保证种群个体间的信息交换， 有效的信息交 换可以保证算法的收敛性； 选择多点交叉操作用于生成子代； 为了保证算法的搜索能力， 先 通过二元锦标赛选择法选择两个个体p1和p2， 并通过公式(1)计算两个个体的差异值diff， 如果差异值diff大于我们所设定的阈值 0.2， 则将这两个个体设定为待交叉的父代个 体， 否则， 每次选择不同值的两个个体p1和p2会被同样的方式重新选择， 如果多次重新选择 。

11、后， p1和p2仍然不满足要求， 最后一次选择的个体将会被设定为待交叉的父代个体； 之后， 所选定的父代个体会以Pc0.9的概率进行差异引导的交叉操作； 其中， 两个个体间差异值的计算公式如下： p1和p2代表两个个体， Lgene是个体基因的长度， sum()为求和函数， XOR()为异或函数。 8.根据权利要求7所述的基于进化神经架构搜索的眼底图像视网膜血管分割方法， 其 特征在于， 差异引导的交叉操作的方法包括以下步骤： S201： 令Pt为当前种群， pc为交叉概率， 为差异阈值， o1，符号表示为设置值或 赋值， 设置变量j的初始值为0； S202： 从种群Pt中随机选择两个不同个体。

12、， 并从中选择出适应度值较大的个体作为p1； S203： 再次从种群Pt中随机选择两个个体， 并从中选择出适应度值较大的个体p2； 其中， p1不等于p2； S204： 计算个体p1和p2的差异度diff； S205： 如果diff 则转到步骤S206， 否则令变量j增加1并判断是否j10， 如果j10 则转到步骤S206， 若j10则转到步骤S202； 权利要求书 2/3 页 3 CN 112258486 A 3 S206： 从(0， 1)中随机生成一个数r； S207， 如果rpc则计算个体p1和p2的基因长度len， 如果rpc， 则跳转到S212； S208， 从0， len)中随机选。

13、择10个不同的整数并对这些整数进行从小到大排序得到数 列ints； S209， 把ints按顺序分成5对(i0， i1)， (i2， i3)， (i4， i5)， (i6， i7)， (i8， i9)， 设置变量k的初 始值为0； S210， 将p1i2k： i2k+1和p2i2k： i2k+1进行交换； p1i2k： i2k+1的意义为个体p1中的第i2k 和i2k+1个比特位； S211： 否则令变量k增加1并判断是否k5， 如果k5则转到步骤S211， 若k5则转到步 骤S209； S212： 将个体p1和p2输入给个体o1， o2； S213： 输出交换好的个体o1， o2。 9.根据。

14、权利要求7所述的基于进化神经架构搜索的眼底图像视网膜血管分割方法， 其 特征在于， 评估适应度值的方法包括以下步骤： S301： 令需要评估适应度值的种群为Pt,训练数据为Dtrain,验证数据为Dvalid， individual为个体； S302： 把个体individual转换成其对应的神经网络架构arch； S303： 对架构arch的权重参数进行， 并初始化代数epoch0， 最佳适应值F1-scorebest 0， 符号表示为设置值或赋值； S304： 使用训练数据Dtrain通过梯度下降算法训练架构arch一轮， epochepoch+1； S305： 如果epoch80则使用验。

15、证数据Dvalid验证正在训练中的架构arch从而得到适应度 值F1-score； S306： 如果F1-scoreF1-scorebest则F1-scorebestF1-score； S307： 如果epoch130则转到步骤S304， 否则把F1-scorebest设置为个体individual的适 应值并且转到步骤S308； S308： 判断每个在Pt中的个体individual是否全部评估完了适应度值， 如果是则转到步 骤S309,如果不是则转到步骤S302开始评估没有评估完成的个体individual的适应度值； S309： 输出已评估适应度值的种群Pt。 权利要求书 3/3 页 4。

16、 CN 112258486 A 4 基于进化神经架构搜索的眼底图像视网膜血管分割方法 技术领域 0001 本发明属于计算机技术和图像处理技术领域， 具体涉及基于进化神经架构搜索的 眼底图像视网膜血管分割方法。 背景技术 0002 视网膜眼底图像分析被广泛用于如青光眼和白内障等眼科疾病、 糖尿病、 高血压 和动脉硬化等心血管类疾病的诊断， 筛查和临床研究。 对视网膜血管的精确分割是视网膜 眼底图像分析中最重要的一个步骤， 视网膜血管不但能反映如糖尿病视网膜病变等疾病的 病情， 还能帮助如微动脉瘤和硬性渗出等视网膜眼底病灶的定位和诊断。 但是在临床实践 中， 视网膜血管分割一般由眼科医师或专家标注。

17、完成， 是一项需要熟练技巧， 乏味而耗时的 工作。 再者， 不同观察者的经验判断， 主观感受都不一样， 即便是对同一张视网膜眼底图像 进行血管分割标注， 不同观察者给出的血管分割结果也各不相同。 因此传统的手工视网膜 血管分割不仅耗费大量人力， 而且没有办法保证血管分割的精度和效率由于视网膜病变、 血管中心反光现象、 血管背景对比度低、 血管分支和拓扑结构复杂等影响， 给视网膜血管分 割带来了一定的难度。 0003 据调研， 现如今对眼底血管进行分割的方法大致可以分为三大类： 传统数字图像 处理方法、 无监督方法和有监督方法。 0004 因为视网膜眼底图像成像质量常会受如噪声、 光照不均衡和血。

18、管和背景对比度低 等因素影响， 采用传统数字图像处理方法得到的血管分割效果并不理想， 且处理过程十分 耗时。 0005 无监督方法可分为三个子类： 匹配滤波、 血管跟踪和形体学方法。 匹配滤波利用分 段线性逼近以及视网膜血管的类高斯分布来设计匹配的滤波器内核。 血管跟踪使用局部信 息来划分两点之间的血管， 血管纵向横截面的中心由灰度值和血管弯曲度决定。 形态学方 法常用于提取复杂图像结构， 构造有用的特征表达， 描述如边界、 骨架和凸包等图像区域形 状。 形态学操作具有速度快、 抗噪声能力强的优点， 但是在处理高弯曲度地血管时， 效果较 差。 0006 有监督方法可以被看作是像素级别的二分类问。

19、题。 即每个像素属于血管或非血 管。 常采用逐像素分类器来确定其属性， 如采用深度卷积神经网络对血管像素和非血管像 素进行分类。 在处理大规模视网膜图像时， 像素级方法耗时且难以满足临床要求。 0007 总体而言， 采用传统图像处理方法对视网膜血管进行分割， 其对图像的要求较高， 且操作复杂， 耗时， 得到的分割效果不太理想， 精度不高； 采用无监督方法， 神经网络模型通 常涉及较多需要满足的附加条件， 对图像的质量要求较高， 且分割出的血管精度较低； 有监 督方法中， 神经网络模型需要逐层提取图像特征， 丢失许多有用的信息， 导致神经网络模型 学得的参数不能完全刻画血管特征。 近年来随着深度。

20、学习的发展， 用深度学习进行图像特 征提取有着很好的效果， 也有人尝试用深度学习来进行视网膜血管分割。 采用深度学习方 法来对视网膜血管进行分割的方法比较多， 均是通过神经网络来进行特征训练， 以便于对 说明书 1/14 页 5 CN 112258486 A 5 视网膜血管进行分割。 现有的基于U-Net的编码器解码器架构的深度神经网络已成为医学 图像处理任务的常用技术手段和基准模型。Recurrent Residual Convolutional Neural Network based on U-Net(R2U-Net)for Medical Image Segmentation 提出了通。

21、过结合 残差连接和循环卷积来改进U-Net的网络架构， 改善了基于图像补丁中心点分类的视网膜 血管分割效果。 类似地，Weighted Res-UNet for High-Quality Retina Vessel Segmentation 提出了利用残差模块代替U-Net中的子模块， 构建了Weighted Res-UNet用 于视网膜血管分割。 手工设计高性能神经网络模型往往需要大量重复的工作， 并且对设计 者的经验知识有着较高的要求。 0008 近期， 用于自动设计神经网络的神经架构搜索已经得到许多研究者的关注， 根据 搜索方法的不同可以将其分成三大类： 基于强化学习的方法、 基于演化算。

22、法的方法和基于 梯度的方法。 基于强化学习的方法把神经网络自动设计的过程建模为一个马可夫决策过 程， 通过不断的试错和采样优化生成神经网络的控制器， 最终让改生成器具有生成性能优 异神经架构的能力； 基于演化算法的方法则是把神经架构搜索过程建模为一个优化问题， 通过演化算法的迭代和优胜劣汰， 逐步优化种群中的个体， 以得到所优化的神经架构； 基于 梯度的方法则是对搜索空间中的每个元素都分配相应的权重， 经过松弛处理后， 通过梯度 下降算法交替地对搜索空间的权重和模型权重参数进行更新， 最后依据搜索空间相关权重 的较大值得出所优化的模型。 自从神经架构搜索在图像分类任务中去应用成功以后， 已经 。

23、被研究者扩展至图像分割和目标检测领域， 也有部分的工作扩展到了医学图像分割领域， 但目前没有工作把神经架构搜索应用于视网膜血管分割。 0009 这些现有技术的缺点是： 0010 传统的视网膜血管分割工作一般由眼科医师等具备相关专业知识和技能的观察 者手工标注完成。 这是一项需要熟练技巧， 乏味而耗时的工作。 再者， 不同观察者的经验判 断， 主观感受都不一样， 即便是对同一张视网膜眼底图像进行血管分割标注， 不同观察者给 出的血管分割结果也各不相同。 因此传统的手工视网膜血管分割不仅耗费大量人力， 而且 没有办法保证血管分割的精度和效率。 0011 采用传统图像处理方法对视网膜血管进行分割， 。

24、其对图像的要求较高， 且操作复 杂， 耗时， 得到的分割效果不太理想， 精度不高； 采用无监督方法， 神经网络模型通常涉及较 多需要满足的附加条件， 对图像的质量要求较高， 且分割出的血管精度较低； 有监督方法 中， 神经网络模型需要逐层提取图像特征， 丢失许多有用的信息， 导致神经网络模型学得的 参数不能完全刻画血管特征。 0012 这些人工设计的基于U-Net的模型还有一些局限性， 在眼底图像的复杂情况下仍 然难以比较准确地获取脉管树的结构， 对错综交叉和细小的血管分割效果还不理想。 此外， 这些模型通常有着较高的内存需求和计算复杂度， 意味着它们很难运行在没有足够计算力 的设备上。 00。

25、13 现有的用于自动化设计神经网络的神经架构搜索方法， 特别是基于U-Net的方法 中， 更多地是对神经网络模型模块的超参数和操作进行搜索， 而没有灵活地搜索每个模块 内部的拓扑结构和操作， 这样局限了神经架构的多样性， 也局限了自动设计的神经架构性 能。 0014 导致现有技术缺点的原因如下： 说明书 2/14 页 6 CN 112258486 A 6 0015 1、 视网膜眼底图像的复杂性:非血管组织结构和视网膜血管结构重叠成像， 降低 了视网膜血管结构的清晰度， 特别是宽度较小的血管分支和眼底图像背景的对比度通常较 低， 使得精确分割细小的视网膜血管分支成为一个难度。 此外， 在每个人的。

26、眼球深度不一， 不同眼底相机成像效果参差不齐等等因素的影响下， 获取到的视网膜眼底图像可能会存在 如模糊， 光照不均等。 0016 2、 复杂的视网膜血管拓扑结构： 血管中心反光区域的图像像素灰度值较亮， 和普 通血管像素灰度值的分布范围差异较大。 血管中心反光使得带有中心反光的血管结构容易 被误判为两条平行的血管， 对这类血管的精确分割也是一种挑战。 0017 3、 图像背景的干扰： 除了图像质量和复杂血管结构带来的干扰以外， 正常的视网 膜眼底图像中还包含着如视盘、 黄斑等其他组织结构的背景图像。 此外， 异常的视网膜图像 中， 还可能存在如渗出、 血管出血、 棉絮状斑和微动脉瘤等病灶。 。

27、眼底图像的复杂图像背景 信息给视网膜血管分割带来了一定的难度。 0018 4、 经验知识的局限性： 人工设计神经网络更多地是依靠人的经验知识， 并没有太 多坚实的理论支撑， 往往都是先设想， 后实验验证， 若有效果再采用该方案。 为了使神经网 络的性能更出色， 我们倾向于把神经网络设计的更大、 更复杂， 以至于模型往往有更高的计 算复杂度。 同时， 由于人的精力和知识的局限， 人工设计的神经网络架构并不是最优的架 构。 0019 5、 搜索空间和搜索算法的不合理设计： 搜索空间直接决定了自动化设计的神经网 络模型性能的上限， 不合理的搜索空间会直接影响自动设计的神经网络的架构灵活性， 从 而无。

28、法搜索到性能出色的架构， 也会影响到架构搜索的效率。 如果搜索空间局限了搜索的 架构只能有着较高的计算复杂度， 那么也无法得到轻型的架构。 搜索算法则直接影响在搜 索空间中搜到出色架构的效率， 不好的搜索算法意味着较低的搜索效率， 以至于浪费计算 资源。 0020 综上， 由于视网膜病变、 血管中心反光现象、 血管背景对比度低、 血管分支和拓扑 结构复杂、 人经验知识的局限性和搜索空间和搜索算法的设计等因素， 自动设计用于视网 膜血管分割的轻型神经网络模型是有挑战性和有必要性的。 发明内容 0021 本发明的目的在于提出基于进化神经架构搜索的眼底图像视网膜血管分割方法， 以解决现有技术中所存在。

29、的一个或多个技术问题， 至少提供一种有益的选择或创造条件。 0022 本发明提出的基于进化神经架构搜索的眼底图像视网膜血管分割方法， 用于解决 人工设计视网膜血管分割神经网络模型工作繁琐、 工作量大以及所设计的模型较复杂和在 复杂的眼底图像中对视网膜血管分割不精确的问题。 主要是提出了一种基于U型编码-解码 结构的神经架构搜索方法， 在特定的搜索空间中， 使用遗传算法对U型编码-解码结构的不 同模块的内部结构进行搜索以实现轻型U型卷积神经网络模型的自动化设计， 所设计的轻 型神经网络模型能自动且精确地对眼底图像视网膜血管进行分割。 0023 由于视网膜血管分割任务中的血管结构形态学特征差异巨大。

30、， 血管粗细变化动态 范围大的任务难点， 以及人工设计视网膜血管分割神经网络模型工作繁琐、 工作量大以及 所设计的模型较复杂和在复杂的眼底图像中对视网膜血管分割不精确的原因， 提出了一种 说明书 3/14 页 7 CN 112258486 A 7 名为Genetic U-Net的基于U型编码-解码结构神经架构搜索方法， 在特定和灵活的搜索空 间中， 使用遗传算法对U型编码-解码结构的不同模块的内部结构进行搜索以实现轻型U型 卷积神经网络模型的自动化设计， 所设计的轻型神经网络模型具有较低的计算复杂度并且 能精确地对眼底图像视网膜血管进行分割。 0024 为了实现上述目的， 根据本发明的一方面，。

31、 提供基于进化神经架构搜索的眼底图 像视网膜血管分割方法， 所述方法包括以下步骤： 0025 将视网膜图像数据集划分为训练集、 验证集和测试集； 0026 构建神经网络模型； 0027 对神经网络模型进行优化得到优化神经网络模型； 0028 以训练集对优化神经网络模型训练得到视网膜图像分割模型； 0029 通过视网膜图像分割模型对输入的视网膜图像进行视网膜图像分割。 0030 进一步地， 在S100中， 视网膜图像数据集为公开的公共数据集如DRIVE、 STARE和 CHASE_DB1等视网膜血管分割的数据集。 0031 进一步地， 构建神经网络模型的方法为： 所述神经网络模型以U-Net神经。

32、网络为基 础， 是一个对称的卷积神经网络架构， 由一个编码器E和一个解码器D构成。 编码器E和解码 器D都分别包含编码模块ei(i0,1,2,3)和解码模块dj(j0,1,2)。 从上到下， U-Net可以 被分成不同的阶段Sk(k0,1,2,3)， 相同阶段的特征图维度是不变的。 除了最后一个阶段， 其他所有阶段都使用跳连(Skip connection)将编码器E所提取的不同语义信息传递给解 码器D， 这样既可以加强解码器和编码器之间的联系， 也可以减轻模型训练中的梯度消散问 题。 编码器D需要融合来自跳连和上采样的信息， 常用的特征融合操作有两种： 拼接和对位 相加。 原始U-Net所使。

33、用的特征融合方式是特征图拼接， 但有一些U-Net变体使用了对位相 加的特征融合方式也得到了很好的结果。 相较于对位相加， 拼接的特征融合方式会生成更 大的特征图， 以导致更高的计算复杂度。 为了减轻模型的计算复杂度， 选择对位相加(对应 元素位置数据相加)的方式用以特征融合； 另外， 使用太大搜索空间会增加架构搜索的难 度， 需要长时间的搜索才能得到令人满意的架构， 从而浪费计算资源； 使用太小搜索空间则 会限制架构的灵活性， 搜索空间中很可能不包含理想的架构； 如果我们能基于一些先验知 识设置一个合理且紧凑的搜索空间， 这样就可以在不丢失架构灵活性的前提下高效地搜索 到最优的架构。 003。

34、2 进一步地， 将所述神经网络模型中,由于U-Net及其变体的在许多图像分割任务上 的成功应用说明了U型编码-解码结构具有很强的应用性。 基于这一个先验知识， 我们使用 包含7个模块和4个阶段的U型编码-解码结构作为我们方法搜索空间的骨干， 这样， 我们就 可以通过调整模块的内部结构而寻找到令人满意的架构。 通常来说， 更少的阶段意味着更 小的模型和更少的模块， 针对一些任务很可能会因为模型深度的不足而使模型表现较差； 更多阶段对应着更深的模型和更大的搜索空间， 这样也可能会导致更低的搜索效率和更高 的计算复杂度， 即便在更大的搜索空间中可能存在更好的模型。 所以， 我们的方法使用了一 种折中。

35、的方案， 期待从合理的搜索空间中找到一个规模较小且性能足够好的架构； 在原始 的U-Net中， 每个模块的内部结构都由两个基本的3*3卷积+ReLU层组成。 U-Net的变体通常 通过对U-Net模块的内部结构进行调整以获得更好的性能， 这也说明U-Net模块内部结构的 重要性。 说明书 4/14 页 8 CN 112258486 A 8 0033 进一步地， 将所述神经网络模型中的编码模块和解码模块统称为模块， 每个模块 的内部结构都是由节点和连接各节点的边组成的， 每个节点代表一个操作单元或者一个操 作序列， 每条边代表的是两个节点间具有连接关系。 使用二值编码表示模块内部节点间的 连接关。

36、系， 先将模块中的节点分成两类， 默认节点和中间节点。 默认节点包括默认输入节点 和默认输出节点， 其作用是为了保证每位二值编码的有效性， 默认输入节点会接收先前模 块输出的数据， 并将所输出的数据传送给每个没有前置的节点； 默认输出节点则接收所有 没有后置的节点的输出数据， 并把这些数据加起来并处理， 然后再把数据传向池化层(最大 池化)。 对于模块中另外的K个中间节点)vk(k0,1,2,K-1)， 使用位比特编码 这些节点间的连接关系， 第一位比特表示的是(v0,v1)的连接关系， 接下来的两位比特表示 的是(v0,v2)和(v1,v2)的连接关系， 以此类推， 直到后K-1位比特用以表。

37、示v1,v2,vK-2和 vK-1之间的连接关系。 为保证模块不过于复杂， 中间节点数需要限制在较小的范围内， 本方 法把K设置成5。 其中， 如果两个节点间对应的比特是1， 则说明它们之间相连接， 后面的节点 会把前面节点的输出作为输入的一部分， 如果比特是0， 则说明对应的两个节点间不存在连 接； 节点都会把它们的所有输入先加起来再进行处理。 0034 进一步地， 在所述神经网络模型中构建16个操作序列作为模块中节点的操作选 项， 每个操作序列都是由一些基本的操作单元所组成的， 包括3*3卷积(Conv)、 5*5卷积、 ReLU激活函数、 Mish激活函数和实例归一化(Instance 。

38、normalization)； 为了搜索到轻型 神经网络架构， 每个操作序列中卷积操作的卷积核个数C需要限制在以较小的范围内， 将C 设置为20； 这些操作序列主要的不同体现在卷积核的大小， 激活函数， 激活方式(前激活或 者后激活)和归一化类型(是否使用实例归一化)， 因此使用一段4比特的二值编码表示这些 操作序列。 假设模块中的节点都是相同的操作序列， 通过多个模块基因对应U-Net网络中的 4个编码模块和3个解码模块， 所以每个模块基因由一个4比特的操作基因和一个10比特的 连接基因组成， 操作基因是为卷积操作(3*3或5*5)， 激活函数(ReLu或Mish)， 激活方式(前 激活或者。

39、后激活)和归一化类型(是否使用实例归一化)等操作序列的编码； 而连接基因是 各个节点间的连接关系的编码； 并且， 7个模块基因一起构成了一个神经架构的基因型。 0035 进一步地， 对神经网络模型进行优化得到优化神经网络模型的方法包括以下步 骤： 0036 S101： 所述神经网络模型是一个种群变的越来越好的迭代过程， 通过迭代和竞争， 种群中个体会被不断提升。 每个个体代表一个神经架构， 个体的适应度值取决于对应架构 的性能。 以每个个体代表一个神经架构， 个体的适应度值取决于对应架构的性能； 首先随机 初始化种群(由N个个体组成)(取N为20)， N为种群规模； 然后演化T代， T为最大进。

40、化代数， (T 取50)， 每一代都会包含着交叉、 变异和选择操作， pc为交叉概率， pm为变异概率， pb为每比特 的变异概率； 生成新的个体后， 根据所提供的数据从零开始训练这些新生成个体所表示的 神经架构， 以获得其适应值； 0037 S102： 随机初始化规模为N个使用二值编码的个体作为初始化种群P0； 0038 S103： 评估种群P0中个体的适应度值； 0039 S104： 设置变量t的初始值为0， t为自然数取值为0,T， 令Qt为种群； 0040 S105： 设置Qt为空集； 说明书 5/14 页 9 CN 112258486 A 9 0041 S106： 从Pt中选择两个父。

41、代个体p1和p2； 0042 S107： 将父代个体p1和p2分别以概率pc、 pm和pb进行交叉和变异以生成两个子代个 体q1和q2； 0043 S108： 当|Qt| 则转到步骤S206， 否则令变量j增加1并判断是否j10， 如果j 10则转到步骤S206， 若j10则转到步骤S202； 0060 S206： 从(0,1)中随机生成一个数r； 0061 S207， 如果rpc， 则跳转到S212； 0062 S208， 从0,len)中随机选择10个不同的整数并对这些整数进行从小到大排序得 到数列ints； 0063 S209， 把ints按顺序分成5对(i0,i1),(i2,i3),(。

42、i4,i5),(i6,i7),(i8,i9)， 设置变量 k的初始值为0； 0064 S210， 将p1i2k:i2k+1和p2i2k:i2k+1进行交换； p1i2k:i2k+1的意义为个体p1中的 第i2k和i2k+1个比特位； 0065 S211： 否则令变量k增加1并判断是否k5， 如果k5则转到步骤S211， 若k80则使用验证数据Dvalid验证正在训练中的架构arch从而得到适 应度值F1-score； 0074 S306： 如果F1-scoreF1-scorebest则F1-scorebestF1-score； 0075 S307： 如果epoch130则转到步骤S304， 否。

43、则把F1-scorebest设置为个体 individual的适应值并且 0076 转到步骤S308； 0077 S308： 判断每个在Pt中的个体individual是否全部评估完了适应度值， 如果是则 转到步骤S309,如果不是则转到步骤S302开始评估没有评估完成的个体individual的适应 度值； 0078 S309： 输出已评估适应度值的种群Pt。 0079 进一步地， 变异操作的方法为： 在选择过程中， 将性能好的个体和性能相对较差的 个体都选择进入下一代种群。 从当前种群Pt和所生成的子代Qt中选出S个(本实施例中S取5) 最好的个体进入下一代种群Pt+1， 此时， 这些被选。

44、出的个体也会从PtQt中移除。 然后继续使 用二元锦标赛选择法从PtQt选择其他的个体进入下一代种群， 直至下一代种群Pt+1和当前 种群Pt的种群规模相同。 交叉操作产生的子代个体以pm0.7的概率变异， 个体确定变异 后， 其基因的每一比特以pb0.05的概率翻转。 0080 进一步地， 适应度值评估个体的适应度值是其对应架构在所提供的数据上视网膜 说明书 7/14 页 11 CN 112258486 A 11 图像分割的F1-score， 评估适应度值的方法总结了评估种群中个体的步骤， 每一个体都使 用这样方式进行评估。 在评估的开始前， 每个个体都需要将其解码为对应的神经架构。 架构 。

45、开始训练之前， 使用He Initialization初始化架构的权重参数， 然后， 基于所提供的训练 数据， 使用以Adam作为基础优化器的Lookahead方法训练神经架构。 从第80轮开始， 在训练 集上的训练的每一轮结束后都使用验证数据验证训练中架构的性能得到F1-score， 直到第 130轮结束。 架构的训练停止后， 把训练过程中在验证数据上得到的最好的F1-score设置为 对应个体的适应度值。 变异操作的方法并没有把架构训练至收敛， 而是使用了早停的策略。 0081 本发明的有益效果为： 本发明提出一种为视网膜图像分割自动设计轻型神经网络 模型的方法， 以U型解码-编码结构为骨。

46、干网络对其中模块的内部结构进行搜索和优化， 从 而为这些模块寻找到比人工设计更好和具有更低计算复杂度的结构和操作。 该方法所设计 的神经网络模型能更有效地处理眼底图像的复杂情况， 对复杂的眼底图像病灶、 血管中心 反光现象的干扰和光照不均衡现象的干扰具有较强的鲁棒性， 能更准确地提取视网膜血管 的特征， 从而提高整张图像的分割准确率。 本发明设计了更合理和紧凑的搜索空间， 既保证 了架构的灵活性也提高了架构搜索的效率， 并且改进了遗传算法中的交叉操作， 提高了遗 传算法的在架构搜索过程中的搜索能力。 本发明能够自动设计用于视网膜血管分割的轻型 神经网络模型， 可以有效减小人工设计的工作量， 减。

47、轻对专业知识的依赖， 所设计的模型相 比其他模型有着更低的计算复杂度和更好的血管分割效果， 更有潜力应用于临床上的疾病 诊断。 附图说明 0082 通过对结合附图所示出的实施方式进行详细说明， 本发明的上述以及其他特征将 更加明显， 本发明附图中相同的参考标号表示相同或相似的元素， 显而易见地， 下面描述中 的附图仅仅是本发明的一些实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动 的前提下， 还可以根据这些附图获得其他的附图， 在附图中： 0083 图1所示为搜索空间的骨架图； 0084 图2所示为两个编码节点连接关系的示意图； 0085 图3所示为模块基因和架构的基因型图； 008。

48、6 图4所示为Top one架构图； 0087 图5所示为Top two架构图； 0088 图6所示为本发明的优化神经网络模型与U-Net视网膜血管分割效果对比图。 具体实施方式 0089 以下将结合实施例和附图对本发明的构思、 具体结构及产生的技术效果进行清 楚、 完整的描述， 以充分地理解本发明的目的、 方案和效果。 需要说明的是， 在不冲突的情况 下， 本申请中的实施例及实施例中的特征可以相互组合。 0090 本发明提出基于进化神经架构搜索的眼底图像视网膜血管分割方法， 具体包括以 下步骤： 0091 构建神经网络模型； 0092 对神经网络模型进行优化得到优化神经网络模型； 说明书 8。

49、/14 页 12 CN 112258486 A 12 0093 以训练集对优化神经网络模型训练得到视网膜图像分割模型； 0094 通过视网膜图像分割模型对输入的视网膜图像进行视网膜图像分割。 0095 (1)设计搜索空间及对搜索空间进行编码 0096 如图1所示， 本发明以U-Net为基本的神经网络骨架进行搜索， 其由一个编码器E和 一个解码器D构成。 其中编码器E和解码器D都分别包含编码模块ei(i0,1,2,3)和解码模 块dj(j0,1,2)。 从上到下， U-Net可以被分成不同的阶段Sk(k0,1,2,3)， 保证相同阶段 的特征图维度是不变的。 在本实施例中， U型结构采用了4个阶。

50、段， 包含4个编码模块和3个解 码模块。 可以理解的， 在其实实施例中， U型结构可以包含除4之外的若干不同阶段。 除最后 一个阶段外， 对应的编码器模块和解码器模块(ij)均通过跳连(Skip connection)方式 将编码器E所提取的不同语义信息传递给解码器D， 这样既可以加强解码器和编码器之间的 联系， 也可以减轻模型训练中的梯度消散问题。 编码器D需要融合来自跳连和上采样的信 息， 其中可以采用拼接和对位相加的方式将解码过程中上采集的信息与来自跳连的信息进 行融合。 为了减轻模型的计算复杂度， 在本实施例中， 我们选择了对位相加(对应元素位置 数据相加)的方式用以特征融合。 009。