基于卷积神经网络的快速双光子成像方法及装置.pdf

《基于卷积神经网络的快速双光子成像方法及装置.pdf》由会员分享，可在线阅读，更多相关《基于卷积神经网络的快速双光子成像方法及装置.pdf（11页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910722623.2 (22)申请日 2019.08.06 (66)本国优先权数据 201910683980.2 2019.07.26 CN (71)申请人 清华大学 地址 100084 北京市海淀区清华园 (72)发明人 戴琼海李欣阳王好谦 (74)专利代理机构 北京清亦华知识产权代理事 务所(普通合伙) 11201 代理人 王艳斌 (51)Int.Cl. G06T 3/40(2006.01) G02B 21/36(2006.01) G06N 3/04(2006.01)。

2、 G06N 3/08(2006.01) (54)发明名称 基于卷积神经网络的快速双光子成像方法 及装置 (57)摘要 本发明公开了一种基于卷积神经网络的快 速双光子成像方法及装置， 其中， 该方法结合点 扫描双光子成像技术， 具体包括： 利用计算机数 据采集系统采集低采样率的双光子图像； 构建并 训练超分辨卷积神经网络， 得到超分辨卷积神经 网络模型； 采用超分辨卷积神经网络模型处理低 采样率的双光子图像， 得到高分辨率的双光子图 像。 该方法在系统集成后， 在低采样率下仍能获 得较高的成像分辨率， 克服了分辨率和成像速度 之间的矛盾。 权利要求书2页 说明书5页 附图3页 CN 110599。

3、399 A 2019.12.20 CN 110599399 A 1.一种基于卷积神经网络的快速双光子成像方法， 其特征在于， 包括以下步骤： 利用计算机数据采集系统采集低采样率的双光子图像； 构建并训练超分辨卷积神经网络， 得到超分辨卷积神经网络模型； 采用所述超分辨卷积神经网络模型处理所述低采样率的双光子图像， 得到高分辨率的 双光子图像。 2.如权利要求1中所述的基于卷积神经网络的快速双光子成像方法， 其特征在于， 所述 构建并训练超分辨卷积神经网络， 得到超分辨卷积神经模型， 包括： 构建所述超分辨卷积神经网络； 通过前期实验结果和公开数据集制作训练样本集； 将所述训练样本集投入所述超分。

4、辨卷积神经网络中， 对所述超分辨卷积神经网络进行 训练， 得到所述超分辨卷积神经网络模型。 3.如权利要求1中所述的基于卷积神经网络的快速双光子成像方法， 其特征在于， 所述 超分辨卷积神经网络包括输入卷积层、 堆叠的残差块、 组合映射层和输入卷积层。 4.如权利要求1中所述的基于卷积神经网络的快速双光子成像方法， 其特征在于， 所述 采用所述超分辨卷积神经网络模型处理低采样率的双光子图像， 得到高分辨率的双光子图 像， 包括： 通过所述超分辨卷积神经网络模型对所述低采样率的双光子图像进行计算重建， 进而 得到所述高分辨率的双光子图像。 5.如权利要求1中所述的基于卷积神经网络的快速双光子成像。

5、方法， 其特征在于， 还包 括： 在输出所述高分辨率的双光子图像之前， 添加一个间隔卷积将图像采样为预设大小， 以避免输出的所述高分辨率的双光子图像出现锯齿和排列错乱。 6.一种基于卷积神经网络的快速双光子成像装置， 其特征在于， 包括： 采集模块， 用于利用计算机数据采集系统采集低采样率的双光子图像； 训练模块， 用于构建并训练超分辨卷积神经网络， 得到超分辨卷积神经网络模型； 处理模块， 用于采用所述超分辨卷积神经网络模型处理低采样率的双光子图像， 得到 高分辨率的双光子图像。 7.如权利要求6中所述的基于卷积神经网络的快速双光子成像装置， 其特征在于， 所述 训练模块包括： 构建单元， 。

6、用于构建所述超分辨卷积神经网络； 制作单元， 用于通过前期实验结果和公开数据集制作训练样本集； 训练单元， 用于将所述训练样本集投入所述超分辨卷积神经网络中， 对所述超分辨卷 积神经网络进行训练， 得到所述超分辨卷积神经网络模型。 8.如权利要求6中所述的基于卷积神经网络的快速双光子成像装置， 其特征在于， 所述 超分辨卷积神经网络包括输入卷积层、 堆叠的残差块、 组合映射层和输入卷积层。 9.如权利要求6中所述的基于卷积神经网络的快速双光子成像装置， 其特征在于， 所述 处理模块包括： 通过所述超分辨卷积神经网络模型对所述低采样率的双光子图像进行计算重建， 进而 得到所述高分辨率的双光子图像。

7、。 权利要求书 1/2 页 2 CN 110599399 A 2 10.如权利要求6中所述的基于卷积神经网络的快速双光子成像装置， 其特征在于， 还 包括： 添加模块， 用于在输出所述高分辨率的双光子图像之前， 添加一个间隔卷积将图像采 样为预设大小， 以避免输出的所述高分辨率的双光子图像出现锯齿和排列错乱。 权利要求书 2/2 页 3 CN 110599399 A 3 基于卷积神经网络的快速双光子成像方法及装置 技术领域 0001 本发明涉及光学显微技术领域， 特别涉及一种基于卷积神经网络的快速双光子成 像方法及装置。 背景技术 0002 光学显微成像技术是一种非侵入式的观测手段， 广泛应用。

8、于生物组织的结构和功 能成像， 以及各种微观结构的观测。 与荧光标记技术相结合， 荧光显微镜能够实现特异性成 像， 成为生命科学研究最有力的工具之一。 传统的单光子显微镜具有背景荧光强、 缺乏层析 能力、 光漂白严重等缺点； 光片显微成像通过将激发与探测置于两个相互垂直的方向， 降低 了光漂白， 在透明样本中实现了层析成像， 但其无法应用于具有强散射特性的生物样本； 共 聚焦显微镜通过引入共焦针孔来格挡背景荧光， 实现了轴向层析成像， 但受限于机械扫描 器件的机械惯性， 时间分辨率较低。 多光子点扫描显微镜是一种基于非线性光学效应的新 型成像技术， 但点扫描成像的本质决定了其同样无法达到较高的。

9、时间分辨率。 0003 纵观各种光学显微技术， 时间分辨率和空间分辨率之间的矛盾是与生俱来的， 因 为各种旨在提高时间分辨率或者空间分辨率其中之一的技术改进， 都是在牺牲另一方面的 基础上的折衷。 超分辨显微技术可以达到亚衍射极限的空间分辨率， 但每张超分辨图像实 际上需要采集大量的图像才能合成， 大大降低了成像速度。 在功能成像任务中， 通常是依赖 降低采样数量来提高成像速度， 自然无法达到高的空间分辨率。 但是， 生物细胞和组织是高 速动态的系统， 生命科学的进一步探索需要同时具有高时空分辨率的成像工具。 0004 随着深度学习技术的不断进步， 其优越的性能在很多方面已经超越人类。 卷积神。

10、 经网络是一种为基于图像的视觉任务而特殊设计的深度神经网络， 通过卷积核的游走来生 成和局部信息相关的图像特征， 通过共享权值以减小网络的训练参数， 非常适合图像分类、 目标检测等任务。 卷积神经网络在数据集上进行预训练之后， 即可在新的数据上达到同样 好的效果， 并且处理速度快， 适合大通量的实时任务。 0005 如何结合人工智能技术的最新进展， 克服时空分辨率之间的固有矛盾， 是推进光 学显微成像技术进步的重要课题。 发明内容 0006 本发明旨在提供一种基于卷积神经网络的快速双光子成像方法及装置， 在达到较 高成像速度的同时， 通过卷积神经网络的特征提取和信息补充能力， 恢复图像特征以提。

11、高 图像的空间分辨率， 实现对生物组织的高时空分辨率的观测。 0007 本发明一方面实施例提供一种基于卷积神经网络的快速双光子成像方法， 包括以 下步骤： 0008 利用计算机数据采集系统采集低采样率的双光子图像； 0009 构建并训练超分辨卷积神经网络， 得到超分辨卷积神经网络模型； 0010 采用所述超分辨卷积神经网络模型处理低采样率的双光子图像， 得到高分辨率的 说明书 1/5 页 4 CN 110599399 A 4 双光子图像。 0011 本发明另一方面实施例提供一种基于卷积神经网络的快速双光子成像装置， 包 括： 0012 采集模块， 利用计算机数据采集系统采集低采样率的双光子图像。

12、； 0013 训练模块， 用于构建并训练超分辨卷积神经网络， 得到超分辨卷积神经网络模型； 0014 处理模块， 用于采用所述超分辨卷积神经网络模型处理低采样率的双光子图像， 得到高分辨率的双光子图像。 0015 因此， 本发明的技术方案通过利用卷积神经网络极佳的特征提取能力， 使得双光 子成像系统即使采用很低的采用率， 经过卷积神经网络的处理和恢复， 所得到的图像仍能 达到较高的空间分辨率， 实现在高成像速度下的高分辨率成像。 附图说明 0016 本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得 明显和容易理解， 其中： 0017 图1为本发明实施例所提供的基于卷积神经。

13、网络的快速双光子成像方法的基本结 构图； 0018 图2为本发明实施例所提供的基于卷积神经网络的快速双光子成像方法流程图； 0019 图3为本发明实施例所提供的卷积神经网络的架构图； 0020 图4为本发明实施例所提供的卷积神经网络的训练和运行流程图； 0021 图5为本发明实施例所提供的一种基于卷积神经网络的快速双光子成像装置结构 示意图； 0022 图6为本发明实施例所提供的另一种基于卷积神经网络的快速双光子成像装置结 构示意图。 具体实施方式 0023 下面详细描述本发明的实施例， 所述实施例的示例在附图中示出， 其中自始至终 相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元。

14、件。 下面通过参考附 图描述的实施例是示例性的， 旨在用于解释本发明， 而不能理解为对本发明的限制。 0024 首先， 如图1所示， 本发明结合双光子点扫描成像技术， 其中， 双光子点扫描成像系 统是本发明最底层的组成部分， 它包括飞秒激光器、 电光调制器、 振镜和压电陶瓷等三维扫 描设备， PMT等信号采集装置。 在计算机上设计控制和采集程序后， 可以实现对样本基本的 双光子成像。 0025 下面参照附图描述根据本发明实施例提出的基于卷积神经网络的快速双光子成 像方法及装置， 首先将参照附图描述根据本发明实施例提出的基于卷积神经网络的快速双 光子成像方法。 0026 图2是本发明一个实施例的。

15、基于卷积神经网络的快速双光子成像方法流程图。 0027 如图2所示， 该基于卷积神经网络的快速双光子成像方法包括以下步骤： 0028 在步骤S1中， 利用计算机数据采集系统采集低采样率的双光子图像。 0029 具体地， 本发明实施例利用计算机数据采集系统获得双光子点扫描系统的图像， 说明书 2/5 页 5 CN 110599399 A 5 允许采用低采样率获取图像。 并能通过预留的数据接口将图像数据传输到训练好的卷积神 经网络， 经卷积神经网路的恢复和处理得到高品质的最终结果。 0030 在步骤S2中， 构建并训练超分辨卷积神经网络， 得到超分辨卷积神经网络模型。 0031 其中， 如图3所示。

16、， 超分辨卷积神经网络也就是深层卷积神经网络， 其结构大致包 括四个部分： 输入卷积层、 堆叠的残差块、 组合映射层和输入卷积层。 0032 具体地， 输入卷积层用于输出张量尺寸为12812832， 即通过卷积操作和非线 性激活函数ReLU将原始图像映射到32个特征通道； 0033 堆叠的残差块由六个残差块堆叠而成， 残差块的特征通道数量从34增加到64， 用 于逐渐生成高级别的图像特征， 同时通过前馈连接避免底层特征的丢失。 0034 组合映射层用于将残差块的多个特征通道的输出映射到同一张图像上， 不同特征 通道上相同坐标的像素组合成网格。 该步骤完成特征的组合， 是网络能够取得良好效果的 。

17、关键一步。 0035 输出卷积层用于采用间隔卷积， 对上一步的特征图进行下采样和非线性运算， 为 了避免出现马赛克和边缘锯齿现象， 实际上完成图像的进一步整形。 0036 需要说明的是， 超分辨卷积神经网络中所有的激活函数均采用ReLU， 并且不含 BatchNormalization(批标准化)层。 超分辨卷积神经网络的输出尺寸(边长)是输入尺寸的 四倍， 即输出像素数目是输入像素数目的16倍， 经过充分的训练后， 网络可以实现对16倍下 采样图像的特征重建， 大幅提高图像的分辨率。 0037 因此， 深层卷积神经网络的主体结构是六个顺序相连的残差块， 用于实现高信息 保持度的特征提取。 前。

18、后添加一个卷积层用于特征的输入输出映射， 核心是中间的特征组 合映射层。 0038 步骤S2进一步包括： 构建超分辨卷积神经网络， 通过前期实验结果和公开数据集 制作训练样本集， 将训练样本集投入超分辨卷积神经网络中， 对超分辨卷积神经网络进行 训练， 得到超分辨卷积神经网络模型。 0039 具体地， 如图4所示， 构建整个卷积神经网络的流程为： 0040 S201： 搭建超分辨卷积神经网络， 所述网络包括数个卷积层、 残差块、 组合映射层、 下采样层， 所有激活函数均采用ReLU函数， 所有层不含BatchNormalization层； 0041 S202： 通过前期实验结果和公开数据集制作。

19、训练样本， 训练集应包括含尽可能多 的图像类别和结构类别， 训练集应尽可能大； 0042 S203： 将训练集投入网络， 采用totalvariation(全变分)约束的像素均方误差作 为损失函数 0043 0044 利用反向传播算法和Adam优化器进行训练， 为保证训练结果， 本发明实施例采用 尽可能大的batch size(批处理参数)。 训练充分后存储整个网络的参数， 包括网络结构、 权 值数据等。 0045 S204： 将训练好的模型集成到系统中。 说明书 3/5 页 6 CN 110599399 A 6 0046 换言之， 搭建超分辨网络之后， 利用收集的大量样本训练本网络， 在达到。

20、收敛精度 后即可集成到成像系统中。 0047 在步骤S3中， 采用超分辨卷积神经网络模型处理低采样率的双光子图像， 得到高 分辨率的双光子图像。 0048 在本发明的一个实施例中， 通过超分辨卷积神经网络模型对低采样率的双光子图 像进行计算重建， 进而得到高分辨率的双光子图像。 0049 也就是说， 如图1所示， 首先在双光子点扫描显微系统上制作数据接口， 以便于实 现实时的数据传输和处理。 然后， 构建超分辨卷积神经网络的结构， 以128128的输入尺寸 为例， 网络结构见图3。 输入数据最初经过一个卷积层， 映射为32个特征通道， 然后通过六个 残差块， 每个残差块包括两个卷积层和一个跨度。

21、为两层的前馈连接， 前馈连接将输入数据 直接叠加到卷积层的输出中， 其作用是避免图像的底层特征在多次卷积后被丢失。 经过顺 序连接的残差块处理后， 数据具有64个特征通道， 张量尺寸为12812864。 此后是一个特 征映射层， 也是实现像素超分辨的关键一环， 它将64个特征通道的对应像素进行网格化组 合， 映射为输入图像的八倍尺寸。 为了避免图像出现锯齿和排列错乱现象， 最后添加一个间 隔卷积将图像下采样为512512大小， 即得到最终的输出， 输出图像的像素数目是原始图 像的16倍， 相当于对双光子点扫描16倍降采样的计算重建。 0050 根据本发明实施例提出的基于卷积神经网络的快速双光子。

22、成像方法， 通过利用卷 积神经网络极佳的特征提取能力， 使得双光子成像系统即使采用很低的采样率， 经过卷积 神经网络的处理和恢复， 所得到的图像仍能达到较高的空间分辨率， 实现了在高成像速度 下的高分辨率成像。 0051 为了实现上述实施例， 本发明还提出了一种基于卷积神经网络的快速双光子成像 装置。 0052 图5是本发明一个实施例的基于卷积神经网络的快速双光子成像装置结构示意 图。 0053 如图5所示， 该基于卷积神经网络的快速双光子成像装置10包括： 采集模块100、 训 练模块200和处理模块300。 0054 其中， 采集模块100， 利用计算机数据采集系统采集低采样率的双光子图像。

23、 0055 训练模块200， 用于构建并训练超分辨卷积神经网络， 得到超分辨卷积神经网络模 型。 0056 在本发明的一个实施例中， 训练模块200包括： 构建单元用于构建超分辨卷积神经 网络。 制作单元用于通过前期实验结果和公开数据集制作训练样本集。 训练单元用于将训 练样本集投入超分辨卷积神经网络中， 对超分辨卷积神经网络进行训练， 得到超分辨卷积 神经网络模型。 0057 在本发明的一个实施例中， 超分辨卷积神经网络包括输入卷积层、 堆叠的残差块、 组合映射层和输入卷积层。 0058 处理模块300， 用于采用超分辨卷积神经网络模型处理低采样率的双光子图像， 得 到高分辨率的双光子图像。。

24、 0059 在本发明的一个实施例中， 通过超分辨卷积神经网络模型对低采样率的双光子图 像进行计算重建， 进而得到高分辨率的双光子图像。 说明书 4/5 页 7 CN 110599399 A 7 0060 在本发明的一个实施例中， 如图6所示， 还包括： 添加模块400， 用于在输出高分辨 率的双光子图像之前， 添加一个间隔卷积将图像采样为预设大小， 以避免输出的高分辨率 的双光子图像出现锯齿和排列错乱。 0061 需要说明的是， 前述对基于卷积神经网络的快速双光子成像方法实施例的解释说 明也适用于该装置， 此处不再赘述。 0062 根据本发明实施例提出的基于卷积神经网络的快速双光子成像装置， 。

25、通过利用卷 积神经网络极佳的特征提取能力， 使得双光子成像系统即使采用很低的采样率， 经过卷积 神经网络的处理和恢复， 所得到的图像仍能达到较高的空间分辨率， 实现了在高成像速度 下的高分辨率成像。 0063 此外， 术语 “第一” 、“第二” 仅用于描述目的， 而不能理解为指示或暗示相对重要性 或者隐含指明所指示的技术特征的数量。 由此， 限定有 “第一” 、“第二” 的特征可以明示或者 隐含地包括至少一个该特征。 在本发明的描述中，“多个” 的含义是至少两个， 例如两个， 三 个等， 除非另有明确具体的限定。 0064 在本发明中， 除非另有明确的规定和限定， 术语 “安装” 、“相连” 。

26、、“连接” 、“固定” 等 术语应做广义理解， 例如， 可以是固定连接， 也可以是可拆卸连接， 或成一体； 可以是机械连 接， 也可以是电连接； 可以是直接相连， 也可以通过中间媒介间接相连， 可以是两个元件内 部的连通或两个元件的相互作用关系， 除非另有明确的限定。 对于本领域的普通技术人员 而言， 可以根据具体情况理解上述术语在本发明中的具体含义。 0065 在本发明中， 除非另有明确的规定和限定， 第一特征在第二特征 “上” 或 “下” 可以 是第一和第二特征直接接触， 或第一和第二特征通过中间媒介间接接触。 而且， 第一特征在 第二特征 “之上” 、“上方” 和 “上面” 可是第一特征。

27、在第二特征正上方或斜上方， 或仅仅表示 第一特征水平高度高于第二特征。 第一特征在第二特征 “之下” 、“下方” 和 “下面” 可以是第 一特征在第二特征正下方或斜下方， 或仅仅表示第一特征水平高度小于第二特征。 0066 在本说明书的描述中， 参考术语 “一个实施例” 、“一些实施例” 、“示例” 、“具体示 例” 、 或 “一些示例” 等的描述意指结合该实施例或示例描述的具体特征、 结构、 材料或者特 点包含于本发明的至少一个实施例或示例中。 在本说明书中， 对上述术语的示意性表述不 必须针对的是相同的实施例或示例。 而且， 描述的具体特征、 结构、 材料或者特点可以在任 一个或多个实施例。

28、或示例中以合适的方式结合。 此外， 在不相互矛盾的情况下， 本领域的技 术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结 合和组合。 0067 尽管上面已经示出和描述了本发明的实施例， 可以理解的是， 上述实施例是示例 性的， 不能理解为对本发明的限制， 本领域的普通技术人员在本发明的范围内可以对上述 实施例进行变化、 修改、 替换和变型。 说明书 5/5 页 8 CN 110599399 A 8 图1 图2 图3 说明书附图 1/3 页 9 CN 110599399 A 9 图4 图5 说明书附图 2/3 页 10 CN 110599399 A 10 图6 说明书附图 3/3 页 11 CN 110599399 A 11 。