基于全连接自动编码机的瞬态图像的数据增强方法.pdf

《基于全连接自动编码机的瞬态图像的数据增强方法.pdf》由会员分享，可在线阅读，更多相关《基于全连接自动编码机的瞬态图像的数据增强方法.pdf（12页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010090793.6 (22)申请日 2020.02.13 (71)申请人 华南农业大学 地址 510642 广东省广州市天河区五山路 483号 (72)发明人 梁云黄泽盛宋柏延 (74)专利代理机构 广州市华学知识产权代理有 限公司 44245 代理人 李斌 (51)Int.Cl. G06T 5/00(2006.01) (54)发明名称 基于全连接自动编码机的瞬态图像的数据 增强方法 (57)摘要 本发明公开了一种基于全连接自动编码机 的瞬态图像的数据增强方法， 该发明。

2、首先基于瞬 态信号的数据分布特点， 通过对数变换进行数据 转换， 将瞬态图像数据转换到新的数据域。 然后 基于自主设计的全连接自动编码机网络结构， 利 用自动编码机的自动编码功能， 学习出瞬态图像 的数据特征。 并且通过设置网络结构及相关损失 函数、 正则化项等， 自动编码机不仅能正确学习 瞬态图像潜在特征， 也能防止过拟合。 本发明方 法结合了瞬态图像的数据分布， 并利用了全连接 自动编码机在数据特征方面的优良特性， 较好地 提取了瞬态图像的数据特征， 并减少了原始数据 的噪声， 增强了表达瞬态图像的数据的准确率和 稳定性。 权利要求书2页 说明书5页 附图4页 CN 111340719 A。

3、 2020.06.26 CN 111340719 A 1.基于全连接自动编码机的瞬态图像数据的增强方法， 其特征在于， 包括以下步骤： S1.输入瞬态图像数据， 利用对数变换处理进行数值转换， 并将处理好的数据将作为训 练数据输入全连接自动编码机网络模型中进行网络迭代训练； S2.在网络迭代训练前， 设置全连接自动编码机的网络结构； S3.通过迭代训练得到训练好的全连接自动编码机网络模型； S4.对原始待增强的瞬态图像数据进行数值转换， 转换方式与训练时对训练数据的操 作一致； S5.将转换后的数据输入至训练好的全连接自动编码机网络模型中， 获得网络输出数 据； S6.对网络输出数据进行逆变换。

4、， 将数据映射回原值域区间， 得到增强数据。 2.根据权利要求1所述的基于全连接自动编码机的瞬态图像数据的增强方法， 其特征 在于， 所述步骤S1中， 所述利用对数变换处理进行数值转换， 具体实现方式为： 在网络迭代训练之前， 利用函数对数据进行预处 理， 处理后的数据会被映射到0， 8这个区间内。 3.根据权利要求2所述的基于全连接自动编码机的瞬态图像数据的增强方法， 其特征 在于， 所述步骤S2中的全连接自动编码机网络结构设置， 具体实现为： (1)该全连接自动编码机网络为全连接网络； (2)共计13层， 每层神经元个数为4096， 2048， 1024， 512， 256， 128， 6。

5、4， 128， 256， 512， 1024， 2048， 4096； (3)每层权重初始值均满足标准差为1， 均值为0的正态分布； 每层偏置初始值均设置为 0； (4)每层的激活函数均设置为leaky Relu (5)原始损失函数设置为均方误差函数； (6)训练时， 利用将原始输入数据映射到0， 8区 间并利用对网络输出数据反向映射回瞬态图像数据的原始区 间。 4.根据权利要求3所述的基于全连接自动编码机的瞬态图像数据的增强方法， 其特征 在于， 在(5)中， 加入L2正则化作为损失函数的惩罚项， 使损失函数变为原始损失函数+惩罚 项； 相关正则化项的系数设置为5e-6； 通过加入L2正则化。

6、， 防止过拟合并提高模型泛化性 能； 在计算完损失函数后， 数据将会被Relu函数进行修剪后再作为网络结果输出。 5.根据权利要1所述的基于全连接自动编码机的瞬态图像数据的增强方法， 其特征在 于， 所述步骤S3中， 通过迭代训练得到训练好的全连接自动编码机网络模型， 具体实现为： 训练按批次训练， 即把全体训练数据分成多个批次的数据， 每次迭代只使用其中一批 次数据来训练网络； 权利要求书 1/2 页 2 CN 111340719 A 2 每次迭代目标均为减少均方误差损失函数的值， 当均方误差大于等于当前记录的最小 值MIN时， 计数k加1； 反之， 更新MIN值为当次迭代的均方误差， 计数。

7、k置零； 当计数k大于设置的threshold时， 迭代停止， 训练完成， 得到训练好的权重模型。 6.根据权利要5所述的基于全连接自动编码机的瞬态图像数据的增强方法， 其特征在 于， 为保证训练速度及训练稳定性， 在不同的迭代次数采用不同的学习率， 当训练周期处于 0， 80区间内时， 学习率设置为4e-5， 处于81， 230区间时， 学习率设置为1e-5， 当迭代次 数超过230后， 学习率设置为5e-6。 7.根据权利要求1所述的基于全连接自动编码机的瞬态图像数据的增强方法， 其特征 在于， 所述步骤S4中对原始待增强的瞬态图像数据进行数值转换， 转换方式与训练时对训 练数据的操作一致。

8、， 具体实现为： 需要进行数据增强的原始数据同样是瞬态图像， 也满足瞬态图像数据分布特点， 利用 训练预处理时使用的函数将原始数据映射到0， 8区 间， 保证权重模型的正确使用。 8.根据权利要求3所述的基于全连接自动编码机的瞬态图像数据的增强方法， 其特征 在于， 所述步骤S5中， 将转换后的数据输入至训练好的全连接自动编码机网络模型中， 获得 网络输出数据， 具体实现为： 读取经过预处理的数据， 调出训练好的权重模型， 数据经过13层网络， 得到位于区间 0， 8的输出结果。 9.根据权利要求3所述的基于全连接自动编码机的瞬态图像数据的增强方法， 其特征 在于， 所述步骤S6中对网络输出数。

9、据进行逆变换， 将数据映射回原区间， 得到增强数据， 具 体实现为： 在输入前， 先对数据进行了对数变换， 使其映射到0， 8区间， 在得到网络的原始输出 后， 需要通过函数对其进行逆变换， 使数据映射回原区间。 权利要求书 2/2 页 3 CN 111340719 A 3 基于全连接自动编码机的瞬态图像的数据增强方法 技术领域 0001 本发明属于图像处理的技术领域， 具体涉及一种基于全连接自动编码机的瞬态图 像的数据增强方法。 背景技术 0002 瞬态成像技术是一项关于对光在传播过程中的瞬态进行成像的技术。 随着计算机 图形图像及计算机视觉相关研究的不断深入及在各个领域中的广泛应用， 与光。

10、照相关的问 题也不断出现， 也越来越难以用传统的仅有二位空间信息的图像信息结局。 瞬态成像技术 能够提供皮秒级别的时间分辨率， 高精度下带来的丰富信息， 为这些问题的结局提供的可 能性， 也对已解决的就问题提供更优解带来了可能性。 瞬态成像技术已成为一大研究热点。 0003 瞬态成像的关键是在时间维度上对光线传播过程的精准复原， 但因为各种原因如 多路径干扰(Multipath Interference， MPI)问题及光子多次反射后的信号衰减问题产生 的噪声， 使得数据具有较低的信噪比。 我们发明的本质： 通过网络找到瞬态图像数据的本质 及潜在特征， 实现非噪声弱信号的增强， 以及噪声信号的。

11、弱化或去除， 从而实现瞬态图像的 数据增强， 进而提高该类数据的信噪比。 0004 对潜在数据特征的提取一直是图像领域的一项重要研究， 利用图像关键特征而不 用整幅图像通常能更好地解决实际问题。 比如图像增强、 图像去噪、 图像修复、 图像压缩与 重构等。 0005 自动编码机是一种常见的用于特征提取或自编码学习的网络结构。 一方面， 可以 通过利用自动编码机的自动编码功能， 学习瞬态图像数据的特征， 另一方面， 可以通过训练 自动编码机的去噪能力， 去除瞬态图像数据的大部分噪声， 实现瞬态图像的数据增强。 0006 现有技术中， 瞬态成像的关键是在时间维度上对光线传播过程的精准复原， 但因 。

12、为各种原因如多路径干扰(Multipath Interference， MPI)问题及光子多次反射后的信号 衰减问题产生的噪声， 使得数据具有较低的信噪比。 发明内容 0007 本发明的主要目的在于克服现有技术的缺点与不足， 提供一种基于全连接自动编 码机的瞬态图像的数据增强方法， 该方法是基于瞬态图像数据分布特点， 结合自动编码机 的自动编码功能及去噪学习能力实现， 旨在提取瞬态图像数据潜在特征及去除大部分噪 声， 提高数据信噪比， 实现瞬态图像的数据增强。 。 0008 为了达到上述目的， 本发明采用以下技术方案： 0009 基于全连接自动编码机的瞬态图像数据的增强方法， 包括以下步骤： 。

13、0010 S1.输入瞬态图像数据， 利用对数变换处理进行数值转换， 并将处理好的数据将作 为训练数据输入全连接自动编码机网络模型中进行网络迭代训练； 0011 S2.在网络迭代训练前， 设置全连接自动编码机的网络结构； 0012 S3.通过迭代训练得到训练好的全连接自动编码机网络模型； 说明书 1/5 页 4 CN 111340719 A 4 0013 S4.对原始待增强的瞬态图像数据进行数值转换， 转换方式与训练时对训练数据 的操作一致； 0014 S5.将转换后的数据输入至训练好的全连接自动编码机网络模型中， 获得网络输 出数据； 0015 S6.对网络输出数据进行逆变换， 将数据映射回原。

14、值域区间， 得到增强数据。 0016 作为优选的技术方案， 所述步骤S1中， 所述利用对数变换处理进行数值转换， 具体 实现方式为： 0017在网络迭代训练之前， 利用函数对数据进行 预处理， 处理后的数据会被映射到0， 8这个区间内。 0018 作为优选的技术方案， 所述步骤S2中的全连接自动编码机网络结构设置， 具体实 现为： 0019 (1)该全连接自动编码机网络为全连接网络； 0020 (2)共计13层， 每层神经元个数为4096， 2048， 1024， 512， 256， 128， 64， 128， 256， 512， 1024， 2048， 4096； 0021 (3)每层权重初。

15、始值均满足标准差为1， 均值为0的正态分布； 每层偏置初始值均设 置为0； 0022(4)每层的激活函数均设置为leaky Relu 0023 (5)原始损失函数设置为均方误差函数； 0024(6)训练时， 利用将原始输入数据映射到0， 8区间并利用对网络输出数据反向映射回瞬态图像数据的原 始区间。 0025 作为优选的技术方案， 在(5)中， 加入L2正则化作为损失函数的惩罚项， 使损失函 数变为原始损失函数+惩罚项； 相关正则化项的系数设置为5e-6； 通过加入L2正则化， 防止 过拟合并提高模型泛化性能； 在计算完损失函数后， 数据将会被Relu函数进行修剪后再作 为网络结果输出。 00。

16、26 作为优选的技术方案， 所述步骤S3中， 通过迭代训练得到训练好的全连接自动编 码机网络模型， 具体实现为： 0027 训练按批次训练， 即把全体训练数据分成多个批次的数据， 每次迭代只使用其中 一批次数据来训练网络； 0028 每次迭代目标均为减少均方误差损失函数的值， 当均方误差大于等于当前记录的 最小值MIN时， 计数k加1； 反之， 更新MIN值为当次迭代的均方误差， 计数k置零； 0029 当计数k大于设置的threshold时， 迭代停止， 训练完成， 得到训练好的权重模型。 0030 作为优选的技术方案， 为保证训练速度及训练稳定性， 在不同的迭代次数采用不 同的学习率， 当。

17、训练周期处于0， 80区间内时， 学习率设置为4e-5， 处于81， 230区间时， 说明书 2/5 页 5 CN 111340719 A 5 学习率设置为1e-5， 当迭代次数超过230后， 学习率设置为5e-6。 0031 作为优选的技术方案， 所述步骤S4中对原始待增强的瞬态图像数据进行数值转 换， 转换方式与训练时对训练数据的操作一致， 具体实现为： 0032 需要进行数据增强的原始数据同样是瞬态图像， 也满足瞬态图像数据分布特点， 利用训练预处理时使用的函数将原始数据映射到0， 8区间， 保证权重模型的正确使用。 0033 作为优选的技术方案， 所述步骤S5中， 将转换后的数据输入至。

18、训练好的全连接自 动编码机网络模型中， 获得网络输出数据， 具体实现为： 0034 读取经过预处理的数据， 调出训练好的权重模型， 数据经过13层网络， 得到位于区 间0， 8的输出结果。 0035 作为优选的技术方案， 所述步骤S6中对网络输出数据进行逆变换， 将数据映射回 原区间， 得到增强数据， 具体实现为： 0036 在输入前， 先对数据进行了对数变换， 使其映射到0， 8区间， 在得到网络的原始 输出后， 需要通过函数对其进行逆变换， 使数据映射回原区间。 0037 本发明与现有技术相比， 具有如下优点和有益效果： 0038 1、 本发明采用了基于全连接自动编码机的技术方案， 针对瞬。

19、态图像的数据分布特 点， 通过无监督学习， 提取出瞬态图像的潜在数据特征。 结合自动编码机的去噪学习能力， 去除了瞬态图像因多路径干扰等原因形成的大量噪声， 解决了瞬态图像去噪代价大的技术 问题， 达到了瞬态图像的数据增强的技术效果。 0039 2、 本发明针对瞬态图像数据分布特点， 利用对数函数对数据进行预处理， 使数据 分布更加均匀。 解决了原区间数据的学习结果仅拟合最大峰值的问题， 提高了网络模型对 数据整体的拟合效果。 附图说明 0040 图1为本发明的方法执行步骤示意图。 0041 图2为全连接自动编码机网络结构示意图。 0042 图3为本发明在增强瞬态图像 “bathroom” 第。

20、1114帧时的增强前后数据效果对比 图。 0043 图4为本发明在增强瞬态图像 “bathroom” 第2859帧时的增强前后数据效果对比 图。 0044 图5为本发明在增强瞬态图像 “bathroom” 第3681帧时的增强前后数据效果对比 图。 0045 图6为本发明在增强瞬态图像时， 某个像素点在时间轴上4096个数据的增强前后 数据效果对比图。 说明书 3/5 页 6 CN 111340719 A 6 具体实施方式 0046 下面结合实施例及附图对本发明作进一步详细的描述， 但本发明的实施方式不限 于此。 0047 实施例 0048 如图1所示， 本发明基于全连接自动编码机的瞬态图像数。

21、据的增强方法， 包括下述 步骤： 0049 (1)输入瞬态图像数据， 利用对数变换处理进行数值转换， 并将处理好的数据将作 为训练数据输入全连接自动编码机网络模型中进行网络迭代训练。 0050 在上述步骤(1)中， 现实捕获到的瞬态图像数据的数值呈指数级衰减， 其变化范围 位于101至10-7。 在数据统计上， 90数据都处在分位数的值为2.0742e-5， 而一个瞬态信号 的最大值通常大于10， 数值差异非常大。 若使用原始数据作为网络模型的输入， 则在使用均 分误差作为损耗函数时， 最大峰值在误差计算占比非常大， 通过梯度下降算法进行模型训 练时 ， 会发生仅拟合最大峰值的情况。 为此， 。

22、在网络迭代训练之前， 需要利用函数 对数据进行预处理， 使数据的分布变的更加均匀， 有效 提高网络模型对于信号整体的拟合效果。 而变换后的数据会被映射到这个0， 8区间内。 0051 (2)在网络迭代训练前， 设置全连接自动编码机的网络结构， 进行网络结构即参数 设置， 具体设置如下： 0052 1)该网络为全连接网络； 0053 2)共计13层， 每层神经元个数为4096， 2048， 1024， 512， 256， 128， 64， 128， 256， 512， 1024， 2048， 4096， 具体如图2所示。 0054 3)每层权重初始值均满足标准差为1， 均值为0的正态分布； 每层。

23、偏置初始值均设 置为0。 00554)每层的激活函数均设置为leaky Relu 0056 5)原始损失函数设置为均方误差函数。 同时， 加入L2正则化作为损失函数的惩罚 项， 使损失函数变为原始损失函数+惩罚项。 相关正则化项的系数设置为5e-6。 通过加入L2 正则化， 可有效防止过拟合并提高模型泛化性能。 在计算完损失函数后， 数据将会被Relu函 数进行修剪后再作为网络结果输出。 00576)训练时， 利用将原始输入数据映射到0， 8 区间并利用对网络输出数据进行反向映射到原始区间。 0058 (3)通过迭代训练得到训练好的全连接自动编码机网络模型。 0059 进一步的， 训练按批训练。

24、， 每批次训练大小设置为7000。 每次迭代目标均为减少均 方误差损失函数的值， 当均方误差大于等于当前记录的最小值MIN时， 计数k加1； 反之， 更新 MIN值为当次迭代的均方误差， 计数k置零； 当计数k大于设置的threshold时， 迭代停止， 训 练完成， 得到训练好的权重模型。 为保证训练速度及训练稳定性， 在不同的迭代次数采用不 说明书 4/5 页 7 CN 111340719 A 7 同的学习率。 当迭代次数处于0， 80区间内时， 学习率设置为4e-5， 处于81， 230区间时， 学习率设置为1e-5， 当迭代次数超过230后， 学习率设置为5e-6。 当迭代停止时， 得。

25、到学习好 的模型。 0060 (4)对需要进行数据增强的瞬态图像数据进行预处理， 同样利用训练数据预处理 时使用的函数将原始数据映射到0， 8区间， 保证权重 模型的正确使用。 注意， 图6中最上方曲线数据为进行预处理之前的数据， 即原始数据。 0061 (5)读取经过预处理后的数据， 调出训练好的权重模型， 数据经过13层网络， 得到 位于区间0， 8的输出结果 0062(6)对输出数据进行逆变换， 逆变换函数为F(x)的反函数， 具体为 通过对输出数据的逆变换使数据映射回原区间。 图6第二幅图即为输出 数据， 第三幅图为输入输出数据的直观对比。 0063 图2为全连接自动编码机的网络结构图。

26、。 该网络结构每层均为全连接层， 激活函数 为leaky Relu，本发明所使用的瞬态图像为三维数据， 分别为 二维空间坐标(x,y)(0 x300,0y300)及时刻t(0t4096)。 每次训练会随机采样 单幅图的7000个像素点作为批训练输入。 每单次训练输入为单个像素点在时间维度上的 4096个数据。 数据输入前会利用进行数据变换预处理， 使数据的分布变的更加均匀。 经过Encoder后， 4096个数据将会被提取为64个数据特征。 Decoder会利用这64个特征复原出该像素在时间维度上的4096个数据。 数据最后会被Relu 函数进行修剪。 修剪后的结果即为网络输出。 网络输出经过。

27、数据逆变换 映射回原区间。 0064 图3、 图4和图5均为瞬态图像 “bathroom” 增强前后数据效果对比图， 分别为第1114 帧、 第2859帧、 3681帧。 左边为原始数据， 右边为增强后的输出数据。 可以看到在， 在利用自 动编码机的特性， 提取瞬态图像的特征后， 输出结果对原始数据拟合较好， 可以正确表现原 图像的结构、 边缘、 光强等信息。 且可以发现， 右边图像相对于左边图像减少了许多噪声， 整 个图像看上去更为平滑。 综上， 基于全连接自动编码机， 可以使瞬态图像的数据得到一定的 增强。 0065 上述实施例为本发明较佳的实施方式， 但本发明的实施方式并不受上述实施例的 限制， 其他的任何未背离本发明的精神实质与原理下所作的改变、 修饰、 替代、 组合、 简化， 均应为等效的置换方式， 都包含在本发明的保护范围之内。 说明书 5/5 页 8 CN 111340719 A 8 图1 说明书附图 1/4 页 9 CN 111340719 A 9 图2 图3 说明书附图 2/4 页 10 CN 111340719 A 10 图4 图5 说明书附图 3/4 页 11 CN 111340719 A 11 图6 说明书附图 4/4 页 12 CN 111340719 A 12 。