基于位置信息的鬼影消除方法.pdf

《基于位置信息的鬼影消除方法.pdf》由会员分享，可在线阅读，更多相关《基于位置信息的鬼影消除方法.pdf（11页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010789333.2 (22)申请日 2020.08.07 (71)申请人 贵州电网有限责任公司 地址 550000 贵州省贵阳市南明区滨河路 17号 (72)发明人 罗显跃周敬余禹天润周思源 潘俊张亚维 (74)专利代理机构 成都玖和知识产权代理事务 所(普通合伙) 51238 代理人 胡琳梅 (51)Int.Cl. G06T 5/00(2006.01) G06T 3/40(2006.01) G06T 7/223(2017.01) G06T 7/73(2017.01) 。

2、G06K 9/46(2006.01) (54)发明名称 一种基于位置信息的鬼影消除方法 (57)摘要 本发明公开了一种基于目标位置信息的鬼 影消除方法， 先采用目标检测方法得到运动物体 的位置信息， 再采用改进了的Criminisi算法对 剔除了动态目标后的图像自动完成修补。 最后， 进行图像拼接， 并且将提取到的目标以三维实体 的形式增强显示到对应的位置。 本发明解决了现 有无人机在对不同时刻拍摄的场景图像进行拼 接处理时， 因含有动态物体产生的鬼影现象问 题， 为后续快速精确地获取目标区域图像并全面 直观地展现目标区域大范围实态场景打下基础。 权利要求书2页 说明书5页 附图3页 CN 1。

3、12116534 A 2020.12.22 CN 112116534 A 1.一种基于位置信息的鬼影消除方法， 其特征在于： 所述方法包括以下步骤： 采用YOLO目标检测算法对移动目标进行检测-提取， 得到图像中运动目标的位置信息； 采用图像修复算法对目标位置区域图像修复； 采用SIFT算法进行图像拼接， 并且将提取到的目标以三维实体的形式增强显示到对应 的位置。 2.根据权利要求1所述的一种基于位置信息的鬼影消除方法， 其特征在于： 所述YOLO目 标检测算法是将一幅图像分为SS个格子， 根据目标的中心落在某一格子上的位置， 就由 该格子负责检测这个目标； 每个格子会预测B个框， 每个框都包。

4、含位置信息和目标的置信 度； 输入是一张图像， 输出是一个SSB5+C的tensor。 3.根据权利要求1所述的一种基于位置信息的鬼影消除方法， 其特征在于： 所述图像修 复算法采用改进的Criminisi图像修复算法， 修复步骤包括： 步骤S21： 根据特征检测得到需要修复的图像区域， 初始化修复边界； 步骤S22： 根据块结构稀疏度的大小选择样本块 p的大小， 计算样本块的优先权值， 选择 优先权值最大的样本块作为当前待修复块； 步骤S23： 根据新的匹配准则， 在矩形区域内搜索最优匹配块； 步骤S24： 把最优匹配块复制到当前待修复块， 并且更新置信度信息； 步骤S25： 判断修复是否完。

5、成， 如果未完成则回到步骤S22， 如果完成则结束修复。 4.根据权利要求1所述的一种基于位置信息的鬼影消除方法， 其特征在于： 改进的 Criminisi图像修复算法的算法选择基于块结构稀疏度的数据项S(p)， 并重新定义优先权P (p)如下： P(p) Cs(p) D(p)， + 1； 其中， Cs(p)和D(p)分别代表置信项与块结构稀疏度数据项的系数权重； 其中， N(p)表示以点P为中心的一个邻域块， 其要比样本块 p大， |N(p)|表示该领域中元 素的数量； |Ns(p)|表示Ns(p)中的元素个数， 表示样本块 p与 k的相似度， d( p，k)表示两 样本块的均方距离， a是。

6、归一化常数。 5.根据权利要求4所述的一种基于位置信息的鬼影消除方法， 其特征在于： 所述样本块 的尺寸根据图像稀疏度有以下几种形式： 其中， Pmax与Pmin分别为块结构稀疏度值的最大值和最小值。 6.根据权利要求3所述的一种基于位置信息的鬼影消除方法， 其特征在于： 利用图像低 层次的特征与SSD准则结合起来的方法来寻找最优匹配块， 新的匹配准则定义如下所示： 权利要求书 1/2 页 2 CN 112116534 A 2 d(SSD， BC)(pi， pj)dSSD(pi， pj)(dBC(pi， pj)+1)； 其中， d(SSD， BC)(pi， pj)表示样本块pi与pj之间的SS。

7、D， dBC(pi， pj)表示样本块 pi与pj之间的的巴氏距离， 应用改进后的Criminisi图像修复算法， 即使两个样本块具 有相同的概率分布， 仍然可以使用SSD准则来搜索最优匹配块； 最优匹配块的寻找将依照 SSD准则与图像直方图信息来进行。 7.根据权利要求1所述的一种基于位置信息的鬼影消除方法， 其特征在于： 图像拼接过 程采用SIFT算法进行特征提取和特征匹配， 然后利用RANSAC鲁棒估计的方法去除无匹配点 和估计图像之间的变换模型。 8.根据权利要求7所述的一种基于位置信息的鬼影消除方法， 其特征在于： 利用RANSAC 鲁棒估计的方法去除无匹配点和估计图像之间的变换模型。

8、， 是利用匹配对数求解参数建立 图像变换模型， 然后通过图像融合， 实现全景拼接。 9.一种计算机装置， 包括存储器、 处理器及储存在存储器上并能够在处理器上运行的 计算机程序， 其特征在于： 所述处理器执行所述计算机程序时实现如权利要求1-7任一项所 述的方法。 10.一种计算机可读存储介质， 其上储存有计算机程序， 其特征在于： 所述计算机程序 被处理器执行时实现如权利要求1-7任一项所述的方法。 权利要求书 2/2 页 3 CN 112116534 A 3 一种基于位置信息的鬼影消除方法 技术领域 0001 本发明涉及一种基于位置信息的鬼影消除方法。 背景技术 0002 在现有的绝大多数。

9、无人机感知系统中， 图像传感器都是不可或缺的重要环境信息 来源。 图像信息不仅蕴含丰富的目标信息， 而且具有便于直观解释的特点， 是地面站操作员 理解和适应环境的重要依据。 但是， 无人机在对不同时刻拍摄的场景图像进行拼接处理时， 当运动物体处于相邻图像的重合部分时， 由于物体运动带来的错位， 会导致最终拼接图中 会有运动物体的 “鬼影” 现象产生， 影响最终拼接效果， 如图1所示。 目前在视频拼接过程中， 当场景中有动态物体时， 采用前后背景分离， 先将背景拼接起来， 然后再将前景插入， 该方 法不适合背景较为复杂的情况。 也有人采用渐入渐出融合算法， 提高了拼接效率， 但没有解 决含有动态。

10、物体产生的鬼影现象。 发明内容 0003 有鉴于此， 本发明的第一方面的目的是提供一种基于位置信息的鬼影消除方法。 能够消除 “鬼影” 现象， 避免影响拼接效果。 0004 本发明的第一方面的目的是通过以下技术方案实现的： 0005 本发明的一种基于位置信息的鬼影消除方法， 包括以下步骤： 0006 采用YOLO目标检测算法对移动目标进行检测-提取， 得到图像中运动目标的位置 信息； 0007 采用图像修复算法对目标位置区域图像修复； 0008 采用SIFT算法进行图像拼接， 并且将提取到的目标以三维实体的形式增强显示到 对应的位置。 0009 特别地， 所述YOLO目标检测算法是将一幅图像分。

11、为SS个格子， 根据目标的中心 落在某一格子上的位置， 就由该格子负责检测这个目标； 每个格子会预测B个框， 每个框都 包含位置信息和目标的置信度； 输入是一张图像， 输出是一个SSB5+C的tensor。 0010 特别地， 所述图像修复算法采用改进的Criminisi图像修复算法， 修复步骤包括： 0011 步骤S21:根据特征检测得到需要修复的图像区域， 初始化修复边界； 0012 步骤S22： 根据块结构稀疏度的大小选择样本块 p的大小， 计算样本块的优先权 值， 选择优先权值最大的样本块作为当前待修复块； 0013 步骤S23： 根据新的匹配准则， 在矩形区域内搜索最优匹配块； 00。

12、14 步骤S24： 把最优匹配块复制到当前待修复块， 并且更新置信度信息； 0015 步骤S25： 判断修复是否完成， 如果未完成则回到步骤S22， 如果完成则结束修复。 0016 特别地， 改进的Criminisi图像修复算法的算法选择基于块结构稀疏度的数据项S (p)， 并重新定义优先权P(p)如下： 0017 P(p) Cs(p) D(p)， + 1； 说明书 1/5 页 4 CN 112116534 A 4 0018 其中， Cs(p)和D(p)分别代表置信项与块结构稀疏度数据项的系数权重； 0019 0020 其中， N(p)表示以点P为中心的一个邻域块， 其要比样本块 p大， |N。

13、(p)|表示该领 域中元素的数量； |Ns(p)|表示Ns(p)中的元素个数， 表示样本块 p与 k的相似度， d( p， k)表示两样本块的均方距离， a是归一化常数。 0021 特别地， 所述样本块的尺寸根据图像稀疏度有以下几种形式： 0022 0023 其中， Pmax与Pmin分别为块结构稀疏度值的最大值和最小值。 0024 特别地， 利用图像低层次的特征与SSD准则结合起来的方法来寻找最优匹配块， 新 的匹配准则定义如下所示： 0025 d(SSD， BC)(pi， pj)dSSD(pi， pj)(dBC(pi， pj)+1)； 0026 其中， d(SSD， BC)(pi， pj)。

14、表示样本块pi与pj之间的SSD， dBC(pi， pj) 表示样 本块pi与pj之间的的巴氏距离， 应用改进后的Criminisi图像修复算法， 即使两个样本 块具有相同的概率分布， 仍然可以使用SSD准则来搜索最优匹配块； 最优匹配块的寻找将依 照SSD准则与图像直方图信息来进行。 0027 特别地， 图像拼接算法采用SIFT算法进行特征提取、 特征匹配， 然后利用RANSAC鲁 棒估计的方法去除无匹配点和估计图像之间的变换模型。 0028 本发明的第二方面的目的是提供一种计算机装置， 包括存储器、 处理器及储存在 存储器上并能够在处理器上运行的计算机程序， 所述处理器执行所述计算机程序时。

15、实现如 前所述的方法。 0029 本发明的第三方面的的目的是提供一种计算机可读存储介质， 其上储存有计算机 程序， 所述计算机程序被处理器执行时实现如前所述的方法。 0030 本发明的有益效果是： 0031 本发明解决了现有无人机在对不同时刻拍摄的场景图像进行拼接处理时， 因含有 动态物体产生的鬼影现象问题， 为后续快速精确地获取目标区域图像并全面直观地展现目 标区域大范围实态场景打下基础。 0032 本发明的其他优点、 目标和特征在某种程度上将在随后的说明书中进行阐述， 并 且在某种程度上， 基于对下文的考察研究对本领域技术人员而言将是显而易见的， 或者可 以从本发明的实践中得到教导。 本发。

16、明的目标和其他优点可以通过下面的说明书和前述的 权利要求书来实现和获得。 附图说明 0033 为了使本发明的目的、 技术方案和优点更加清楚， 下面将结合附图对本发明作进 说明书 2/5 页 5 CN 112116534 A 5 一步的详细描述， 其中： 0034 图1为基于目标位置信息的鬼影消除算法流程图； 0035 图2改进的Criminisi图像修复算法流程图； 0036 图3为图像拼接流程图； 0037 图4为基于目标位置信息的鬼影消除算法实验结果示例照片。 具体实施方式 0038 以下将参照附图， 对本发明的优选实施例进行详细的描述。 应当理解， 优选实施例 仅为了说明本发明， 而不是。

17、为了限制本发明的保护范围。 0039 本发明的一种基于位置信息的鬼影消除方法， 包括以下步骤： 0040 (一)针对采集的无人机航拍影像序列， 采用YOLO目标检测算法对移动目标进行检 测- 提取， 得到图像中运动目标的位置信息； 0041 本实施例中， 采用的YOLO目标检测算法是将一幅图像分为SS个格子， 根据目标 的中心落在某一格子上的位置， 就由该格子负责检测这个目标； 每个格子会预测B个框， 每 个框都包含位置信息和目标的置信度； 输入是一张图像， 输出是一个SSB5+C的 tensor。 0042 (二)采用图像修复算法对目标位置区域图像修复； 0043 本实施例中， 图像修复算法。

18、采用改进的Criminisi图像修复算法， 修复步骤包括： 0044 步骤S21:根据特征检测得到需要修复的图像区域， 初始化修复边界； 0045 改进的Criminisi图像修复算法的算法选择基于块结构稀疏度的数据项S(p)， 并 重新定义优先权P(p)如下： 0046 P(p) Cs(p) D(p)， + 1； 0047 其中， Cs(p)和D(p)分别代表置信项与块结构稀疏度数据项的系数权重； 0048 0049 其中， N(p)表示以点P为中心的一个邻域块， 其要比样本块 p大， |N(p)|表示该领 域中元素的数量； |Ns(p)|表示Ns(p)中的元素个数， 表示样本块 p与 k的。

19、相似度， d( p， k)表示两样本块的均方距离， a是归一化常数。 0050 步骤S22： 根据块结构稀疏度的大小选择样本块 p的大小， 计算样本块的优先权 值， 选择优先权值最大的样本块作为当前待修复块； 0051 本实施例中， 样本块的尺寸根据图像稀疏度有以下几种形式： 0052 0053 其中， Pmax与Pmin分别为块结构稀疏度值的最大值和最小值。 0054 步骤S23： 根据新的匹配准则， 在矩形区域内搜索最优匹配块； 具体而言， 是利用图 说明书 3/5 页 6 CN 112116534 A 6 像低层次的特征与SSD准则结合起来的方法来寻找最优匹配块， 新的匹配准则定义如下所。

20、 示： 0055 d(SSD， BC)(pi， pj)dSSD(pi， pj)(dBC(pi， pj)+1)； 0056 其中， d(SSD， BC)(pi， pj)表示样本块pi与pj之间的SSD， dBC(pi， pj) 表示样 本块pi与pj之间的的巴氏距离， 应用改进后的Criminisi图像修复算法， 即使两个样本 块具有相同的概率分布， 仍然可以使用SSD准则来搜索最优匹配块； 最优匹配块的寻找将依 照SSD准则与图像直方图信息来进行。 0057 步骤S24： 把最优匹配块复制到当前待修复块， 并且更新置信度信息； 0058 步骤S25： 判断修复是否完成， 如果未完成则回到步骤S。

21、22， 如果完成则结束修复。 0059 (三)采用SIFT算法进行图像拼接， 并且将提取到的目标以三维实体的形式增强显 示到对应的位置。 0060 本实施例中， 图像拼接过程采用SIFT算法进行特征提取和特征匹配， 然后利用 RANSAC 鲁棒估计的方法去除无匹配点和估计图像之间的变换模型， 具体是利用匹配对数 求解参数建立图像变换模型， 然后通过图像融合， 实现全景拼接。 0061 应用实例 0062 本实例中使用的低空地区无人机航拍视频数据收集于河南省某机场， 以等间隔采 样的方式选取5帧图像， 本次试验图像场景较为平坦且场景纹理较为单一， 场景中存在运动 物体(如车辆)， 如图4(a)所。

22、示。 0063 所用的无人机属于固定翼型无人机， 通过动力系统驱动无人机滑行起飞， 并保持 高空持续飞行， 其性能参数如表1所示。 0064 表1无人机性能参数 0065 项目 参数 机长 1.23m 载重 5800g 飞行高度 100m-200m 续航时间 60min 速度 18m/s 控制方式 程序自动控制 导航方式 GPS/IMU 传感器 非测量数字摄像机 0066 无人机传感器(搭载于无人机上的摄像机)采用消费级摄像机， 其性能参数如表2 所示。 0067 表2传感器性能参数 0068 项目 参数 名称 CCD摄像机 视频格式 avi 图像大小 1280*720 相机焦距 35mm 0。

23、069 通过YOLO目标检测算法， 图像中的运动目标的信息成功被提取出来， 如图4(b)所 说明书 4/5 页 7 CN 112116534 A 7 示。 结合目标位置信息， 运用如图2所示的提出的图像修复算法， 复原图像的背景信息， 修复 效果如图4(c)所示。 修复算法使用基于块结构稀疏度的数据项， 有效的区分出图像的结构 与纹理。 利用图像低层次的特征与SSD准则结合起来的方法， 使得有效像素增加， 提高了修 复精度， 修复后的图像较好地保持了结构的完整性。 0070 通过以上处理， 成功获取到无移动目标的干净图像， 将这些图像运用图3所示的算 法进行图像拼接， 拼接结果如图4(d)所示。

24、。 为保证图像信息的完整性， 本文结合目标的位置 信息， 将提取到的目标以三维实体的形式增强显示到对应的位置， 如图4(e)所示。 0071 本发明的流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为， 表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、 片段或部分， 并且本发明的优选实施方式的范围包括另外的实现， 其中可以不按所示出或 讨论的顺序， 包括根据所涉及的功能按基本同时的方式或按相反的顺序， 来执行功能， 这应 被本发明的实施例所属技术领域的技术人员所理解。 0072 在流程图中表示或在此以其他方式描述的逻辑和/或步骤， 例如， 可以被认为是用。

25、 于实现逻辑功能的可执行指令的定序列表， 可以具体实现在任何计算机可读介质中， 以供 指令执行系统、 装置或设备(如基于计算机的系统、 包括处理器的系统或其他可以从指令执 行系统、 装置或设备取指令并执行指令的系统)使用， 或结合这些指令执行系统、 装置或设 备而使用。 就本说明书而言， 计算机可读介质可以是任何可以包含、 存储、 通信、 传播或传 输程序以供指令执行系统、 装置或设备或结合这些指令执行系统、 装置或设备而使用的装 置。 计算机可读介质的更具体的示例(非穷尽性列表)包括以下： 具有一个或多个布线的电 连接部(电子装置)， 便携式计算机盘盒(磁装置)， 随机存取存储器 (RAM)。

26、， 只读存储器 (ROM)， 可擦除可编辑只读存储器(EPROM或闪速存储器)， 光纤装置， 以及便携式光盘只读存 储器(CDROM)。 另外， 计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的 介质， 因为可以例如通过对纸或其他介质进行光学扫描， 接着进行编辑、 解译或必要时以其 他合适方式进行处理来以电子方式获得所述程序， 然后将其存储在计算机存储器中。 0073 应当理解， 本发明的各部分可以用硬件、 软件、 固件或它们的组合来实现。 在上述 实施方式中， 多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件 或固件来实现。 例如， 如果用硬件来实现， 和在另一。

27、实施方式中一样， 可用本领域公知的下 列技术中的任一项或他们的组合来实现： 具有用于对数据信号实现逻辑功能的逻辑门电路 的离散逻辑电路， 具有合适的组合逻辑门电路的专用集成电路， 可编程门阵列 (PGA)， 现场 可编程门阵列(FPGA)等。 0074 最后说明的是， 以上实施例仅用以说明本发明的技术方案而非限制， 尽管参照较 佳实施例对本发明进行了详细说明， 本领域的普通技术人员应当理解， 可以对本发明的技 术方案进行修改或者等同替换， 而不脱离本技术方案的宗旨和范围， 其均应涵盖在本发明 的权利要求范围当中。 说明书 5/5 页 8 CN 112116534 A 8 图1 图2 说明书附图 1/3 页 9 CN 112116534 A 9 图3 说明书附图 2/3 页 10 CN 112116534 A 10 图4 说明书附图 3/3 页 11 CN 112116534 A 11 。