图像处理方法、装置、存储介质及电子设备.pdf

《图像处理方法、装置、存储介质及电子设备.pdf》由会员分享，可在线阅读，更多相关《图像处理方法、装置、存储介质及电子设备.pdf（21页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201911253048.2 (22)申请日 2019.12.09 (71)申请人 OPPO广东移动通信有限公司 地址 523860 广东省东莞市长安镇乌沙海 滨路18号 (72)发明人 贾玉虎 (74)专利代理机构 深圳翼盛智成知识产权事务 所(普通合伙) 44300 代理人 李汉亮 (51)Int.Cl. G06T 7/33(2017.01) G06T 7/44(2017.01) (54)发明名称 图像处理方法、 装置、 存储介质及电子设备 (57)摘要 本申请公开了一种图像。

2、处理方法、 装置、 存 储介质及电子设备。 该方法包括： 获取参考帧图 像和非参考帧图像； 计算该参考帧图像的第一图 像金字塔， 以及该非参考帧图像的第二图像金字 塔； 计算该第一图像金字塔和该第二图像金字塔 中每一层图像的LBP特征图； 根据第一图像金字 塔中每一层图像的LBP特征图及其在第二图像金 字塔中对应层的图像的LBP特征图， 计算与每层 图像对应的初始仿射变换矩阵， 得到多个初始仿 射变换矩阵； 根据该多个初始仿射变换矩阵， 计 算目标仿射变换矩阵； 根据该目标仿射变换矩 阵， 将该非参考帧图像和该参考帧图像配准。 本 申请可以提高在对具有重复纹理的图像进行配 准的准确度。 权利要。

3、求书2页 说明书13页 附图5页 CN 111080683 A 2020.04.28 CN 111080683 A 1.一种图像处理方法， 其特征在于， 包括： 获取参考帧图像和非参考帧图像； 计算所述参考帧图像的第一图像金字塔， 以及所述非参考帧图像的第二图像金字塔； 计算所述第一图像金字塔和所述第二图像金字塔中每一层图像的LBP特征图； 根据第一图像金字塔中每一层图像的LBP特征图及其在第二图像金字塔中对应层的图 像的LBP特征图， 计算与每层图像对应的初始仿射变换矩阵， 得到多个初始仿射变换矩阵； 根据所述多个初始仿射变换矩阵， 计算目标仿射变换矩阵； 根据所述目标仿射变换矩阵， 将所述。

4、非参考帧图像和所述参考帧图像配准。 2.根据权利要求1所述的图像处理方法， 其特征在于， 所述根据所述多个初始仿射变换 矩阵计算目标仿射变换矩阵， 包括： 获取与各初始仿射变换矩阵对应的权重； 根据各初始仿射变换矩阵对应的权重， 对所述多个初始仿射变换矩阵进行加权平均计 算， 计算得到目标仿射变换矩阵。 3.根据权利要求1所述的图像处理方法， 其特征在于， 所述根据第一图像金字塔中每一 层图像的LBP特征图及其在第二图像金字塔中对应层的图像的LBP特征图， 计算与每层图像 对应的初始仿射变换矩阵， 得到多个初始仿射变换矩阵， 包括： 对于所述第一图像金字塔和所述第二图像金字塔中每一对应层的两帧。

5、图像， 执行预设 处理， 得到多个初始仿射变换矩阵， 其中， 将所述第一图像金字塔和所述第二图像金字塔中 每一对应层的两帧图像分别记为Pi和Qi， i为小于或等于n的正整数， 所述n为图像金字塔的 层数， 所述预设处理包括： 对于图像Pi和Qi， 在各图像对应的LBP特征图中确定出多个图块， 并根据图像的LBP特征 图计算各图块的LBP特征向量； 对于所述第二图像金字塔中的图像Qi， 将每一个图块的LBP特征向量S0与第一图像金字 塔中的图像Pi中对应位置的图块的LBP特征向量R0以及所述对应位置邻域的特征向量分别 匹配， 并将与S0的匹配度最大的特征向量确定为S0的匹配特征向量； 在所述图像。

6、Qi中所有图块的LBP特征向量均确定出对应的匹配特征向量后， 对所有匹配 特征向量对的匹配度进行排序， 并将位于预设序位的匹配特征向量对确定为目标特征向量 对； 在所述图像Pi和Qi中， 提取所述目标特征向量对所对应的位置的特征， 并基于提取到的 特征计算对应的初始仿射变换矩阵。 4.根据权利要求1所述的图像处理方法， 其特征在于， 在所述获取参考帧图像和非参考 帧图像之后， 还包括： 获取所述参考帧图像的第一灰度图， 以及所述非参考帧图像的第二灰 度图； 所述计算所述参考帧图像的第一图像金字塔， 以及所述非参考帧图像的第二图像金字 塔， 包括： 计算所述第一灰度图的第一图像金字塔， 以及所述。

7、第二灰度图的第二图像金字 塔。 5.根据权利要求1所述的图像处理方法， 其特征在于， 在所述获取参考帧图像和非参考 帧图像之后， 还包括： 获取所述参考帧图像的第一亮度分量， 以及所述非参考帧图像的第二 亮度分量； 权利要求书 1/2 页 2 CN 111080683 A 2 所述计算所述参考帧图像的第一图像金字塔， 以及所述非参考帧图像的第二图像金字 塔， 包括： 根据所述第一亮度分量计算对应的第一图像金字塔， 以及根据所述第二亮度分量 计算对应的第二图像金字塔。 6.根据权利要求1所述的图像处理方法， 其特征在于， 所述计算所述参考帧图像的第一 图像金字塔， 以及所述非参考帧图像的第二图像。

8、金字塔， 包括： 按照预设下采样次数和倍数， 计算所述参考帧图像的第一图像金字塔， 以及所述非参 考帧图像的第二图像金字塔。 7.根据权利要求1所述的图像处理方法， 其特征在于， 所述计算所述第一图像金字塔和 所述第二图像金字塔中每一层图像的LBP特征图， 包括： 利用圆形LBP特征算子， 计算所述第一图像金字塔和所述第二图像金字塔中每一层图 像的LBP特征图。 8.一种图像处理装置， 其特征在于， 包括： 获取模块， 用于获取参考帧图像和非参考帧图像； 第一计算模块， 用于计算所述参考帧图像的第一图像金字塔， 以及所述非参考帧图像 的第二图像金字塔； 第二计算模块， 用于计算所述第一图像金字。

9、塔和所述第二图像金字塔中每一层图像的 LBP特征图； 第三计算模块， 用于根据第一图像金字塔中每一层图像的LBP特征图及其在第二图像 金字塔中对应层的图像的LBP特征图， 计算与每层图像对应的初始仿射变换矩阵， 得到多个 初始仿射变换矩阵； 第四计算模块， 用于根据所述多个初始仿射变换矩阵， 计算目标仿射变换矩阵； 配准模块， 用于根据所述目标仿射变换矩阵， 将所述非参考帧图像和所述参考帧图像 配准。 9.一种计算机可读的存储介质， 其上存储有计算机程序， 其特征在于， 当所述计算机程 序在计算机上执行时， 使得所述计算机执行如权利要求1至7中任一项所述的方法。 10.一种电子设备， 包括存储。

10、器， 处理器， 其特征在于， 所述处理器通过调用所述存储器 中存储的计算机程序， 用于执行如权利要求1至7中任一项所述的方法。 权利要求书 2/2 页 3 CN 111080683 A 3 图像处理方法、 装置、 存储介质及电子设备 技术领域 0001 本申请属于图像技术领域， 尤其涉及一种图像处理方法、 装置、 存储介质及电子设 备。 背景技术 0002 随着电子设备的拍摄能力越来越强大， 用户经常使用电子设备进行图像拍摄， 如 拍摄照片或录制视频等。 因此， 电子设备经常需要进行各种图像处理操作。 在图像处理中， 电子设备可以获取同一拍摄场景下拍摄得到的多帧图像， 并对这多帧图像进行图像配。

11、准和 图像融合， 从而得到相应的图像。 然而， 相关技术中， 当拍摄场景中存在重复的纹理时， 对该 拍摄场景下拍摄得到的多帧图像进行图像配准时， 其准确度较低。 即， 相关技术中， 电子设 备对具有重复纹理的图像进行配准时， 图像配准的准确度较低。 发明内容 0003 本申请实施例提供一种图像处理方法、 装置、 存储介质及电子设备， 可以提高在对 具有重复纹理的图像进行配准的准确度。 0004 第一方面， 本申请实施例提供一种图像处理方法， 包括： 0005 获取参考帧图像和非参考帧图像； 0006 计算所述参考帧图像的第一图像金字塔， 以及所述非参考帧图像的第二图像金字 塔； 0007 计算。

12、所述第一图像金字塔和所述第二图像金字塔中每一层图像的LBP特征图； 0008 根据第一图像金字塔中每一层图像的LBP特征图及其在第二图像金字塔中对应层 的图像的LBP特征图， 计算与每层图像对应的初始仿射变换矩阵， 得到多个初始仿射变换矩 阵； 0009 根据所述多个初始仿射变换矩阵， 计算目标仿射变换矩阵； 0010 根据所述目标仿射变换矩阵， 将所述非参考帧图像和所述参考帧图像配准。 0011 第二方面， 本申请实施例提供一种图像处理装置， 包括： 0012 获取模块， 用于获取参考帧图像和非参考帧图像； 0013 第一计算模块， 用于计算所述参考帧图像的第一图像金字塔， 以及所述非参考帧。

13、 图像的第二图像金字塔； 0014 第二计算模块， 用于计算所述第一图像金字塔和所述第二图像金字塔中每一层图 像的LBP特征图； 0015 第三计算模块， 用于根据第一图像金字塔中每一层图像的LBP特征图及其在第二 图像金字塔中对应层的图像的LBP特征图， 计算与每层图像对应的初始仿射变换矩阵， 得到 多个初始仿射变换矩阵； 0016 第四计算模块， 用于根据所述多个初始仿射变换矩阵， 计算目标仿射变换矩阵； 0017 配准模块， 用于根据所述目标仿射变换矩阵， 将所述非参考帧图像和所述参考帧 说明书 1/13 页 4 CN 111080683 A 4 图像配准。 0018 第三方面， 本申请。

14、实施例提供一种计算机可读的存储介质， 其上存储有计算机程 序， 当所述计算机程序在计算机上执行时， 使得所述计算机执行本申请实施例提供的图像 处理方法中的流程。 0019 第四方面， 本申请实施例还提供一种电子设备， 包括存储器， 处理器， 所述处理器 通过调用所述存储器中存储的计算机程序， 用于执行本申请实施例提供的图像处理方法中 的流程。 0020 本申请实施例中， 电子设备可以先计算得到参考帧图像和非参考帧图像的多尺度 图像(即图像金字塔)， 再计算得到与多尺度图像对应的多尺度LBP特征图。 之后， 电子设备 可以根据多尺度LBP特征图计算得到多尺度的仿射变换矩阵(即初始仿射变换矩阵)，。

15、 并根 据多尺度的仿射变换矩阵计算得到目标仿射变换矩阵。 之后， 电子设备可以根据该目标仿 射变换矩阵将参考帧图像和非参考帧图像进行配准对齐。 由于本实施例是根据LBP特征图 计算得到的目标仿射变换矩阵， 而LBP特征图提取的是图像的局部纹理特征， 因此本实施例 可以根据局部纹理特征来进行图像配准， 从而有效提高在对具有重复纹理的图像进行配准 的准确度。 附图说明 0021 下面结合附图， 通过对本申请的具体实施方式详细描述， 将使本申请的技术方案 及其有益效果显而易见。 0022 图1是本申请实施例提供的图像处理方法的流程示意图。 0023 图2是本申请实施例提供的图像金字塔的第一种示意图。。

16、 0024 图3是本申请实施例提供的图像处理方法的另一流程示意图。 0025 图4是本申请实施例提供的图像金字塔的第二种示意图。 0026 图5至图6是本申请实施例提供的图像处理方法的场景示意图。 0027 图7是本申请实施例提供的图像处理装置的结构示意图。 0028 图8是本申请实施例提供的电子设备的结构示意图。 0029 图9是本申请实施例提供的电子设备的另一结构示意图。 具体实施方式 0030 请参照图示， 其中相同的组件符号代表相同的组件， 本申请的原理是以实施在一 适当的运算环境中来举例说明。 以下的说明是基于所例示的本申请具体实施例， 其不应被 视为限制本申请未在此详述的其它具体实。

17、施例。 0031 可以理解的是， 本申请实施例的执行主体可以是诸如智能手机或平板电脑等具有 摄像头的电子设备。 0032 请参阅图1， 图1是本申请实施例提供的图像处理方法的流程示意图， 流程可以包 括： 0033 101、 获取参考帧图像和非参考帧图像。 0034 随着电子设备的拍摄能力越来越强大， 用户经常使用电子设备进行图像拍摄， 如 拍摄照片或录制视频等。 因此， 电子设备经常需要进行各种图像处理操作。 在图像处理中， 说明书 2/13 页 5 CN 111080683 A 5 电子设备可以获取同一拍摄场景下拍摄得到的多帧图像， 并对这多帧图像进行图像配准和 图像融合， 从而得到相应的。

18、图像。 然而， 相关技术中， 当拍摄场景中存在重复的纹理时， 对该 拍摄场景下拍摄得到的多帧图像进行图像配准时， 其准确度较低。 0035 在本申请实施例中， 比如， 电子设备可以先获取两帧图像， 分别为参考帧图像和非 参考帧图像。 0036 102、 计算参考帧图像的第一图像金字塔， 以及非参考帧图像的第二图像金字塔。 0037 比如， 在获取到参考帧图像和非参考帧图像后， 电子设备可以计算该参考帧图像 的第一图像金字塔， 以及该非参考帧图像的第二图像金字塔。 0038 需要说明的是， 图像金字塔是图像多尺度表达的一种， 是一种以多分辨率来解释 图像的有效且概念简单的结构。 一幅图像的金字塔。

19、是一系列以金字塔形状排列的分辨率逐 步降低， 且来源于同一张原始图的图像集合。 图像金字塔通过梯次向下采样获得， 直到达到 某个终止条件才停止采样。 我们可以将一层一层的图像比喻成金字塔， 层级越高， 则图像越 小， 分辨率越低。 0039 103、 计算第一图像金字塔和第二图像金字塔中每一层图像的LBP特征图。 0040 比如， 在计算得到参考帧图像对应的第一图像金字塔后， 电子设备可以计算该第 一图像金字塔中每一层图像的LBP特征图。 并且， 在计算得到非参考帧图像对应的第二图像 金字塔后， 电子设备可以计算该第二图像金字塔中每一层图像的LBP特征图。 0041 需要说明的是， LBP(L。

20、ocal Binary Pattern， 局部二值模式)是一种用来描述图像 局部纹理特征的算子； 它具有旋转不变性和灰度不变性等显著的优点。 它可以用于纹理特 征提取， 而且提取的特征是图像的局部的纹理特征。 0042 原始的LBP算子定义为在3*3像素的窗口内， 以窗口中心像素的灰度值为阈值， 将 相邻的8个像素的灰度值与其进行比较。 若周围像素的灰度值大于中心像素的灰度值， 则该 像素点的位置被标记为1， 否则为0。 这样， 3*3像素邻域内的8个点经比较可产生8位二进制 数(通常转换为十进制数即LBP码， 共256种)， 即得到该窗口中心像素点的LBP值， 并用这个 值来反映该区域的纹理。

21、信息。 0043 上述提取的LBP算子在每个像素点都可以得到一个LBP “编码” ， 那么， 对一幅图像 (记录的是每个像素点的灰度值)提取其原始的LBP算子之后， 得到的原始LBP特征依然是 “一幅图片” (记录的是每个像素点的LBP值)。 0044 例如， 参考帧图像为A0， 非参考帧图像为B0。 参考帧图像和非参考帧图像分别做4次 下采样， 得到各自对应的图像金字塔。 例如， 如图2所示， 参考帧图像A0对应的第一图像金字 塔从第一层开始依次为A0、 A1、 A2、 A3、 A4。 而非参考帧图像B0对应的第一图像金字塔从第一层 开始依次为B0、 B1、 B2、 B3、 B4。 0045。

22、 那么， 在103的流程中， 电子设备可以计算得到第一图像金字塔中的每一层图像的 LBP特征图。 即， 电子设备可以分别计算得到图像A0的LBP特征图、 图像A1的LBP特征图、 图像 A2的LBP特征图、 图像A3的LBP特征图、 图像A4的LBP特征图。 同理， 电子设备可以分别计算得 到图像B0的LBP特征图、 图像B1的LBP特征图、 图像B2的LBP特征图、 图像B3的LBP特征图、 图像 B4的LBP特征图。 0046 104、 根据第一图像金字塔中每一层图像的LBP特征图及其在第二图像金字塔中对 应层的图像的LBP特征图， 计算与每层图像对应的初始仿射变换矩阵， 得到多个初始仿射。

23、变 说明书 3/13 页 6 CN 111080683 A 6 换矩阵。 0047 105、 根据多个初始仿射变换矩阵， 计算目标仿射变换矩阵。 0048 比如， 104和105可以包括： 0049 在计算得到第一图像金字塔和第二图像金字塔中每一层图像的LBP特征图后， 电 子设备可以根据第一图像金字塔中每一层图像的LBP特征图及其在第二图像金字塔中对应 层的图像的LBP特征图， 计算与每层图像对应的一个初始仿射变换矩阵， 从而得到多个初始 仿射变换矩阵。 0050 例如， 根据第一图像金字塔中的第一层图像A0和第二图像金字塔中的第二层图像 B0， 电子设备可以计算得到一个对应的仿射变换矩阵(。

24、例如为初始仿射变换矩阵J0)。 0051 根据第一图像金字塔中的第二层图像A1和第二图像金字塔中的第二层图像B1， 电 子设备可以计算得到一个对应的仿射变换矩阵(例如为初始仿射变换矩阵J1)。 0052 根据第一图像金字塔中的第三层图像A2和第二图像金字塔中的第三层图像B2， 电 子设备可以计算得到一个对应的仿射变换矩阵(例如为初始仿射变换矩阵J2)。 0053 根据第一图像金字塔中的第四层图像A3和第二图像金字塔中的第四层图像B3， 电 子设备可以计算得到一个对应的仿射变换矩阵(例如为初始仿射变换矩阵J3)。 0054 根据第一图像金字塔中的第五层图像A4和第二图像金字塔中的第五层图像B4，。

25、 电 子设备可以计算得到一个对应的仿射变换矩阵(例如为初始仿射变换矩阵J4)。 0055 这样的话， 电子设备一共就可以计算得到5个初始仿射变换矩阵。 0056 在计算得到多个初始仿射变换矩阵后， 电子设备可以根据该多个初始仿射变换矩 阵， 计算得到一目标仿射变换矩阵。 例如， 电子设备可以根据初始仿射变换矩阵J0、 J1、 J2、 J3、 J4计算得到目标仿射变换矩阵Y1。 0057 106、 根据目标仿射变换矩阵， 将非参考帧图像和参考帧图像配准。 0058 比如， 在计算得到目标仿射变换矩阵Y1后， 电子设备可以根据该目标仿射变换矩 阵Y1将非参考帧图像B0和参考帧图像A0进行图像配准。。

26、 0059 可以理解的是， 本申请实施例中， 电子设备可以先计算得到参考帧图像和非参考 帧图像的多尺度图像(即图像金字塔)， 再计算得到与多尺度图像对应的多尺度LBP特征图。 之后， 电子设备可以根据多尺度LBP特征图计算得到多尺度的仿射变换矩阵(即初始仿射变 换矩阵)， 并根据多尺度的仿射变换矩阵计算得到目标仿射变换矩阵。 之后， 电子设备可以 根据该目标仿射变换矩阵将参考帧图像和非参考帧图像进行配准对齐。 由于本实施例是根 据LBP特征图计算得到的目标仿射变换矩阵， 而LBP特征图提取的是图像的局部纹理特征， 因此本实施例可以根据局部纹理特征来进行图像配准， 从而有效提高在对具有重复纹理的。

27、 图像进行配准的准确度。 0060 请参阅图3， 图3为本申请实施例提供的图像处理方法的另一流程示意图， 流程可 以包括： 0061 201、 电子设备获取参考帧图像和非参考帧图像。 0062 比如， 电子设备可以先获取两帧图像， 例如分别为图像C和图像D。 之后， 电子设备 可以从这两帧图像中确定出参考帧图像和非参考帧图像。 0063 在一种实施方式中， 电子设备可以将上述两帧图像中清晰度较高的图像确定为参 考帧图像， 那么另一图像则为非参考帧图像。 例如， 图像C的清晰度大于图像D， 那么电子设 说明书 4/13 页 7 CN 111080683 A 7 备可以将图像C确定为参考帧图像， 。

28、将图像D确定为非参考帧图像。 0064 202、 电子设备获取参考帧图像的第一灰度图， 以及非参考帧图像的第二灰度图。 0065 比如， 在确定出参考帧图像C和非参考帧图像D后， 电子设备可以获取参考帧图像C 的灰度图(即第一灰度图)以及非参考帧图像D的灰度图(即第二灰度图)。 0066 203、 电子设备计算第一灰度图的第一图像金字塔， 以及第二灰度图的第二图像金 字塔。 0067 比如， 在获取到参考帧图像C对应的第一灰度图以及非参考帧图像D对应的第二灰 度图后， 电子设备可以计算该第一灰度图对应的第一图像金字塔， 并计算该第二灰度图对 应的第二图像金字塔。 0068 例如， 第一灰度图为。

29、C0， 第二灰度图为D0。 电子设备可以按照预设下采样次数和倍 数， 分别计算第一灰度图以及第二灰度图所对应的图像金字塔。 例如， 预设下采样次数为4 次， 下采样倍数为二倍(即每次下采样时下一层图像的尺寸都是上一层图像的二分之一)， 那么电子设备可以计算得到第一灰度图C0对应的第一图像金字塔， 并计算得到第二灰度图 D0对应的第二图像金字塔。 当然， 在其它实施方式中， 预设下采样次数也可以为其它数值， 例如3次或者5次或者6次， 而下采样倍数也可以是其它数值， 如三倍或四倍等等， 本申请实 施例对此不做具体限定。 0069 例如， 如图4所示， 在预设下采样次数为4次， 下采样倍数为二倍的。

30、情况下， 第一灰 度图C0对应的第一图像金字塔从第一层开始依次为C0、 C1、 C2、 C3、 C4。 而第二灰度图D0对应的 第二图像金字塔从第一层开始依次为D0、 D1、 D2、 D3、 D4。 0070 204、 电子设备计算第一图像金字塔和第二图像金字塔中每一层图像的LBP特征 图。 0071 比如， 在计算得到第一图像金字塔和第二图像金字塔后， 电子设备可以计算该第 一图像金字塔中每一层图像的LBP特征图， 并计算该第二图像金字塔中每一层图像的LBP特 征图。 0072 即， 电子设备可以分别计算得到图像C0的LBP特征图、 图像C1的LBP特征图、 图像C2 的LBP特征图、 图像。

31、C3的LBP特征图、 图像C4的LBP特征图。 同理， 电子设备可以分别计算得到 图像D0的LBP特征图、 图像D1的LBP特征图、 图像D2的LBP特征图、 图像D3的LBP特征图、 图像D4 的LBP特征图。 0073 在一种实施方式中， 204中电子设备计算第一图像金字塔和第二图像金字塔中每 一层图像的LBP特征图的流程， 可以包括： 0074 电子设备利用圆形LBP特征算子， 计算第一图像金字塔和第二图像金字塔中每一 层图像的LBP特征图。 0075 比如， 电子设备可以利用圆形LBP特征算子去计算第一图像金字塔和第二图像金 字塔中每一层图像的LBP特征图。 例如， 圆形LBP特征算子。

32、可以是或者等算子。 0076 当然， 在其它实施方式中， 电子设备也可以使用传统的LBP特征算子去计算图像金 字塔中每一层图像的LBP特征图。 原始的LBP算子定义为在3*3像素的窗口内， 以窗口中心像 素的灰度值为阈值， 将相邻的8个像素的灰度值与其进行比较， 若周围像素的灰度值大于中 心像素值， 则该像素点的位置被标记为1， 否则为0。 这样， 3*3像素邻域内的8个点经比较可 产生8位二进制数(通常转换为十进制数即LBP码， 共256种)， 即得到该窗口中心像素点的 说明书 5/13 页 8 CN 111080683 A 8 LBP值， 并用这个值来反映该区域的纹理信息。 0077 20。

33、5、 根据第一图像金字塔中每一层图像的LBP特征图及其在第二图像金字塔中对 应层的图像的LBP特征图， 电子设备计算与每层图像对应的初始仿射变换矩阵， 得到多个初 始仿射变换矩阵。 0078 比如， 在计算得到第一图像金字塔和第二图像金字塔中每一层图像的LBP特征图 后， 电子设备可以根据第一图像金字塔中每一层图像的LBP特征图及其在第二图像金字塔 中对应层的图像的LBP特征图， 计算与每层图像对应的一个初始仿射变换矩阵， 从而得到多 个初始仿射变换矩阵。 0079 例如， 根据第一图像金字塔中的第一层图像C0和第二图像金字塔中的第二层图像 D0， 电子设备可以计算得到一个对应的仿射变换矩阵(。

34、例如为初始仿射变换矩阵Z0)。 0080 根据第一图像金字塔中的第二层图像C1和第二图像金字塔中的第二层图像D1， 电 子设备可以计算得到一个对应的仿射变换矩阵(例如为初始仿射变换矩阵Z1)。 0081 根据第一图像金字塔中的第三层图像C2和第二图像金字塔中的第三层图像D2， 电 子设备可以计算得到一个对应的仿射变换矩阵(例如为初始仿射变换矩阵Z2)。 0082 根据第一图像金字塔中的第四层图像C3和第二图像金字塔中的第四层图像D3， 电 子设备可以计算得到一个对应的仿射变换矩阵(例如为初始仿射变换矩阵Z3)。 0083 根据第一图像金字塔中的第五层图像C4和第二图像金字塔中的第五层图像D4，。

35、 电 子设备可以计算得到一个对应的仿射变换矩阵(例如为初始仿射变换矩阵Z4)。 0084 这样的话， 电子设备一共就可以计算得到5个初始仿射变换矩阵。 0085 在一种实施方式中， 本实施例中的电子设备可以通过如下方式来实现流程205： 0086 对于第一图像金字塔和第二图像金字塔中每一对应层的两帧图像， 电子设备执行 预设处理， 得到多个初始仿射变换矩阵， 其中， 电子设备将该第一图像金字塔和该第二图像 金字塔中每一对应层的两帧图像分别记为Pi和Qi， i为小于或等于n的正整数， 该n为图像金 字塔的层数， 该预设处理包括： 0087 对于图像Pi和Qi， 电子设备在各图像对应的LBP特征图。

36、中确定出多个图块， 并根据 图像的LBP特征图计算各图块的LBP特征向量； 0088 对于第二图像金字塔中的图像Qi， 将每一个图块的LBP特征向量S0与第一图像金字 塔中图像Pi中对应位置的图块的LBP特征向量R0以及所述对应位置邻域的LBP特征向量分别 匹配， 并将与S0的匹配度最大的LBP特征向量确定为S0的匹配特征向量； 0089 在图像Qi中所有图块的LBP特征向量均确定出对应的匹配特征向量后， 对所有匹 配特征向量对的匹配度进行排序， 并将位于预设序位的匹配特征向量对确定为目标特征向 量对； 0090 在图像Pi和Qi中， 提取所述目标特征向量对所对应的位置的特征， 并基于提取到的。

37、 特征计算对应的初始仿射变换矩阵。 0091 比如， 对于第一图像金字塔和第二图像金字塔中每一对应层的两帧图像(例如第 一图像金字塔中的第一层图像C0和第二图像金字塔中第一层图像D0为对应层的两帧图像； 又如第一图像金字塔中的第二层图像C1和第二图像金字塔中第二层图像D1为对应层的两帧 图像等等)， 电子设备可以执行预设处理， 从而得到与该层对应的一个初始仿射变换矩阵。 当每一层图像都进行了预设处理后， 即可以得到多个初始仿射变换矩阵。 说明书 6/13 页 9 CN 111080683 A 9 0092 例如， 本实施例中， 电子设备可以将第一图像金字塔和第二图像金字塔中每一对 应层的两帧图。

38、像分别记为Pi和Qi， i为小于或等于n的正整数， 该n为图像金字塔的层数。 例 如， 第一图像金字塔和第二图像金字塔均为5层。 那么， 第一图像金字塔的第一层图像记为 P1， 第二图像金字塔的第二层图像记为Q1。 第一图像金字塔的第一层图像记为P2， 第二图像 金字塔的第二层图像记为Q2。 第一图像金字塔的第一层图像记为P3， 第二图像金字塔的第二 层图像记为Q3。 第一图像金字塔的第一层图像记为P4， 第二图像金字塔的第二层图像记为 Q4。 第一图像金字塔的第一层图像记为P5， 第二图像金字塔的第二层图像记为Q5。 0093 其中， 上述预设处理可以包括： 对于图像Pi和Qi， 电子设备在。

39、各图像对应的LBP特征 图中中确定出多个图块， 并根据图像的LBP特征图计算各图块的LBP特征向量； 对于第二图 像金字塔中的图像Qi， 将每一个图块的LBP特征向量S0与第一图像金字塔中图像Pi中对应位 置的图块的LBP特征向量R0以及所述对应位置邻域的特征向量分别匹配， 并将与S0的匹配度 最大的特征向量确定为S0的匹配特征向量； 在图像Qi中所有图块的LBP特征向量均确定出对 应的匹配特征向量后， 对所有匹配特征向量对的匹配度进行排序， 并将位于预设序位的匹 配特征向量对确定为目标特征向量对； 在图像Pi和Qi中， 提取所述目标特征向量对所对应的 位置的特征， 并基于提取到的特征计算对应。

40、的初始仿射变换矩阵。 0094 下面以第一图像金字塔和第二图像金字塔中的第五层图像为例进行说明。 例如， 第一图像金字塔中第五层图像C4的LBP特征图为LC4， 第二图像金字塔中的第五层图像D4的 LBP特征图为LD4。 其中， C4被电子设备记为P5， D4被电子设备记为Q5。 0095 首先， 电子设备可以在图像LC4中确定出多个图块， 并计算出各图块的LBP特征向 量。 例如， 对于LBP特征图像LC4， 电子设备可以用一个16*16(像素)的滑窗， 以2位步长(像 素)遍历整幅图像， 每遍历一个位置滑窗内的图块可以称为一个cell， 计算该cell(即图块) 内所有像素的直方图， 从而。

41、可以生成该cell(即图块)的特征向量。 通过这种方式， 电子设备 可以得到图像P5(即图像C4)的LBP特征图LC4中的各图块的LBP特征向量。 采用同样的方式， 电子设备可以得到图像Q5(即图像D4)的LBP特征图LD4中的各图块的LBP特征向量。 0096 之后， 电子设备可以将图像Q5(图像D4)的LBP特征图LD4中的每一个图块的LBP特征 向量S0与图像P5(图像C4)的LBP特征图LC4中对应位置的图块的LBP特征向量R0以及该对应位 置8邻域的LBP特征向量R1至R8分别匹配， 从而得到9个对应的匹配度。 电子设备可以将R0至 R8中与S0的匹配度最大的LBP特征向量确定为S0。

42、的匹配特征向量。 通过上述方式， LBP特征图 LD4中的每一个图块的LBP特征向量均可以找到一个与之匹配的LBP特征向量。 0097 在一种实施方式中， 电子设备可以通过计算两个特征向量之间的欧氏距离 (Euclidean Distance)的方式来衡量两个特征向量之间的匹配度。 欧氏距离越小表示两个 特征向量之间的匹配度越高。 0098 在其它实施方式中， 电子设备也可以将图像Q5(图像D4)的LBP特征图LD4中的每一 个图块的LBP特征向量S0与图像P5(图像C4)的LBP特征图LC4中对应位置的图块的LBP特征向 量R0以及该对应位置其它个数的邻域(例如15邻域或者24邻域)的LBP。

43、特征向量分别匹配， 从而得到该其它个数的匹配度。 电子设备可以将这些匹配度中与S0的匹配度最大的LBP特 征向量确定为S0的匹配特征向量。 0099 在LBP特征图LD4中所有图块的LBP特征向量均在LBP特征图LC4中确定出对应的匹 配特征向量后， 电子设备可以对所有匹配特征向量对(每两个匹配的LBP特征向量构成一个 说明书 7/13 页 10 CN 111080683 A 10 匹配特征向量对)的匹配度进行排序， 并将位于预设序位的匹配特征向量对确定为目标特 征向量对。 例如， 电子设备可以将匹配度排在前10的匹配特征向量对确定为目标特征向 量对。 0100 之后， 电子设备可以在图像P5。

44、和Q5中提取目标特征向量对所对应的位置的特征， 并 基于提取到的特征计算与图像P5和Q5对应的初始仿射变换矩阵。 也即， 电子设备可以将每一 对目标特征向量对所对应的位置为关键点的位置， 通过提取这些关键点的特征， 并基于提 取到的关键点的特征可以计算得到第五层图像对应的仿射变换矩阵(即初始仿射变换矩 阵)。 0101 同理， 通过上述计算方式， 电子设备可以计算得到与第一层图像对应的仿射变换 矩阵、 与第二层图像对应的仿射变换矩阵、 与第三层图像对应的仿射变换矩阵、 与第四层图 像对应的仿射变换矩阵。 0102 206、 电子设备获取与各初始仿射变换矩阵对应的权重。 0103 207、 根据。

45、各初始仿射变换矩阵对应的权重， 电子设备对多个初始仿射变换矩阵进 行加权平均计算， 计算得到目标仿射变换矩阵。 0104 比如， 206和207可以包括： 0105 例如， 电子设备计算得到5个初始仿射变换矩阵， 分别为Z0、 Z1、 Z2、 Z3、 Z4。 之后， 电子 设备可以获取与各初始仿射变换矩阵对应的权重， 然后根据各初始仿射变换矩阵对应的权 重， 对这5个初始仿射变换矩阵进行加权平均计算， 从而计算得到目标仿射变换矩阵。 0106 其中， 各初始仿射变换矩阵对应的权重可以预先设定。 例如， 电子设备可以预先设 定图像金字塔中的第一层图像对应的权重为W0， 第二层图像对应的权重为W1。

46、， 第三层图像对 应的权重为W2， 第四层图像对应的权重为W3， 第五层图像对应的权重为W4。 其中， W0、 W1、 W2、 W3、 W4的具体数值可以根据需要进行设定。 例如， W0、 W1、 W2、 W3、 W4依次为0.3、 0.25、 0.2、 0.15、 0.1。 或者， W0、 W1、 W2、 W3、 W4也可以均为0.2， 等等。 0107 208、 根据目标仿射变换矩阵， 电子设备将非参考帧图像和参考帧图像配准。 0108 比如， 在计算得到目标仿射变换矩阵后， 电子设备可以将非参考帧图像D和参考帧 图像C进行配准对齐。 0109 本申请实施例中， 电子设备可以先计算得到参考。

47、帧图像和非参考帧图像的多尺度 图像(即图像金字塔)， 再计算得到与多尺度图像对应的多尺度LBP特征图。 之后， 电子设备 可以根据多尺度LBP特征图计算得到多尺度的仿射变换矩阵(即初始仿射变换矩阵)， 并根 据多尺度的仿射变换矩阵计算得到目标仿射变换矩阵。 之后， 电子设备可以根据该目标仿 射变换矩阵将参考帧图像和非参考帧图像进行配准对齐。 由于本实施例是根据LBP特征图 计算得到的目标仿射变换矩阵， 而LBP特征图提取的是图像的局部纹理特征， 因此本实施例 可以根据局部纹理特征来进行图像配准， 从而有效提高在对具有重复纹理的图像进行配准 的准确度。 0110 在另一种实施方式中， 除了根据参。

48、考帧图像和非参考帧图像的灰度图分别得到第 一图像金字塔和第二图像金字塔之外， 第一图像金字塔和第二图像金字塔还可以是分别根 据参考帧图像和非参考帧图像的亮度分量得到。 即， 在获取参考帧图像和非参考帧图像之 后， 还可以包括如下流程： 0111 电子设备获取参考帧图像的第一亮度分量， 以及非参考帧图像的第二亮度分量。 说明书 8/13 页 11 CN 111080683 A 11 0112 那么， 电子设备计算参考帧图像的第一图像金字塔， 以及非参考帧图像的第二图 像金字塔的流程， 可以包括： 电子设备根据第一亮度分量计算对应的第一图像金字塔， 以及 根据第二亮度分量计算对应的第二图像金字塔。。

49、 0113 请参阅图5至图6， 图5至图6为本申请实施例提供的图像处理方法的场景示意图。 0114 比如， 在具有重复纹理的拍摄场景下， 例如需要拍照的用户身着格子衬衫或者拍 摄场景的背景具有重复的图案等， 用户按下拍照按钮进行拍照， 电子设备在接收到拍照指 令后可以在同一场景下快速拍摄多帧图像。 例如， 电子设备拍摄得到3帧图像， 这3帧图像分 别为图像E、 F、 G。 0115 之后， 电子设备可以从这3帧图像中确定出参考帧图像和非参考帧图像。 例如， 电 子设备可以将图像E、 F、 G中清晰度最高的图像确定为参考帧图像， 其它图像则为非参考帧 图像。 例如， 本实施例中， 电子设备将图像。

50、E确定为参考帧图像， 则图像F、 G为非参考帧图像。 0116 在确定出参考帧图像和非参考帧图像后， 电子设备可以分别计算图像E、 F、 G的灰 度图， 例如图像E的灰度图为E0， 图像F的灰度图为F0， 图像G的灰度图为G0。 0117 之后， 电子设备可以分别计算图像E0、 F0和G0的图像金字塔。 例如， 电子设备可以按 照4次的下采样次数以及二分之一的下采样倍数计算各图像的图像金字塔。 例如， 图像E0对 应的图像金字塔中各层图像依次为E0、 E1、 E2、 E3、 E4。 图像F0对应的图像金字塔中各层图像依 次为F0、 F1、 F2、 F3、 F4。 图像G0对应的图像金字塔中各层。