图像处理方法及装置、存储介质、终端.pdf

《图像处理方法及装置、存储介质、终端.pdf》由会员分享，可在线阅读，更多相关《图像处理方法及装置、存储介质、终端.pdf（21页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010337094.7 (22)申请日 2020.04.24 (71)申请人 展讯通信 （上海） 有限公司 地址 201203 上海市浦东新区张江高科技 园区祖冲之路2288弄展讯中心1号楼 (72)发明人 游瑞蓉李怀东毛亚磊 (74)专利代理机构 北京集佳知识产权代理有限 公司 11227 代理人 武振华张振军 (51)Int.Cl. G06T 5/50(2006.01) G06T 7/11(2017.01) G06T 7/55(2017.01) G06T 7/33(20。

2、17.01) (54)发明名称 图像处理方法及装置、 存储介质、 终端 (57)摘要 一种图像处理方法及装置、 存储介质、 终端， 包括以下步骤： 提供主摄图像以及副摄图像， 用 于拍摄所述主摄图像的摄像头以及用于拍摄所 述副摄图像的摄像头位于同一装置上； 根据所述 主摄图像以及副摄图像确定所述主摄图像的深 度图， 或者， 根据所述主摄图像确定所述主摄图 像的深度图， 其中， 所述深度图包含所述主摄图 像中各个像素点的深度值； 对所述主摄图像进行 图像分割， 以得到人像区域； 根据所述人像区域 中的至少一部分区域， 确定平均深度值； 采用所 述平均深度值作为所述人像区域中各个像素点 的深度值，。

3、 对所述主摄图像或副摄图像进行处 理。 本发明有机会使人像区域具有更适合的深度 值， 从而提高人像区域的成像质量。 权利要求书3页 说明书12页 附图5页 CN 111524087 A 2020.08.11 CN 111524087 A 1.一种图像处理方法， 其特征在于， 包括以下步骤： 提供主摄图像以及副摄图像， 用于拍摄所述主摄图像的摄像头以及用于拍摄所述副摄 图像的摄像头位于同一装置上； 根据所述主摄图像以及副摄图像确定所述主摄图像的深度图， 或者， 根据所述主摄图 像确定所述主摄图像的深度图， 其中， 所述深度图包含所述主摄图像中各个像素点的深度 值； 对所述主摄图像进行图像分割， 。

4、以得到人像区域； 根据所述人像区域中的至少一部分区域， 确定平均深度值； 采用所述平均深度值作为所述人像区域中各个像素点的深度值， 对所述主摄图像或副 摄图像进行处理。 2.根据权利要求1所述的图像处理方法， 其特征在于， 确定所述主摄图像的深度图包 括： 采用立体匹配算法， 对所述主摄图像以及副摄图像进行匹配， 以确定所述主摄图像的 深度图。 3.根据权利要求1所述的图像处理方法， 其特征在于， 对所述主摄图像进行图像分割， 以得到人像区域包括： 以所述主摄图像为基准， 进行人脸检测， 以得到人脸区域； 如果检测到人脸， 则对所述人脸所属的人像进行图像分割， 以得到所述人像区域。 4.根据权。

5、利要求3所述的图像处理方法， 其特征在于， 满足以下一项或多项： 采用基于 人脸面部特征的深度学习方法进行人脸检测； 采用深度学习方法， 对所述人脸所属的人像进行图像分割。 5.根据权利要求3所述的图像处理方法， 其特征在于， 根据所述人像区域中的至少一部分区域， 确定平均深度值包括： 确定一个或多个人脸特征点； 以每个人脸特征点为中心， 确定所述人脸特征点周围预设范围内的区域， 记为第一特 征区域； 确定所述第一特征区域与所述人脸区域的重合区域， 记为第一计算图像块； 根据所述第一计算图像块中每个像素点的深度值， 确定所述平均深度值。 6.根据权利要求5所述的图像处理方法， 其特征在于， 所。

6、述人脸特征点选自： 人脸中心点以及面部关键特征点。 7.根据权利要求5所述的图像处理方法， 其特征在于， 根据所述第一计算图像块中每个 像素点的深度值， 确定所述平均深度值包括： 确定每个第一计算图像块的第一权重值； 对各个第一计算图像块中各个像素点的深度值进行加权平均， 以得到所述平均深度 值； 其中， 所述第一计算图像块距离所述人脸区域的中心点越近， 所述第一权重值越大。 8.根据权利要求5所述的图像处理方法， 其特征在于， 根据所述第一计算图像块中每个 像素点的深度值， 确定所述平均深度值包括： 确定每个第一计算图像块的第二权重值以及每个第一计算图像块内每个像素点的第 权利要求书 1/3。

7、 页 2 CN 111524087 A 2 三权重值； 根据所述第二权重值以及所述第三权重值， 对各个第一计算图像块中各个像素点的深 度值进行加权平均， 以得到所述平均深度值； 其中， 所述第一计算图像块距离所述特征区域越近， 所述第二权重值越大； 所述像素点在所属的第一计算图像块内的位置距离所述第一计算图像块的中心越近， 所述第三权重值越大。 9.根据权利要求1所述的图像处理方法， 其特征在于， 根据所述人像区域中的至少一部分区域， 确定平均深度值包括： 确定一个或多个人体特征点； 以每个人体特征点为中心， 确定所述人体特征点周围预设范围内的区域， 记为第二特 征区域； 确定所述第二特征区域。

8、与所述人像区域的重合区域， 记为第二计算图像块； 根据所述第二计算图像块中每个像素点的深度值， 确定所述平均深度值。 10.根据权利要求9所述的图像处理方法， 其特征在于， 所述人体特征点为人体骨骼节点。 11.根据权利要求9所述的图像处理方法， 其特征在于， 根据所述第二计算图像块中每 个像素点的深度值， 确定所述平均深度值包括： 确定每个第二计算图像块的第四权重值； 对各个第二计算图像块中各个像素点的深度值进行加权平均， 以得到所述平均深度 值； 其中， 所述第二计算图像块距离所述人像区域的中心点越近， 所述第四权重值越大。 12.根据权利要求9所述的图像处理方法， 其特征在于， 根据所述。

9、第二计算图像块中每 个像素点的深度值， 确定所述平均深度值包括： 确定每个第二计算图像块的第五权重值以及每个第二计算图像块内每个像素点的第 六权重值； 根据所述第五权重值以及所述第六权重值， 对各个第二计算图像块中各个像素点的深 度值进行加权平均， 以得到所述平均深度值； 其中， 所述第二计算图像块距离所述人像区域的中心点越近， 所述第五权重值越大； 所述像素点在所属的第二计算图像块内的位置距离所述第二计算图像块的中心越近， 所述第六权重值越大。 13.根据权利要求1所述的图像处理方法， 其特征在于， 所述主摄图像还包含边界区域 与背景区域， 所述边界区域为围绕所述人像区域并具有预设宽度的区域。

10、， 除所述人像区域 以及所述边界区域之外的区域为背景区域； 所述方法还包括： 对所述人像区域与背景区域之间的边界区域进行融合处理， 以确定所述边界区域中各 个像素点的融合深度值。 14.根据权利要求11所述的图像处理方法， 其特征在于， 对所述人像区域与背景区域之 间的边界区域进行融合处理包括： 确定与特征区域相邻的边界区域； 权利要求书 2/3 页 3 CN 111524087 A 3 对与特征区域相邻的边界区域， 采用第一模板尺寸进行图像形态学处理； 对未与特征区域相邻的边界区域， 采用第二模板尺寸进行图像形态学处理； 其中， 所述第一模板尺寸大于所述第二模板尺寸； 所述特征区域选自以下一。

11、项或多项： 检测到的人脸区域、 人脸中心区域、 人脸特征点区 域以及人体骨骼节点区域。 15.根据权利要求11所述的图像处理方法， 其特征在于， 还包括： 对所述边界区域中各 个像素点的融合深度值进行滤波处理。 16.根据权利要求13所述的图像处理方法， 其特征在于， 采用保边滤波方法， 对所述融 合深度值进行滤波处理。 17.一种图像处理装置， 其特征在于， 包括： 图像提供模块， 用于提供主摄图像以及副摄图像， 用于拍摄所述主摄图像的摄像头以 及用于拍摄所述辅摄图像的摄像头位于同一装置上； 深度图确定模块， 用于根据所述主摄图像以及副摄图像确定所述主摄图像的深度图， 或者， 根据所述主摄图。

12、像确定所述主摄图像的深度图， 其中， 所述深度图包含所述主摄图像 中各个像素点的深度值； 图像分割模块， 用于对所述主摄图像进行图像分割， 以得到人像区域； 平均深度值确定模块， 用于根据所述人像区域中的至少一部分区域， 确定平均深度值； 图像处理模块， 用于采用所述平均深度值作为所述人像区域中各个像素点的深度值， 对所述主摄图像或副摄图像或主副图像进行处理。 18.一种存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序被处理器运 行时执行权利要求1至16任一项所述图像处理方法的步骤。 19.一种终端， 包括存储器和处理器， 所述存储器上存储有能够在所述处理器上运行的 计算机程序。

13、， 其特征在于， 所述处理器运行所述计算机程序时执行权利要求1至16任一项所 述图像处理方法的步骤。 权利要求书 3/3 页 4 CN 111524087 A 4 图像处理方法及装置、 存储介质、 终端 技术领域 0001 本发明涉及计算机技术领域， 尤其涉及一种图像处理方法及装置、 存储介质、 终 端。 背景技术 0002 随着智能手机的发展， 摄像功能在用户手机中的功能越来越重要， 由单摄逐渐发 展成双摄、 三摄乃至更多摄像头， 达到媲美单反的效果。 其中大光圈效果是手机摄像的重要 应用之一， 其中针对人像的大光圈效果更是受到广大用户的高度关注。 0003 单摄手机缺少深度信息， 只能区分。

14、前景和背景， 判别为背景的区域被统一虚化， 会 出现很不自然的虚化效果。 因此， 基于双摄、 结构光或TOF系统的手机拍摄， 能根据立体视觉 算法、 深度学习等方法得到深度信息。 但是得到的深度信息非常依赖硬件， 如果硬件有跌落 或者镜头畸变大， 深度信息的正确性会受到很大的影响。 当前立体视觉方法依赖硬件组装 的稳定性， 且大多在高频、 低纹理区域容易深度计算出错， 例如会出现上半身清晰上半身虚 化的问题。 0004 亟需一种图像处理方法， 可以有效避免深度误差和错误的问题。 发明内容 0005 本发明解决的技术问题是提供一种图像处理方法及装置、 存储介质、 终端， 有机会 使人像区域具有更。

15、适合的深度值， 从而提高人像区域的成像质量， 有效避免深度误差和错 误问题。 0006 为解决上述技术问题， 本发明实施例提供一种图像处理方法， 包括以下步骤： 提供 主摄图像以及副摄图像， 用于拍摄所述主摄图像的摄像头以及用于拍摄所述副摄图像的摄 像头位于同一装置上； 根据所述主摄图像以及副摄图像确定所述主摄图像的深度图， 或者， 根据所述主摄图像确定所述主摄图像的深度图， 其中， 所述深度图包含所述主摄图像中各 个像素点的深度值； 对所述主摄图像进行图像分割， 以得到人像区域； 根据所述人像区域中 的至少一部分区域， 确定平均深度值； 采用所述平均深度值作为所述人像区域中各个像素 点的深度。

16、值， 对所述主摄图像或副摄图像进行处理。 0007 可选的， 确定所述主摄图像的深度图包括： 采用立体匹配算法， 对所述主摄图像以 及副摄图像进行匹配， 以确定所述主摄图像的深度图。 0008 可选的， 对所述主摄图像进行图像分割， 以得到人像区域包括： 以所述主摄图像为 基准， 进行人脸检测， 以得到人脸区域； 如果检测到人脸， 则对所述人脸所属的人像进行图 像分割， 以得到所述人像区域。 0009 可选的， 满足以下一项或多项： 采用基于人脸面部特征的深度学习方法进行人脸 检测； 采用深度学习方法， 对所述人脸所属的人像进行图像分割。 0010 可选的， 根据所述人像区域中的至少一部分区域。

17、， 确定平均深度值包括： 确定一个 或多个人脸特征点； 以每个人脸特征点为中心， 确定所述人脸特征点周围预设范围内的区 说明书 1/12 页 5 CN 111524087 A 5 域， 记为第一特征区域； 确定所述第一特征区域与所述人脸区域的重合区域， 记为第一计算 图像块； 根据所述第一计算图像块中每个像素点的深度值， 确定所述平均深度值。 0011 可选的， 所述人脸特征点选自： 人脸中心点以及面部关键特征点。 0012 可选的， 根据所述第一计算图像块中每个像素点的深度值， 确定所述平均深度值 包括： 确定每个第一计算图像块的第一权重值； 对各个第一计算图像块中各个像素点的深 度值进行加。

18、权平均， 以得到所述平均深度值； 其中， 所述第一计算图像块距离所述人脸区域 的中心点越近， 所述第一权重值越大。 0013 可选的， 根据所述第一计算图像块中每个像素点的深度值， 确定所述平均深度值 包括： 确定每个第一计算图像块的第二权重值以及每个第一计算图像块内每个像素点的第 三权重值； 根据所述第二权重值以及所述第三权重值， 对各个第一计算图像块中各个像素 点的深度值进行加权平均， 以得到所述平均深度值； 其中， 所述第一计算图像块距离所述特 征区域越近， 所述第二权重值越大； 所述像素点在所属的第一计算图像块内的位置距离所 述第一计算图像块的中心越近， 所述第三权重值越大。 0014。

19、 可选的， 根据所述人像区域中的至少一部分区域， 确定平均深度值包括： 确定一个 或多个人体特征点； 以每个人体特征点为中心， 确定所述人体特征点周围预设范围内的区 域， 记为第二特征区域； 确定所述第二特征区域与所述人像区域的重合区域， 记为第二计算 图像块； 根据所述第二计算图像块中每个像素点的深度值， 确定所述平均深度值。 0015 可选的， 所述人体特征点为人体骨骼节点。 0016 可选的， 根据所述第二计算图像块中每个像素点的深度值， 确定所述平均深度值 包括： 确定每个第二计算图像块的第四权重值； 对各个第二计算图像块中各个像素点的深 度值进行加权平均， 以得到所述平均深度值； 其。

20、中， 所述第二计算图像块距离所述人像区域 的中心点越近， 所述第四权重值越大。 0017 可选的， 根据所述第二计算图像块中每个像素点的深度值， 确定所述平均深度值 包括： 确定每个第二计算图像块的第五权重值以及每个第二计算图像块内每个像素点的第 六权重值； 根据所述第五权重值以及所述第六权重值， 对各个第二计算图像块中各个像素 点的深度值进行加权平均， 以得到所述平均深度值； 其中， 所述第二计算图像块距离所述人 像区域的中心点越近， 所述第五权重值越大； 所述像素点在所属的第二计算图像块内的位 置距离所述第二计算图像块的中心越近， 所述第六权重值越大。 0018 可选的， 所述主摄图像还包。

21、含边界区域与背景区域， 所述边界区域为围绕所述人 像区域并具有预设宽度的区域， 除所述人像区域以及所述边界区域之外的区域为背景区 域； 所述方法还包括： 对所述人像区域与背景区域之间的边界区域进行融合处理， 以确定所 述边界区域中各个像素点的融合深度值。 0019 可选的， 对所述人像区域与背景区域之间的边界区域进行融合处理包括： 确定与 特征区域相邻的边界区域； 对与特征区域相邻的边界区域， 采用第一模板尺寸进行图像形 态学处理； 对未与特征区域相邻的边界区域， 采用第二模板尺寸进行图像形态学处理； 其 中， 所述第一模板尺寸大于所述第二模板尺寸； 所述特征区域选自以下一项或多项： 检测到 。

22、的人脸区域、 人脸中心区域、 人脸特征点区域以及人体骨骼节点区域。 0020 可选的， 所述的图像处理方法还包括： 对所述边界区域中各个像素点的融合深度 值进行滤波处理。 说明书 2/12 页 6 CN 111524087 A 6 0021 可选的， 采用保边滤波方法， 对所述融合深度值进行滤波处理。 0022 为解决上述技术问题， 本发明实施例提供一种图像处理装置， 包括： 图像提供模 块， 用于提供主摄图像以及副摄图像， 用于拍摄所述主摄图像的摄像头以及用于拍摄所述 辅摄图像的摄像头位于同一装置上； 深度图确定模块， 用于根据所述主摄图像以及副摄图 像确定所述主摄图像的深度图， 或者， 根。

23、据所述主摄图像确定所述主摄图像的深度图， 其 中， 所述深度图包含所述主摄图像中各个像素点的深度值； 图像分割模块， 用于对所述主摄 图像进行图像分割， 以得到人像区域； 平均深度值确定模块， 用于根据所述人像区域中的至 少一部分区域， 确定平均深度值； 图像处理模块， 用于采用所述平均深度值作为所述人像区 域中各个像素点的深度值， 对所述主摄图像或副摄图像或主副图像进行处理。 0023 为解决上述技术问题， 本发明实施例提供一种存储介质， 其上存储有计算机程序， 所述计算机程序被处理器运行时执行上述图像处理方法的步骤。 0024 为解决上述技术问题， 本发明实施例提供一种终端， 包括存储器和。

24、处理器， 所述存 储器上存储有能够在所述处理器上运行的计算机程序， 所述处理器运行所述计算机程序时 执行上述图像处理方法的步骤。 0025 与现有技术相比， 本发明实施例的技术方案具有以下有益效果： 0026 在本发明实施例中， 通过确定主摄图像的深度图， 并根据所述人像区域中的至少 一部分区域， 确定平均深度值， 并采用所述平均深度值作为所述人像区域中各个像素点的 深度值， 有机会使人像区域具有更适合的深度值， 从而提高人像区域的成像质量， 有效避免 深度误差和错误问题。 0027 进一步， 通过以每个人脸特征点为中心， 确定所述人脸特征点周围预设范围内的 区域， 并进一步确定该特征区域与所。

25、述人脸区域的重合区域为第一计算图像块， 并根据所 述第一计算图像块中每个像素点的深度值， 确定所述平均深度值， 可以根据重要程度更高 的像素点的深度值确定平均深度值， 从而进一步使人像区域选用更适合的深度值， 提高人 像区域的成像质量， 避免深度误差和错误。 0028 进一步， 通过以每个人体特征点为中心， 确定所述人体特征点周围预设范围内的 区域， 并进一步确定该特征区域与所述人像区域的重合区域为第二计算图像块， 并根据所 述第二计算图像块中每个像素点的深度值， 确定所述平均深度值， 可以根据重要程度更高 的像素点的深度值确定平均深度值， 从而进一步使人像区域选用更适合的深度值， 提高人 像。

26、区域的成像质量， 避免深度误差和错误。 0029 进一步， 确定每个第一计算图像块的第一权重值； 对各个计算图像块中各个像素 点的深度值进行加权平均， 以得到所述平均深度值， 可以对重要程度更高的计算图像块采 用更高的第一权重值， 从而进一步使人像区域选用更适合的深度值， 提高人像区域的成像 质量， 避免深度误差和错误。 0030 进一步， 确定每个第一计算图像块的第二权重值以及每个图像块内各像素点的第 三权重值； 对各个第一计算图像块中各个像素点的深度值进行加权平均， 以得到所述平均 深度值， 可以通过设置两个权重值， 更细致地体现出各计算图像块以及各像素点的影响， 从 而进一步选用更适合的。

27、深度值， 提高人像区域的成像质量。 0031 进一步， 确定每个第二计算图像块的第四权重值； 对各个计算图像块中各个像素 点的深度值进行加权平均， 以得到所述平均深度值， 可以对重要程度更高的计算图像块采 说明书 3/12 页 7 CN 111524087 A 7 用更高的第四权重值， 从而进一步使人像区域选用更适合的深度值， 提高人像区域的成像 质量， 避免深度误差和错误。 0032 进一步， 确定每个第二计算图像块的第五权重值以及每个图像块内各像素点的第 六权重值； 对各个第二计算图像块中各个像素点的深度值进行加权平均， 以得到所述平均 深度值， 可以通过设置两个权重值， 更细致地体现出各。

28、计算图像块以及各像素点的影响， 从 而进一步选用更适合的深度值， 提高人像区域的成像质量。 0033 进一步， 对所述人像区域与背景区域之间的边界区域进行融合处理， 以确定所述 边界区域中各个像素点的融合深度值， 有助于纠正误差和错误区域， 提升人像区域和背景 区域的深度分布。 0034 进一步， 对所述边界区域中各个像素点的融合深度值进行滤波处理， 有助于解决 深度图计算人物深度信息不均匀和局部错误的问题， 提高图像质量。 附图说明 0035 图1是现有技术中一种主摄摄像头和副摄摄像头组合的工作场景示意图； 0036 图2是本申请实施例中一种图像处理方法的流程图； 0037 图3是图2中步骤。

29、S24的一种具体实施方法的流程图； 0038 图4是图3中步骤S32的一种具体实施方法的流程图； 0039 图5是图3中步骤S32的另一种具体实施方法的流程图； 0040 图6是本申请实施例中一种图像处理装置的结构示意图。 具体实施方式 0041 如前所述， 摄像技术在人们日常生活中的应用越来越多， 大光圈效果是当前摄影 爱好者和手机摄影者最常用的功能之一。 利用摄像头硬件实现光学的大光圈效果， 能获得 突出主体， 虚化背景的散焦效果， 但不可避免的会增加摄像头的体型， 不方便携带且成本大 大增加； 智能手机体型小， 便捷， 拍照的地位日趋重要， 只能手机搭配双摄镜头， 通过仿生学 原理获取物。

30、体的景深信息实现大光圈效果的技术应运而生， 是当前手机摄像的重要功能之 一， 也称为焦外成像、 景深成像、 散景成像(Bokeh)图像。 双摄成像是图像处理、 计算机视觉 领域重要的研究课题， 也可广泛应用于手机双摄、 机器人导航等领域。 0042 智能手机中双摄生成景深图像模拟大光圈景深效果， 其突出主题， 背景模糊柔顺 迷人， 色彩过渡自然等美化程度会提高双摄手机在市场上的竞争力。 0043 参照图1， 图1是现有技术中一种主摄摄像头和副摄摄像头组合的工作场景示意 图。 0044 具体地， 主摄摄像头11和副摄摄像头12可以位于同一装置10上， 分别拍摄主摄图 像13以及副摄图像14。 0。

31、045 进一步地， 如图1所示的主摄摄像头11和副摄摄像头12的组合可以选自： 0046 a.一颗全彩色(Red-Green-Blue， RGB)主摄摄像头和一颗RGB副摄摄像头组合的双 摄； 0047 b.一颗RGB主摄摄像头和一颗黑白(MONO)副摄摄像头组合的双摄； 0048 c.一颗长焦主摄摄像头和一颗广焦副摄摄像头组合的双摄； 说明书 4/12 页 8 CN 111524087 A 8 0049 d.一颗广焦主摄摄像头和一颗超广焦副摄摄像头组合的双摄。 0050 以a组合为例， 一般副摄的视场角(Field-angle of View， FOV)大于主摄的， 且考 虑硬件成本， 副摄。

32、的硬件特性低于主摄。 由于不同摄像头本身硬件参数不同(如光学中心、 焦距、 FOV、 畸变等内参数)， 且在模组的安装排布不同(如排布的基线、 相对角度、 位置等)， 使得同一模组上的主摄和副摄摄像头在拍摄同一物体时， 必然得到不同FOV、 不同相对位 置、 不同遮挡的图像。 0051 在现有的一种简单、 低成本产生大光圈方法中， 可以同步采集主摄和副摄的图像， 利用两者的视差信息进行深度计算， 但该方法依赖于双摄标定的好坏， 容易出现局部深度 信息错误， 弱纹理重复纹理出错等问题。 拍摄人像的时候， 也容易出现， 上半身清晰上半身 虚化的问题。 0052 具体而言， 在计算景深前， 需要对手。

33、机进行标定(Calibration)。 得到主摄和副摄 内参、 外参和畸变参数。 且非常依赖标定的准确性和硬件稳定性。 当主副摄像头硬件特性不 一致， 标定算法不准确或者手机模组跌落等原因， 会造成主副图在几何方向上不对齐； 另外 在实际的应用中， 由于两摄像头由于位置不同， 拍摄的景物千变万化， 由于视差匹配依赖特 征点匹配， 仅利用视差计算会带来局部区域不准确， 人物出现上下景深计算不一致， 身体局 部出错， 重复纹理和弱纹理或者遮挡问题也无法得到正确的深度信息。 0053 在现有的 另一种高级的大光圈方法 ， 可以 采 用人工智能 (Artificial Intelligence， AI。

34、)深度学习技术， 提取人物的位置或对局部信息进行关键修正处理， 比如 肤色分割、 手势分割等。 目的均为得到主体正确清晰， 背景虚化渐变的效果。 这种处理方法 能降低对硬件标定的依赖性， 但对处理性能要求高。 0054 本发明人经过研究发现， 在现有技术中， 由于主副图在几何方向上不对齐、 仅利用 视差计算会带来局部区域不准确， 人物出现上下景深计算不一致等问题， 导致出现立体匹 配视差计算误差。 如果能够使主副图在景深计算上达到一致， 则有助于降低立体匹配视差 计算误差。 0055 在本发明实施例中， 通过确定主摄图像的深度图， 并根据所述人像区域中的至少 一部分区域， 确定平均深度值， 并。

35、采用所述平均深度值作为所述人像区域中各个像素点的 深度值， 有机会使人像区域具有更适合的深度值， 从而提高人像区域的成像质量， 有效避免 深度误差和错误问题。 0056 为使本发明的上述目的、 特征和有益效果能够更为明显易懂， 下面结合附图对本 发明的具体实施例做详细的说明。 0057 参照图2， 图2是本申请实施例中一种图像处理方法的流程图。 所述图像处理方法 可以包括步骤S21至步骤S25： 0058 步骤S21： 提供主摄图像以及副摄图像， 用于拍摄所述主摄图像的摄像头以及用于 拍摄所述副摄图像的摄像头位于同一装置上； 0059 步骤S22： 根据所述主摄图像以及副摄图像确定所述主摄图像。

36、的深度图， 或者， 根 据所述主摄图像确定所述主摄图像的深度图， 其中， 所述深度图包含所述主摄图像中各个 像素点的深度值； 0060 步骤S23： 对所述主摄图像进行图像分割， 以得到人像区域； 0061 步骤S24： 根据所述人像区域中的至少一部分区域， 确定平均深度值； 说明书 5/12 页 9 CN 111524087 A 9 0062 步骤S25： 采用所述平均深度值作为所述人像区域中各个像素点的深度值， 对所述 主摄图像或副摄图像进行处理。 0063 在步骤S21的具体实施中， 提供主摄图像以及副摄图像， 所述主摄摄像头以及副摄 摄像头可以是位于同一装置上， 如图1所示。 0064。

37、 可以理解的是， 所述主摄摄像头以及副摄摄像头可以具有相同或相近的朝向， 以 得到视场角相近的图像。 0065 进一步地， 本发明实施例还可以包括对主摄图像以及副摄图像进行标定的步骤， 以对主摄图像以及副摄图像进行几何校正。 0066 在本发明实施例中， 对于具体的标定方法及步骤不做限制。 0067 在步骤S22的具体实施中， 可以根据所述主摄图像以及副摄图像， 确定所述主摄图 像的深度图,或者， 根据所述主摄图像确定所述主摄图像的深度图。 0068 其中， 所述深度图可以是利用手动或自动方法得到的基于图像场景的深度图像， 该图像利用图像像素点取值表示该像素的距离深度信息。 其中， 得到视差图。

38、/深度图信息的 方法包括但不限于： 人工手动标注、 图像工具标注、 基于硬件系统特性、 采用图像处理、 机器 学习或深度学习算法计算得到的深度图。 深度图与视差图的关系近似为反比例关系。 0069 由上可知， 在步骤S22的另一种具体实施方式中， 还可以根据所述主摄图像以及副 摄图像， 确定所述主摄图像的视差图,或者， 根据所述主摄图像确定所述主摄图像的视差 图。 0070 进一步地， 确定所述主摄图像的深度图的步骤可以包括： 采用立体匹配算法， 对所 述主摄图像以及副摄图像进行匹配， 以确定所述主摄图像的深度图。 0071 具体地， 可以采用立体匹配算法， 找出图像的每个像素点在另一个视角的。

39、图像上 对应的像素点， 算出视差图像， 估算出景深图像， 确定所述主摄图像的视差图。 0072 更进一步地， 所述立体匹配算法可以选自： 基于色彩分割(color segment)的分割 算法以及半全局匹配算法(semi-global matching， SGM)， 以提高确定的准确性。 0073 在步骤S23的具体实施中， 确定主摄图像中的人像区域。 0074 进一步地， 对所述主摄图像进行图像分割， 以得到人像区域的步骤可以包括： 以所 述主摄图像为基准， 进行人脸检测； 如果检测到人脸， 则对所述人脸所属的人像进行图像分 割， 以得到所述人像区域。 0075 更进一步地， 所述的图像处理。

40、方法可以满足以下一项或多项： 采用基于人脸面部 特征的深度学习方法进行人脸检测； 采用深度学习方法， 对所述人脸所属的人像进行图像 分割。 0076 在本发明实施例中， 通过采用适当的深度学习方法， 可以提高对人脸检测以及人 像分割的准确性， 提高后续图像处理的品质。 0077 在步骤S24的具体实施中， 可以根据人脸区域确定平均深度值。 0078 参照图3， 图3是图2中步骤S24的一种具体实施方法的流程图。 根据所述人像区域 中的至少一部分区域， 确定平均深度值的步骤可以包括步骤S31至步骤S32， 以下对各个步 骤进行说明。 0079 在步骤S31中， 确定一个或多个人脸特征点。 008。

41、0 其中， 所述人脸特征点可以用于表示对于表现图像的品质更为重要的点， 根据人 说明书 6/12 页 10 CN 111524087 A 10 脸特征点确定所述主摄图像的深度值， 更有利于提高图像的质量。 0081 进一步地， 所述人脸特征点可以选自： 人脸中心点以及面部关键特征点， 其中， 所 述面部关键特征点例如可以为眼、 耳、 口、 鼻、 眉等。 0082 在步骤S32中， 以每个人脸特征点为中心， 确定所述人脸特征点周围预设范围内的 区域， 记为第一特征区域。 0083 具体地， 可以确定所述人脸特征点周围预设的长度和宽度的区域， 以得到呈矩形 的第一特征区域， 还可以确定所述人脸特征。

42、点周围预设的半径的区域， 以得到呈圆形的第 一特征区域。 0084 在步骤S33中， 确定所述第一特征区域与所述人脸区域的重合区域， 记为第一计算 图像块。 0085 具体地， 所述第一计算图像块位于所述人脸区域内， 并且去除了背景的影响， 更有 助于提高图像的质量。 0086 在步骤S34中， 根据所述第一计算图像块中每个像素点的深度值， 确定所述平均深 度值。 0087 参照图4， 图4是图3中步骤S34的一种具体实施方法的流程图。 根据所述第一计算 图像块中每个像素点的深度值， 确定所述平均深度值的步骤可以包括步骤S41至步骤S42， 以下对各个步骤进行说明。 0088 在步骤S41中，。

43、 确定每个第一计算图像块的第一权重值。 0089 进一步地， 所述第一权重值受到所述第一计算图像块与所述人脸区域之间的距离 影响， 所述第一计算图像块距离所述人脸区域越近， 所述第一权重值可以越大。 0090 在步骤S42中， 对各个第一计算图像块中各个像素点的深度值进行加权平均， 以得 到所述平均深度值。 0091 具体地， 可以设置每个第一计算图像块的第一权重值为w1， 采用下述公式确定所 述平均深度值： 0092 0093 0094 其中， D用于表示平均深度值， j用于表示J个第一计算图像块中的第j个第一计算 图像块， i用于表示当前第一计算图像块的I个像素点中的第i个像素点， di,。

44、j用于表示第j个 第一计算图像块中第i个像素点的深度值， w1j用于表示第j个第一计算图像块的第一权重 值。 0095 在本发明实施例中， 通过以每个人脸特征点为中心， 确定所述人脸特征点周围预 设范围内的区域， 并进一步确定该特征区域与所述人脸区域的重合区域为第一计算图像 块， 并根据所述第一计算图像块中每个像素点的深度值， 确定所述平均深度值， 可以根据重 要程度更高的像素点的深度值确定平均深度值， 从而进一步使人像区域选用更适合的深度 值， 提高人像区域的成像质量， 避免深度误差和错误。 说明书 7/12 页 11 CN 111524087 A 11 0096 参照图5， 图5是图3中步。

45、骤S32的另一种具体实施方法的流程图。 根据所述第一计 算图像块中每个像素点的深度值， 确定所述平均深度值的步骤可以包括步骤S51至步骤 S52， 以下对各个步骤进行说明。 0097 在步骤S51中， 确定每个第一计算图像块的第二权重值以及每个图像块内每个像 素点的第三权重值。 0098 进一步地， 所述第二权重值受到所述第一计算图像块与所述特征区域之间的距离 的影响， 所述第一计算图像块距离所述特征区域越近， 所述第二权重值可以越大。 0099 所述第三权重值受到所述像素点在所属的第一计算图像块内的位置与所述第一 计算图像块的中心的距离的影响， 所述像素点在所属的第一计算图像块内的位置距离所。

46、述 第一计算图像块的中心越近， 所述第三权重值越大。 0100 在步骤S52中， 根据所述第一权重值以及所述第二权重值， 对各个第一计算图像块 中各个像素点的深度值进行加权平均， 以得到所述平均深度值。 0101 具体地， 可以设置每个第一计算图像块的第二权重值为w2， 每个图像块内每个像 素点的第三权重值为w3， 采用下述公式确定所述平均深度值： 0102 0103 0104 0105 其中， D用于表示平均深度值， j用于表示J个第一计算图像块中的第j个第一计算 图像块， i用于表示当前第一计算图像块的I个像素点中的第i个像素点， di,j用于表示第j个 第一计算图像块中第i个像素点的深度。

47、值， w2j用于表示第j个第一计算图像块的第二权重 值， w3i,j用于表示当前第j个第一计算图像块中的第i个像素点的第三权重值。 0106 在本发明实施例中， 确定每个第一计算图像块的第二权重值以及每个图像块内各 像素点的第三权重值； 对各个第一计算图像块中各个像素点的深度值进行加权平均， 以得 到所述平均深度值， 可以通过设置两个权重值， 更细致地体现出各第一计算图像块以及各 像素点的影响， 从而进一步选用更适合的深度值， 提高人像区域的成像质量。 0107 继续参照图2， 在步骤S24的具体实施中， 还可以根据人像区域确定平均深度值。 其 中， 所述人像区域可以包含人脸区域， 还可以包含。

48、除人脸区域之外的其他人像区域。 0108 进一步， 根据所述人像区域中的至少一部分区域， 确定平均深度值包括： 确定一个 或多个人体特征点； 以每个人体特征点为中心， 确定所述人体特征点周围预设范围内的区 域， 记为第二特征区域； 确定所述第二特征区域与所述人像区域的重合区域， 记为第二计算 图像块； 根据所述第二计算图像块中每个像素点的深度值， 确定所述平均深度值。 0109 其中， 所述人体特征点可以用于表示对于表现图像的品质更为重要的点， 根据人 说明书 8/12 页 12 CN 111524087 A 12 体特征点确定所述主摄图像的深度值， 更有利于提高图像的质量。 0110 进一步。

49、地， 所述人体特征点可以为人体骨骼节点， 例如可以为手指关节、 手腕、 手 肘、 腿关节、 脚踝、 脚趾关节等。 0111 具体地， 可以确定所述人体特征点周围预设的长度和宽度的区域， 以得到呈矩形 的第二特征区域， 还可以确定所述人体特征点周围预设的半径的区域， 以得到呈圆形的第 二特征区域。 0112 在本发明实施例中， 所述第二计算图像块位于所述人像区域内， 并且去除了背景 的影响， 更有助于提高图像的质量。 0113 在本发明实施例的一种具体实施方式中， 根据所述第二计算图像块中每个像素点 的深度值， 确定所述平均深度值包括： 确定每个第二计算图像块的第四权重值； 对各个第二 计算图像。

50、块中各个像素点的深度值进行加权平均， 以得到所述平均深度值； 其中， 所述第二 计算图像块距离所述人脸区域的中心点越近， 所述第四权重值越大。 0114 具体地， 可以设置每个第二计算图像块的第四权重值为w4， 采用下述公式确定所 述平均深度值： 0115 0116 0117 其中， D用于表示平均深度值， j用于表示J个第一计算图像块中的第j个第二计算 图像块， i用于表示当前第二计算图像块的I个像素点中的第i个像素点， di,j用于表示第j个 第二计算图像块中第i个像素点的深度值， w4j用于表示第j个第二计算图像块的第四权重 值。 0118 进一步地， 所述第四权重值受到所述第二计算图像。