图像处理方法、装置、设备以及计算机可读存储介质.pdf

《图像处理方法、装置、设备以及计算机可读存储介质.pdf》由会员分享，可在线阅读，更多相关《图像处理方法、装置、设备以及计算机可读存储介质.pdf（41页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010749413.5 (22)申请日 2020.07.30 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518057 广东省深圳市南山区高新区 科技中一路腾讯大厦35层 (72)发明人 黄超 (74)专利代理机构 广州三环专利商标代理有限 公司 44202 代理人 熊永强杜维 (51)Int.Cl. G06T 7/55(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) A63F 13/45(2014.01) (54)发明。

2、名称 一种图像处理方法、 装置、 设备以及计算机 可读存储介质 (57)摘要 本申请实施例公开了一种图像处理方法、 装 置、 设备以及计算机可读存储介质， 其中， 方法包 括： 获取样本图像以及样本图像对应的标签深度 图像； 将样本图像输入已训练完成的第一图像处 理模型， 得到第一深度估计特征； 将样本图像输 入第二图像处理模型， 得到第二深度估计特征， 根据第二深度估计特征， 生成样本图像对应的预 测深度图像； 第二图像处理模型中的模型参数数 量小于第一图像处理模型中的模型参数数量； 根 据第一深度估计特征、 第二深度估计特征、 预测 深度图像以及标签深度图像， 对第二图像处理模 型中的模型。

3、参数进行调整， 生成轻量图像处理模 型， 基于轻量图像处理模型对图像进行深度图像 处理。 采用本申请， 可以提高模型提取图像深度 特征的准确度。 权利要求书4页 说明书25页 附图11页 CN 111768438 A 2020.10.13 CN 111768438 A 1.一种图像处理方法， 其特征在于， 包括： 获取样本图像以及所述样本图像对应的标签深度图像； 将所述样本图像输入已训练完成的第一图像处理模型， 得到所述样本图像对应的第一 深度估计特征； 将所述样本图像输入第二图像处理模型， 得到所述样本图像对应的第二深度估计特 征， 根据所述第二深度估计特征， 生成所述样本图像对应的预测深度。

4、图像； 所述第二图像处 理模型中的模型参数数量小于所述第一图像处理模型中的模型参数数量； 根据所述第一深度估计特征、 所述第二深度估计特征、 所述预测深度图像以及所述标 签深度图像， 对所述第二图像处理模型中的模型参数进行调整， 生成轻量图像处理模型， 基 于所述轻量图像处理模型对图像进行深度图像处理。 2.根据权利要求1所述的方法， 其特征在于， 所述根据所述第一深度估计特征、 所述第 二深度估计特征、 所述预测深度图像以及所述标签深度图像， 对所述第二图像处理模型中 的模型参数进行调整， 生成轻量图像处理模型， 包括： 根据所述第一深度估计特征、 所述第二深度估计特征、 所述预测深度图像以。

5、及所述标 签深度图像， 确定所述第二图像处理模型的模型损失值； 根据所述模型损失值对所述第二图像处理模型中的模型参数进行调整， 当调整后的第 二图像处理模型满足模型收敛条件时， 将调整后的第二图像处理模型确定为所述轻量图像 处理模型。 3.根据权利要求2所述的方法， 其特征在于， 所述根据所述第一深度估计特征、 所述第 二深度估计特征、 所述预测深度图像以及所述标签深度图像， 确定所述第二图像处理模型 的模型损失值， 包括： 根据所述第一深度估计特征以及所述第二深度估计特征， 确定所述第二图像处理模型 的蒸馏特征损失值； 根据所述预测深度图像以及所述标签深度图像， 确定所述第二图像处理模型的深。

6、度误 差损失值； 根据所述蒸馏特征损失值以及所述深度误差损失值， 确定所述模型损失值。 4.根据权利要求3所述的方法， 其特征在于， 所述第一深度估计特征包括第一深度估计 特征Wi以及第一深度估计特征Wi+1， 所述第二深度估计特征包括第二深度估计特征Pi以及第 二深度估计特征Pi+1， i为正整数； 所述根据所述第一深度估计特征以及所述第二深度估计特征， 确定所述第二图像处理 模型的蒸馏特征损失值， 包括： 根据所述第一深度估计特征Wi以及所述第二深度估计特征Pi， 确定所述第二图像处理 模型中第二上采样层Ci的蒸馏特征损失值Si； 其中， 所述第一深度估计特征Wi为所述第一图 像处理模型中。

7、的第一上采样层Di输出的深度估计特征； 所述第二深度估计特征Pi为所述第 二上采样层Ci输出的深度估计特征； 根据所述第一深度估计特征Wi+1以及所述第二深度估计特征Pi+1， 确定所述第二图像处 理模型中第二上采样层Ci+1的蒸馏特征损失值Si+1； 其中， 所述第一深度估计特征Wi为所述 第一图像处理模型中的第一上采样层Di+1输入的深度估计特征， 所述第一深度估计特征Wi+1 为所述第一上采样层Di+1输出的深度估计特征； 所述第二深度估计特征Pi为所述第二上采 权利要求书 1/4 页 2 CN 111768438 A 2 样层Ci+1输入的深度估计特征， 所述第二深度估计特征Pi+1为。

8、所述第二上采样层Ci+1输出的 深度估计特征； 根据所述蒸馏特征损失值Si以及所述蒸馏特征损失值Si+1， 确定所述第二图像处理模型 的所述蒸馏特征损失值。 5.根据权利要求1所述的方法， 其特征在于， 所述第二图像处理模型包括第二下采样层 以及第二上采样层； 所述将所述样本图像输入第二图像处理模型， 得到所述样本图像对应的第二深度估计 特征， 包括： 获取所述第二图像处理模型， 将所述样本图像输入所述第二图像处理模型的输入层， 得到所述样本图像对应的第二原始估计特征； 通过所述第二下采样层对所述第二原始估计特征进行卷积处理以及池化处理， 得到所 述样本图像对应的第二初始估计特征； 通过所述第。

9、二上采样层对所述第二初始估计特征进行反卷积处理， 得到所述第二深度 估计特征。 6.根据权利要求5所述的方法， 其特征在于， 还包括： 获取第一样本图像处理模型， 将所述样本图像输入所述第一样本图像处理模型， 得到 所述样本图像对应的所述第一深度估计特征， 根据所述第一深度估计特征， 生成所述样本 图像对应的估计深度图像； 根据所述估计深度图像以及所述标签深度图像， 确定所述第一样本图像处理模型的样 本模型损失值； 根据所述样本模型损失值对所述第一样本图像处理模型中的模型参数进行调整， 当调 整后的第一样本图像处理模型满足模型收敛条件时， 将调整后的第一样本图像处理模型确 定为已训练完成的所述。

10、第一图像处理模型。 7.根据权利要求6所述的方法， 其特征在于， 所述第一图像处理模型包括第一下采样层 以及第一上采样层； 所述将所述样本图像输入所述第一样本图像处理模型， 得到所述样本图像对应的所述 第一深度估计特征， 根据所述第一深度估计特征， 生成所述样本图像对应的估计深度图像， 包括： 将所述样本图像输入所述第一样本图像处理模型的输入层， 得到所述样本图像对应的 第一原始估计特征； 通过所述第一下采样层对所述第一原始估计特征进行卷积处理以及池化处理， 得到所 述样本图像对应的第一初始估计特征； 所述第一下采样层的层数量大于所述第二下采样层 的层数量； 通过所述第一上采样层对所述第一初始。

11、估计特征进行反卷积处理， 得到所述第一深度 估计特征； 根据所述第一深度估计特征， 生成所述样本图像对应的所述估计深度图像。 8.根据权利要求1所述的方法， 其特征在于， 所述获取样本图像以及所述样本图像对应 的标签深度图像， 包括： 调用系统功能接口， 通过所述系统功能接口获取采样频率， 按照所述采样频率在第一 权利要求书 2/4 页 3 CN 111768438 A 3 时刻对系统数据库进行图像采样， 生成第一采样图像， 以及与所述第一采样图像对应的第 一采样深度图像； 按照所述采样频率在第二时刻对所述系统数据库进行图像采样， 生成第二采样图像， 以及与所述第二采样图像对应的第二采样深度图。

12、像； 所述第二时刻晚于所述第一时刻， 且 所述采样频率对应的采样时间间隔为所述第二时刻与所述第一时刻之间的时间间隔； 将所述第一采样图像、 所述第二采样图像， 确定为所述样本图像， 将所述第一采样深度 图像以及所述第二采样深度图像确定为所述标签深度图像。 9.根据权利要求1所述的方法， 其特征在于， 所述基于所述轻量图像处理模型对图像进 行深度图像处理， 包括： 获取所述图像， 将所述图像输入所述轻量图像处理模型； 所述轻量图像处理模型包括 下采样层以及上采样层； 通过所述下采样层提取所述图像中的深度特征信息， 将所述深度特征信息输入所述上 采样层， 通过所述上采样层生成所述图像对应的深度图像。

13、； 所述图像包括目标对象以及障 碍对象， 所述深度图像用于表征所述障碍对象与所述目标对象之间的距离； 根据所述深度图像， 获取所述图像中所述障碍对象与所述目标对象之间的距离， 根据 所述距离确定所述目标对象的目标行为。 10.根据权利要求9所述的方法， 其特征在于， 所述障碍对象包括第一障碍对象以及第 二障碍对象； 所述根据所述深度图像， 获取所述图像中所述障碍对象与所述目标对象之间的距离， 根据所述距离确定所述目标对象的目标行为， 包括： 根据所述深度图像， 获取所述图像中所述第一障碍对象与所述目标对象之间的第一距 离， 获取所述图像中所述第二障碍对象与所述目标对象之间的第二距离； 从所述第。

14、一距离以及所述第二距离中确定最小距离， 将所述最小距离对应的障碍对象 确定为目标障碍对象； 根据所述目标障碍对象以及所述最小距离确定所述目标对象的所述目标行为。 11.根据权利要求10所述的方法， 其特征在于， 所述根据所述目标障碍对象以及所述最 小距离确定所述目标对象的所述目标行为， 包括： 若所述最小距离大于距离阈值且所述目标对象的当前状态为运动状态， 则确定所述目 标对象的所述目标行为为保持所述运动状态； 若所述最小距离小于或等于所述距离阈值， 且所述目标对象的当前状态为所述运动状 态， 则识别所述目标障碍对象的对象类别； 所述对象类别包括虚拟物品类别以及虚拟角色 类别； 若所述目标障碍。

15、对象的所述对象类别为所述虚拟物品类别， 则将所述目标对象的所述 目标行为切换为停止运动状态； 若所述目标障碍对象的所述对象类别为所述虚拟角色类别， 则将所述目标对象的所述 目标行为切换为攻击状态； 所述攻击状态用于指示所述目标对象攻击所述目标障碍对象。 12.一种图像处理装置， 其特征在于， 包括： 第一获取模块， 用于获取样本图像以及所述样本图像对应的标签深度图像； 第一输入模块， 用于将所述样本图像输入已训练完成的第一图像处理模型， 得到所述 权利要求书 3/4 页 4 CN 111768438 A 4 样本图像对应的第一深度估计特征； 第二输入模块， 用于将所述样本图像输入第二图像处理模。

16、型， 得到所述样本图像对应 的第二深度估计特征， 根据所述第二深度估计特征， 生成所述样本图像对应的预测深度图 像； 所述第二图像处理模型中的模型参数数量小于所述第一图像处理模型中的模型参数数 量； 所述第二输入模块， 还用于根据所述第一深度估计特征、 所述第二深度估计特征、 所述 预测深度图像以及所述标签深度图像， 对所述第二图像处理模型中的模型参数进行调整， 生成轻量图像处理模型， 基于所述轻量图像处理模型对图像进行深度图像处理。 13.一种计算机设备， 其特征在于， 包括： 处理器、 存储器以及网络接口； 所述处理器与所述存储器、 所述网络接口相连， 其中， 所述网络接口用于提供数据通信。

17、 功能， 所述存储器用于存储程序代码， 所述处理器用于调用所述程序代码， 以执行权利要求 1至11中任一项所述方法的步骤。 14.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机程 序， 所述计算机程序包括程序指令， 所述程序指令被处理器执行时， 执行权利要求1至11中 任一项所述方法的步骤。 权利要求书 4/4 页 5 CN 111768438 A 5 一种图像处理方法、 装置、 设备以及计算机可读存储介质 技术领域 0001 本申请涉及互联网技术领域， 尤其涉及一种图像处理方法、 装置、 设备以及计算机 可读存储介质。 背景技术 0002 随着深度学习技术的快速普。

18、及以及计算能力的提升， 人工智能被应用到各个领 域。 0003 游戏场景的深度估计是训练枪战游戏人工智能(Artificial Intelligence,AI) 的重要组成部分， 通过深度估计， 计算机等机器能得到游戏角色所处环境中不同物体与游 戏角色之间的距离， 对于不同的距离， 游戏AI能采取不同的行为， 因此可以避免与障碍物发 生碰撞， 这样可以提升游戏AI的效果。 0004 现有技术中， 对游戏图像进行深度估计时所采用的小模型， 即参数数量较小的模 型， 虽然对用户终端的硬件需求相对较低， 更方便部署在用户终端， 但由于小模型的深度 浅， 特征表示能力受限， 所以小模型存在提取的深度特。

19、征准确度较低的缺陷， 即估计的深度 图像与真实的深度图像之间会存在较大误差。 发明内容 0005 本申请实施例提供一种图像处理方法、 装置、 设备以及计算机可读存储介质， 可以 在具备较小参数数量的模型中提高模型提取图像深度特征的准确度。 0006 本申请实施例一方面提供一种图像处理方法， 包括： 0007 获取样本图像以及样本图像对应的标签深度图像； 0008 将样本图像输入已训练完成的第一图像处理模型， 得到样本图像对应的第一深度 估计特征； 0009 将样本图像输入第二图像处理模型， 得到样本图像对应的第二深度估计特征， 根 据第二深度估计特征， 生成样本图像对应的预测深度图像； 第二图。

20、像处理模型中的模型参 数数量小于第一图像处理模型中的模型参数数量； 0010 根据第一深度估计特征、 第二深度估计特征、 预测深度图像以及标签深度图像， 对 第二图像处理模型中的模型参数进行调整， 生成轻量图像处理模型， 基于轻量图像处理模 型对图像进行深度图像处理。 0011 本申请实施例一方面提供一种图像处理装置， 包括： 0012 第一获取模块， 用于获取样本图像以及样本图像对应的标签深度图像； 0013 第一输入模块， 用于将样本图像输入已训练完成的第一图像处理模型， 得到样本 图像对应的第一深度估计特征； 0014 第二输入模块， 用于将样本图像输入第二图像处理模型， 得到样本图像对。

21、应的第 二深度估计特征， 根据第二深度估计特征， 生成样本图像对应的预测深度图像； 第二图像处 理模型中的模型参数数量小于第一图像处理模型中的模型参数数量； 说明书 1/25 页 6 CN 111768438 A 6 0015 第二输入模块， 还用于根据第一深度估计特征、 第二深度估计特征、 预测深度图像 以及标签深度图像， 对第二图像处理模型中的模型参数进行调整， 生成轻量图像处理模型， 基于轻量图像处理模型对图像进行深度图像处理。 0016 其中， 第二输入模块， 包括： 0017 第一确定单元， 用于根据第一深度估计特征、 第二深度估计特征、 预测深度图像以 及标签深度图像， 确定第二图。

22、像处理模型的模型损失值； 0018 第二确定单元， 用于根据模型损失值对第二图像处理模型中的模型参数进行调 整， 当调整后的第二图像处理模型满足模型收敛条件时， 将调整后的第二图像处理模型确 定为轻量图像处理模型。 0019 其中， 第一确定单元， 包括： 0020 第一确定子单元， 用于根据第一深度估计特征以及第二深度估计特征， 确定第二 图像处理模型的蒸馏特征损失值； 0021 第二确定子单元， 用于根据预测深度图像以及标签深度图像， 确定第二图像处理 模型的深度误差损失值； 0022 第三确定子单元， 用于根据蒸馏特征损失值以及深度误差损失值， 确定模型损失 值。 0023 其中， 第一。

23、确定子单元， 具体用于根据第一深度估计特征Wi以及第二深度估计特 征Pi， 确定第二图像处理模型中第二上采样层Ci的蒸馏特征损失值Si； 其中， 第一深度估计 特征Wi为第一图像处理模型中的第一上采样层Di输出的深度估计特征； 第二深度估计特征 Pi为第二上采样层Ci输出的深度估计特征； 0024 第一确定子单元， 具体还用于根据第一深度估计特征Wi+1以及第二深度估计特征 Pi+1， 确定第二图像处理模型中第二上采样层Ci+1的蒸馏特征损失值Si+1； 其中， 第一深度估 计特征Wi为第一图像处理模型中的第一上采样层Di+1输入的深度估计特征， 第一深度估计 特征Wi+1为第一上采样层Di+。

24、1输出的深度估计特征； 第二深度估计特征Pi为第二上采样层 Ci+1输入的深度估计特征， 第二深度估计特征Pi+1为第二上采样层Ci+1输出的深度估计特征； 0025 第一确定子单元， 具体还用于根据蒸馏特征损失值Si以及蒸馏特征损失值Si+1， 确 定第二图像处理模型的蒸馏特征损失值。 0026 其中， 第二输入模块， 包括： 0027 第一输入单元， 用于获取第二图像处理模型， 将样本图像输入第二图像处理模型 的输入层， 得到样本图像对应的第二原始估计特征； 0028 第一处理单元， 用于通过第二下采样层对第二原始估计特征进行卷积处理以及池 化处理， 得到样本图像对应的第二初始估计特征； 。

25、0029 第二处理单元， 用于通过第二上采样层对第二初始估计特征进行反卷积处理， 得 到第二深度估计特征。 0030 其中， 图像处理装置， 还包括： 0031 第二获取模块， 用于获取第一样本图像处理模型， 将样本图像输入第一样本图像 处理模型， 得到样本图像对应的第一深度估计特征， 根据第一深度估计特征， 生成样本图像 对应的估计深度图像； 0032 第一确定模块， 用于根据估计深度图像以及标签深度图像， 确定第一样本图像处 说明书 2/25 页 7 CN 111768438 A 7 理模型的样本模型损失值； 0033 第二确定模块， 用于根据样本模型损失值对第一样本图像处理模型中的模型参。

26、数 进行调整， 当调整后的第一样本图像处理模型满足模型收敛条件时， 将调整后的第一样本 图像处理模型确定为已训练完成的第一图像处理模型。 0034 其中， 第二获取模块， 包括： 0035 第二输入单元， 用于将样本图像输入第一样本图像处理模型的输入层， 得到样本 图像对应的第一原始估计特征； 0036 第三处理单元， 用于通过第一下采样层对第一原始估计特征进行卷积处理以及池 化处理， 得到样本图像对应的第一初始估计特征； 第一下采样层的层数量大于第二下采样 层的层数量； 0037 第四处理单元， 用于通过第一上采样层对第一初始估计特征进行反卷积处理， 得 到第一深度估计特征； 0038 第一。

27、生成单元， 用于根据第一深度估计特征， 生成样本图像对应的估计深度图像。 0039 其中， 第一获取模块， 包括： 0040 第二生成单元， 用于调用系统功能接口， 通过系统功能接口获取采样频率， 按照采 样频率在第一时刻对系统数据库进行图像采样， 生成第一采样图像， 以及与第一采样图像 对应的第一采样深度图像； 0041 第二生成单元， 还用于按照采样频率在第二时刻对系统数据库进行图像采样， 生 成第二采样图像， 以及与第二采样图像对应的第二采样深度图像； 第二时刻晚于第一时刻， 且采样频率对应的采样时间间隔为第二时刻与第一时刻之间的时间间隔； 0042 第三确定单元， 用于将第一采样图像、。

28、 第二采样图像， 确定为样本图像， 将第一采 样深度图像以及第二采样深度图像确定为标签深度图像。 0043 其中， 第二输入模块， 包括： 0044 第三输入单元， 用于获取图像， 将图像输入轻量图像处理模型； 轻量图像处理模型 包括下采样层以及上采样层； 0045 第三生成单元， 用于通过下采样层提取图像中的深度特征信息， 将深度特征信息 输入上采样层， 通过上采样层生成图像对应的深度图像； 图像包括目标对象以及障碍对象， 深度图像用于表征障碍对象与目标对象之间的距离； 0046 第四确定单元， 用于根据深度图像， 获取图像中障碍对象与目标对象之间的距离， 根据距离确定目标对象的目标行为。 。

29、0047 其中， 第四确定单元， 包括： 0048 获取距离子单元， 用于根据深度图像， 获取图像中第一障碍对象与目标对象之间 的第一距离， 获取图像中第二障碍对象与目标对象之间的第二距离； 0049 第四确定子单元， 用于从第一距离以及第二距离中确定最小距离， 将最小距离对 应的障碍对象确定为目标障碍对象； 0050 第五确定子单元， 用于根据目标障碍对象以及最小距离确定目标对象的目标行 为。 0051 其中， 第五确定子单元， 具体用于若最小距离大于距离阈值且目标对象的当前状 态为运动状态， 则确定目标对象的目标行为为保持运动状态； 说明书 3/25 页 8 CN 111768438 A 。

30、8 0052 第五确定子单元， 具体还用于若最小距离小于或等于距离阈值， 且目标对象的当 前状态为运动状态， 则识别目标障碍对象的对象类别； 对象类别包括虚拟物品类别以及虚 拟角色类别； 0053 第五确定子单元， 具体还用于若目标障碍对象的对象类别为虚拟物品类别， 则将 目标对象的目标行为切换为停止运动状态； 0054 第五确定子单元， 具体还用于若目标障碍对象的对象类别为虚拟角色类别， 则将 目标对象的目标行为切换为攻击状态； 攻击状态用于指示目标对象攻击目标障碍对象。 0055 本申请一方面提供了一种计算机设备， 包括： 处理器、 存储器、 网络接口； 0056 上述处理器与上述存储器、。

31、 上述网络接口相连， 其中， 上述网络接口用于提供数据 通信功能， 上述存储器用于存储计算机程序， 上述处理器用于调用上述计算机程序， 以执行 本申请实施例中的方法。 0057 本申请实施例一方面提供了一种计算机可读存储介质， 上述计算机可读存储介质 存储有计算机程序， 上述计算机程序包括程序指令， 上述程序指令被处理器执行时， 以执行 本申请实施例中的方法。 0058 本申请实施例一方面提供了一种计算机程序产品或计算机程序， 该计算机程序产 品或计算机程序包括计算机指令， 该计算机指令存储在计算机可读存储介质中； 计算机设 备的处理器从计算机可读存储介质读取该计算机指令， 处理器执行该计算机。

32、指令， 使得该 计算机设备执行本申请实施例中的方法。 0059 本申请实施例首先获取样本图像和样本图像对应的标签深度图像， 然后将样本图 像输入已训练完成的第一图像处理模型， 得到样本图像对应的第一深度估计特征， 由于第 一图像处理模型是复杂的大模型， 其模型参数数量多， 特征表示能力高， 所以第一图像处理 模型生成的第一深度估计特征准确度高； 随后， 将样本图像输入第二图像处理模型， 得到样 本图像对应的第二深度估计特征， 根据第二深度估计特征， 生成样本图像对应的预测深度 图像； 第二图像处理模型是参数数量较小的小模型， 具备方便部署， 资源成本低的优势， 本 申请实施例考虑到小模型的深度。

33、浅， 特征表示能力受限， 所以不仅根据预测深度图像以及 标签深度图像对第二图像处理模型中的模型参数进行调整， 还根据第一深度估计特征以及 第二深度估计特征对第二图像处理模型中的模型参数进行调整， 生成轻量图像处理模型， 基于轻量图像处理模型对图像进行深度图像处理。 上述可知， 通过转移第一图像处理模型 的准确深度估计特征(第一深度估计特征)给第二图像处理模型， 不仅保留了第二图像处理 模型资源耗费较少， 方便部署的优势， 还提高了第二图像处理模型提取样本图像深度估计 特征的准确度。 附图说明 0060 为了更清楚地说明本申请实施例或现有技术中的技术方案， 下面将对实施例或现 有技术描述中所需要。

34、使用的附图作简单地介绍， 显而易见地， 下面描述中的附图仅仅是本 申请的一些实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下， 还可以 根据这些附图获得其他的附图。 0061 图1是本申请实施例提供的一种系统架构示意图； 0062 图2是本申请实施例提供的一种图像处理的场景示意图； 说明书 4/25 页 9 CN 111768438 A 9 0063 图3a是本申请实施例提供的一种图像处理方法的流程示意图； 0064 图3b是本申请实施例提供的一种图像处理方法的流程示意图； 0065 图4是本申请实施例提供的一种图像处理方法的流程示意图； 0066 图5a是本申请实施例提供的。

35、一种图像处理的场景示意图； 0067 图5b是本申请实施例提供的一种图像处理模型的结构示意图； 0068 图5c是本申请实施例提供的一种图像处理模型的结构示意图； 0069 图5d是本申请实施例提供的一种图像处理方法的结构示意图； 0070 图6是本申请实施例提供的一种图像处理的场景示意图； 0071 图7是本申请实施例提供的一种图像处理装置的结构示意图； 0072 图8是本申请实施例提供的一种计算机设备的结构示意图。 具体实施方式 0073 下面将结合本申请实施例中的附图， 对本申请实施例中的技术方案进行清楚、 完 整地描述， 显然， 所描述的实施例仅仅是本申请一部分实施例， 而不是全部的实。

36、施例。 基于 本申请中的实施例， 本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他 实施例， 都属于本申请保护的范围。 0074 为了便于理解， 首先对部分名词进行以下简单解释： 0075 人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控 制的机器模拟、 延伸和扩展人的智能， 感知环境、 获取知识并使用知识获得最佳结果的理 论、 方法、 技术及应用系统。 换句话说， 人工智能是计算机科学的一个综合技术， 它企图了解 智能的实质， 并生产出一种新的能以人类智能相似的方式做出反应的智能机器。 人工智能 也就是研究各种智能机器的设计原理与实。

37、现方法， 使机器具有感知、 推理与决策的功能。 人 工智能技术是一门综合学科， 涉及领域广泛， 既有硬件层面的技术也有软件层面的技术。 人 工智能基础技术一般包括如传感器、 专用人工智能芯片、 云计算、 分布式存储、 大数据处理 技术、 操作/交互系统、 机电一体化等技术。 人工智能软件技术主要包括计算机视觉技术、 语 音处理技术、 自然语言处理技术以及机器学习/深度学习等几大方向。 0076 计算机视觉技术(Computer Vision,CV)是一门研究如何使机器 “看” 的科学， 更进 一步的说， 就是指用摄影机和电脑代替人眼对目标进行识别、 跟踪和测量等机器视觉， 并进 一步做图形处理。

38、， 使电脑处理成为更适合人眼观察或传送给仪器检测的图像。 作为一个科 学学科， 计算机视觉研究相关的理论和技术， 试图建立能够从图像或者多维数据中获取信 息的人工智能系统。 计算机视觉技术通常包括图像处理、 图像识别、 图像语义理解、 图像检 索、 OCR、 视频处理、 视频语义理解、 视频内容/行为识别、 三维物体重建、 3D技术、 虚拟现实、 增强现实、 同步定位与地图构建等技术， 还包括常见的人脸识别、 指纹识别等生物特征识别 技术。 0077 卷积神经网络(Convolutional Neural Network,CNN)是首个真正被成功训练的 深层神经网络， 是影响深度学习的典型代表。

39、， 卷积神经网络主要由输入层、 卷积层、 池化层、 全连接层以及输出层组成。 在卷积神经网络中， 图像通过多个连续的卷积层和池化层进行 特征提取， 逐步将低层特征变为高层特征。 0078 深度估计大模型： 用于深度估计的耗时久和效果好的深度神经模型。 说明书 5/25 页 10 CN 111768438 A 10 0079 深度估计小模型： 用于深度估计的耗时短和效果欠佳的深度神经模型。 0080 知识蒸馏： 约束深度估计小模型的估计特征和深度估计大模型的估计特征之间的 相似性， 让深度估计小模型从深度估计大模型中学习特征提取能力。 0081 本申请实施例提供的方案涉及人工智能的计算机视觉技术。

40、以及深度学习等技术， 具体过程通过如下实施例进行说明。 0082 请参见图1， 图1是本申请实施例提供的一种系统架构示意图。 如图1所示， 该系统 可以包括服务器10a以及用户终端集群， 用户终端集群可以包括： 用户终端10b、 用户终端 10c、 .、 用户终端10d， 其中， 用户终端集群之间可以存在通信连接， 例如用户终端10b与用 户终端10c之间存在通信连接， 用户终端10b与用户终端10d之间存在通信连接， 且用户终端 集群中的任一用户终端可以与服务器10a存在通信连接， 例如用户终端10b与服务器10a之 间存在通信连接， 用户终端10c与服务器10a之间存在通信连接， 其中， 。

41、上述的通信连接不限 定连接方式， 可以通过有线或无线通信方式进行直接或间接地连接， 也可以通过其他方式， 本申请在此不做限制。 0083 服务器10a通过通信连接为用户终端集群提供服务， 当用户终端(可以是用户终端 10b、 用户终端10c或用户终端10d)获取到图像， 并需要对该图像进行处理时， 例如深度估 计， 用户终端可以将图像发送至服务器10a。 服务器10a接收到用户终端所发送的图像后， 基 于提前训练好的轻量图像处理模型对图像进行深度估计， 得到图像对应的深度图像。 后续， 服务器10a可以将生成的深度图像发送至用户终端， 以及将图像以及深度图像关联存储在 数据库中。 用户终端接收。

42、到服务器10a发送的深度图像后， 可以在屏幕显示该深度图像， 并 通过深度图像中每个像素点的值获取图像中每个像素点与中心像素点之间的距离， 例如， 图像是枪战游戏图像， 深度图像可以表征枪战游戏图像中不同物体与游戏角色之间的距 离， 用户终端可以根据深度图像规划游戏角色的游戏路线以及游戏行为， 以此提升枪战游 戏人工智能的效果， 进而提升游戏用户在游戏中的体验感。 0084 其中， 对图像进行深度估计是指对图像中的每个像素点与图像中的中心像素点进 行距离估计， 因此基于深度估计所生成的深度图像中每个像素点的值均对应着图像中像素 点与中心像素点之间的距离， 例如， 图像是枪战游戏图像， 则深度图。

43、像可以表征枪战游戏图 像中每个像素点与游戏角色(即中心像素点)之间的距离， 其中， 游戏角色是指用户终端所 操控的角色， 该游戏角色可以在游戏界面中以第一人称或第三人称的方式呈现。 0085 可选的， 若用户终端的本地存储了训练好的轻量图像处理模型， 则用户终端可以 在本地将图像处理为深度图像， 再根据深度图像进行后续处理。 其中， 由于训练轻量图像处 理模型涉及到大量的离线计算， 因此用户终端本地的轻量图像处理模型可以是由服务器 10a训练完成后发送至用户终端。 0086 可以理解的是， 本申请实施例所提供的方法可以由计算机设备执行， 计算机设备 包括但不限于终端或服务器。 本申请实施例中的。

44、服务器10a可以为计算机设备。 上述服务器 可以是独立的物理服务器， 也可以是多个物理服务器构成的服务器集群或者分布式系统， 还可以是提供云服务、 云数据库、 云计算、 云函数、 云存储、 网络服务、 云通信、 中间件服务、 域名服务、 安全服务、 CDN、 以及大数据和人工智能平台等基础云计算服务的云服务器。 上述 终端可以是智能手机、 平板电脑、 笔记本电脑、 台式计算机、 智能音箱、 智能手表等， 但并不 局限于此。 终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接， 本申请 说明书 6/25 页 11 CN 111768438 A 11 在此不做限制。 0087 其中， 图。

45、1中的用户终端10b、 用户终端10c以及用户终端10d可以包括手机、 平板电 脑、 笔记本电脑、 掌上电脑、 智能音响、 移动互联网设备(MID， mobile internet device)、 POS(Point Of Sales， 销售点)机、 可穿戴设备(例如智能手表、 智能手环等)等。 0088 下述以对枪战游戏图像进行深度估计为例(可以是在服务器10a中处理， 也可以是 在用户终端中处理)， 进行叙述， 请参见图2， 图2是本申请实施例提供的一种图像处理的场 景示意图。 游戏用户B点击用户终端10b中已安装完毕的枪战游戏A， 然后用户终端10b的显 示屏可以显示针对枪战游戏A的游。

46、戏操纵界面100a， 游戏用户B可以对游戏操纵界面100a进 行截屏获取一张枪战游戏图像， 如图3a所示， 用户终端10b响应游戏用户B针对游戏操纵界 面100a的截屏操作， 生成一张待确定枪战游戏图像， 若游戏用户B想要放弃对待确定枪战游 戏图像的保存， 则可以点击显示屏中的 “” 控件100c， 则用户终端10b会退出截屏界面， 返 回至游戏操纵界面100a， 若游戏用户B点击显示屏中的 “” 控件100b， 则用户终端10b可以 将待确定枪战游戏图像确定为待处理枪战游戏图像， 并保存至本地。 可以理解的是， 此处是 以截屏获取待处理枪战游戏图像示例说明， 实际上， 获取待处理枪战游戏图像。

47、的方法有很 多， 本申请实施例不限定方法。 0089 考虑到神经网络(本申请实施例是指轻量图像处理模型20a)的输入层可能对图像 尺寸大小有固定要求， 故在将待处理枪战游戏图像输入轻量图像处理模型20a前， 先对待处 理枪战游戏图像进行缩放处理， 即进行图像尺寸调整， 可以采用传统算法对待处理枪战游 戏图像进行缩放， 可以包括最近邻插值、 三次样条插值、 线性插值以及区域插值等传统算 法， 还可以采用小型神经网络对待处理枪战游戏图像进行上采样或下采样， 实现尺寸缩放， 此处不限定调整图像尺寸大小的方法， 根据实际应用选择合适的算法即可。 将符合轻量图 像处理模型20a输入层尺寸大小的待处理枪战。

48、游戏图像称作枪战游戏图像100d， 如图2所 示。 0090 深度估计是训练枪战游戏AI的重要组成部分， 通过深度估计， 能得到游戏角色所 处环境中不同物体与游戏角色之间的距离， 基于深度图像， 游戏AI能避免与障碍物发生不 必要的碰撞， 这样能提升游戏AI的效果。 请再参见图2， 枪战游戏图像100d包括目标对象以 及障碍对象， 其中， 目标对象是指目标游戏角色100e， 障碍对象可以包括枪战游戏图像100d 中除了目标游戏角色100e之外的其他对象， 如枪战游戏图像100d所示， 障碍对象可以包括 集装箱100g、 游戏角色100f、 车子以及房屋等对象。 0091 需要说明的是， 本申请。

49、实施例提供的轻量图像处理模型20a是基于知识蒸馏的方 法所生成的模型。 总所周知， 神经网络随着深度的增加(即网络层数变多)， 神经网络的特征 提取能力越佳， 图像处理效果越好， 但是网络层数的增加， 会使得神经网络的网络参数急速 增加， 进而神经网络的运行会变慢， 且要耗费大量的硬件资源成本， 所以存在难以部署的现 实问题； 浅层的神经网络耗费的硬件资源较少， 方便深度估计模型的部署， 但是浅层的神经 网络的特征表示能力有限， 估计的深度图像与真实的深度图像之间的差异较大， 本申请实 施例综合上述情况， 提出一种新的图像处理模型训练方法， 核心思想是转移深度估计大模 型的深度估计特征给深度估。

50、计小模型， 然后计算深度估计大模型的深度估计特征， 以及深 度估计小模型的深度估计特征之间的特征损失， 通过特征损失来提升深度估计小模型的深 度估计效果， 请一并参见图3a， 图3a是本申请实施例提供的一种图像处理方法的流程示意 说明书 7/25 页 12 CN 111768438 A 12 图。 如图3a所示， 该图像处理流程可以分为以下几个步骤： 0092 步骤1： 收集枪战游戏深度数据库。 为了保证标签图像(本申请实施例特指标签深 度图像)的可靠性， 通过枪战游戏的接口自动采集枪战游戏图像和对应的深度图像， 将游戏 接口得到的深度图像作为标签深度图像， 将收集的枪战游戏图像作为样本图像，。