图像处理方法及装置、处理器、电子设备、存储介质.pdf

《图像处理方法及装置、处理器、电子设备、存储介质.pdf》由会员分享，可在线阅读，更多相关《图像处理方法及装置、处理器、电子设备、存储介质.pdf（31页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201911182723.7 (22)申请日 2019.11.27 (71)申请人 深圳市商汤科技有限公司 地址 518054 广东省深圳市前海深港合作 区前湾一路1号A栋201室 (72)发明人 陈航朱烽 (74)专利代理机构 广州三环专利商标代理有限 公司 44202 代理人 郝传鑫熊永强 (51)Int.Cl. G06K 9/00(2006.01) G06K 9/62(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明。

2、名称 图像处理方法及装置、 处理器、 电子设备、 存 储介质 (57)摘要 本申请公开了一种图像处理方法及装置、 处 理器、 电子设备、 存储介质。 该方法包括： 获取待 处理图像、 第一卷积核和第二卷积核， 所述第一 卷积核的感受野与所述第二卷积核的感受野不 同； 使用所述第一卷积核对所述待处理图像进行 卷积处理获得第一特征图像， 使用所述第二卷积 核对所述待处理图像进行卷积处理获得第二特 征图像； 对所述第一特征图像和所述第二特征图 像进行融合处理， 获得第一人群密度图像。 还公 开了相应的装置。 应用本申请提供的技术方案可 获得与待处理图像对应的人群密度图像， 进而确 定待处理图像中的人。

3、数。 权利要求书2页 说明书22页 附图6页 CN 110956122 A 2020.04.03 CN 110956122 A 1.一种图像处理方法， 其特征在于， 所述方法包括： 获取待处理图像、 第一卷积核和第二卷积核， 所述第一卷积核的感受野与所述第二卷 积核的感受野不同； 使用所述第一卷积核对所述待处理图像进行卷积处理获得第一特征图像， 使用所述第 二卷积核对所述待处理图像进行卷积处理获得第二特征图像； 对所述第一特征图像和所述第二特征图像进行融合处理， 获得第一人群密度图像。 2.根据权利要求1所述的方法， 其特征在于， 在所述对所述第一特征图像和所述第二特 征图像进行融合处理， 获。

4、得第一人群密度图像之前， 所述方法还包括： 对所述待处理图像进行第一特征提取处理， 获得第一自注意力图像， 对所述待处理图 像进行第二特征提取处理， 获得第二自注意力图像， 所述第一自注意力图像和所述第二自 注意力图像均用于表征所述待处理图像的尺度信息， 且所述第一自注意力图像所表征的尺 度信息与所述第二自注意力图像所表征的尺度信息不同； 依据所述第一自注意力图像确定所述第一特征图像的第一权重， 依据所述第二自注意 力图像确定所述第二特征图像的第二权重； 所述对所述第一特征图像和所述第二特征图像进行融合处理， 获得第一人群密度图 像， 包括： 依据所述第一权重和所述第二权重对所述第一特征图像和。

5、所述第二特征图像进行融 合处理， 获得所述第一人群密度图像。 3.根据权利要求2所述的方法， 其特征在于， 所述依据所述第一权重和所述第二权重对 所述第一特征图像和所述第二特征图像进行融合处理， 获得所述第一人群密度图像， 包括： 确定所述第一权重与所述第一特征图像之间的点积， 获得第三特征图像； 确定所述第二权重与所述第二特征图像之间的点积， 获得第四特征图像； 对所述第三特征图像和所述第四特征图像进行融合处理， 获得所述第一人群密度图 像。 4.根据权利要求2或3所述的方法， 其特征在于， 所述依据所述第一自注意力图像确定 所述第一特征图像的第一权重， 依据所述第二自注意力图像确定所述第二。

6、特征图像的第二 权重， 包括： 对所述第一自注意力图像和所述第二自注意力图像进行归一化处理， 获得所述第一自 注意力图像对应的第三自注意力图像和所述第二自注意力图像对应的第四自注意力图像； 将所述第三自注意力图像作为所述第一权重， 将所述第四自注意力图像作为所述第二 权重。 5.根据权利要求2至4中任意一项所述的方法， 其特征在于， 在所述使用所述第一卷积 核对所述待处理图像进行卷积处理获得第一特征图像， 使用所述第二卷积核对所述待处理 图像进行卷积处理获得第二特征图像之前， 所述方法还包括： 对所述待处理图像进行第三特征提取处理， 获得第五特征图像； 所述使用所述第一卷积核对所述待处理图像进。

7、行卷积处理获得第一特征图像， 使用所 述第二卷积核对所述待处理图像进行卷积处理获得第二特征图像， 包括： 使用所述第一卷积核对所述第五特征图像进行卷积处理获得所述第一特征图像， 使用 所述第二卷积核对所述第五特征图像进行卷积处理获得所述第二特征图像； 权利要求书 1/2 页 2 CN 110956122 A 2 所述对所述待处理图像进行第一特征提取处理， 获得第一自注意力图像， 对所述待处 理图像进行第二特征提取处理， 获得第二自注意力图像， 包括： 对所述第五特征图像进行所述第一特征提取处理， 获得所述第一自注意力图像， 对所 述第五特征图像进行所述第二特征提取处理， 获得所述第二自注意力图。

8、像。 6.根据权利要求1至5中任意一项所述的方法， 其特征在于， 所述第一卷积核和所述第 二卷积核均为空洞卷积核， 且所述第一卷积核的大小与所述第二卷积核的大小相同， 且所 述第一卷积核的权重与所述第二卷积核的权重相同， 且所述第一卷积核的扩张率与所述第 二卷积核的扩张率不同。 7.一种图像处理装置， 其特征在于， 所述装置包括： 获取单元， 用于获取待处理图像、 第一卷积核和第二卷积核， 所述第一卷积核的感受野 与所述第二卷积核的感受野不同； 卷积处理单元， 用于使用所述第一卷积核对所述待处理图像进行卷积处理获得第一特 征图像， 使用所述第二卷积核对所述待处理图像进行卷积处理获得第二特征图像。

9、； 融合处理单元， 用于对所述第一特征图像和所述第二特征图像进行融合处理， 获得第 一人群密度图像。 8.一种处理器， 其特征在于， 所述处理器用于执行如权利要求1至6中任意一项所述的 方法。 9.一种电子设备， 其特征在于， 包括： 相互连接的处理器和存储器， 所述存储器用于存 储计算机程序代码， 所述计算机程序代码包括计算机指令， 当所述处理器执行所述计算机 指令时， 所述电子设备执行如权利要求1至6中任一项所述的方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质中存储有计算机 程序， 所述计算机程序包括程序指令， 所述程序指令当被电子设备的处理器执行时， 使所述。

10、 处理器执行权利要求1至6中任意一项所述的方法。 权利要求书 2/2 页 3 CN 110956122 A 3 图像处理方法及装置、 处理器、 电子设备、 存储介质 技术领域 0001 本申请涉及图像处理技术领域， 尤其涉及一种图像处理方法及装置、 处理器、 电子 设备、 存储介质。 背景技术 0002 当公共场所出现人流量过大的情况时， 易发生诸如踩踏之类的公共事件。 因此如 何对公共场所进行人群计数具有重大意义。 0003 传统方法基于深度学习技术可对公共场所的图像进行处理， 提取出图像中的特征 信息， 并依据该特征信息可确定与公共场所的图像对应的人群密度图像， 进而可依据人群 密度图像确。

11、定该公共场所的图像种的人数， 实现人群计数。 但该种方法的获得的人群密度 图像的精度较低。 发明内容 0004 本申请提供一种图像处理方法及装置、 处理器、 电子设备、 存储介质， 以实现人群 计数。 0005 第一方面， 提供了一种图像处理方法， 所述方法包括： 0006 获取待处理图像、 第一卷积核和第二卷积核， 所述第一卷积核的感受野与所述第 二卷积核的感受野不同； 0007 使用所述第一卷积核对所述待处理图像进行卷积处理获得第一特征图像， 使用所 述第二卷积核对所述待处理图像进行卷积处理获得第二特征图像； 0008 对所述第一特征图像和所述第二特征图像进行融合处理， 获得第一人群密度图。

12、 像。 0009 在该方面中， 通过使用感受野不同的第一卷积核和第二卷积核分别对待处理图像 进行卷积处理， 以提取出不同尺度下的描述待处理图像的内容的信息， 分别获得第一特征 图像和第二特征图像。 通过对第一特征图像和第二特征图像进行融合处理， 以利用不同尺 度下的描述待处理图像的内容的信息， 进而提高获得的与待处理图像对应的人群密度图像 的精度。 0010 在一种可能实现的方式中， 在所述对所述第一特征图像和所述第二特征图像进行 融合处理， 获得第一人群密度图像之前， 所述方法还包括： 0011 对所述待处理图像进行第一特征提取处理， 获得第一自注意力图像， 对所述待处 理图像进行第二特征提。

13、取处理， 获得第二自注意力图像， 所述第一自注意力图像和所述第 二自注意力图像均用于表征所述待处理图像的尺度信息， 且所述第一自注意力图像所表征 的尺度信息与所述第二自注意力图像所表征的尺度信息不同； 0012 依据所述第一自注意力图像确定所述第一特征图像的第一权重， 依据所述第二自 注意力图像确定所述第二特征图像的第二权重； 0013 所述对所述第一特征图像和所述第二特征图像进行融合处理， 获得第一人群密度 说明书 1/22 页 4 CN 110956122 A 4 图像， 包括： 0014 依据所述第一权重和所述第二权重对所述第一特征图像和所述第二特征图像进 行融合处理， 获得所述第一人群。

14、密度图像。 0015 在该种可能实现的方式中， 通过对待处理图像分别进行第一特征提取处理和第二 特征提取处理以提取不同尺度下的待处理图像的信息， 获得第一自注意力图像和第二自注 意力图像。 依据第一自注意力图像确定第一特征图像的第一权重， 依据第二自注意力图像 确定第二特征图像的第二权重， 并依据第一权重和第二权重对第一特征图像和第二特征图 像进行融合处理， 可提高获得的第一人群密度图像的精度。 0016 在另一种可能实现的方式中， 所述依据所述第一权重和所述第二权重对所述第一 特征图像和所述第二特征图像进行融合处理， 获得所述第一人群密度图像， 包括： 0017 确定所述第一权重与所述第一特。

15、征图像之间的点积， 获得第三特征图像； 0018 确定所述第二权重与所述第二特征图像之间的点积， 获得第四特征图像； 0019 对所述第三特征图像和所述第四特征图像进行融合处理， 获得所述第一人群密度 图像。 0020 在又一种可能实现的方式中， 所述依据所述第一自注意力图像确定所述第一特征 图像的第一权重， 依据所述第二自注意力图像确定所述第二特征图像的第二权重， 包括： 0021 对所述第一自注意力图像和所述第二自注意力图像进行归一化处理， 获得所述第 一自注意力图像对应的第三自注意力图像和所述第二自注意力图像对应的第四自注意力 图像； 0022 将所述第三自注意力图像作为所述第一权重， 。

16、将所述第四自注意力图像作为所述 第二权重。 0023 在该种可能实现的方式中， 通过对第一自注意力图像和第二自注意力图像进行归 一化处理， 可使第一自注意力图像与第二自注意力图像中相同位置的像素点的像素值的和 为1。 再通过将第一自注意力图像作为第一权重、 将第二自注意力图像作为第二权重对第一 特征图像和第二特征图像进行融合处理， 可实现对待处理图像中不同图像区域执行不同感 受野的卷积处理， 进而提高获得的第一人群密度图像的精度。 0024 在又一种可能实现的方式中， 在所述使用所述第一卷积核对所述待处理图像进行 卷积处理获得第一特征图像， 使用所述第二卷积核对所述待处理图像进行卷积处理获得第。

17、 二特征图像之前， 所述方法还包括： 0025 对所述待处理图像进行第三特征提取处理， 获得第五特征图像； 0026 所述使用所述第一卷积核对所述待处理图像进行卷积处理获得第一特征图像， 使 用所述第二卷积核对所述待处理图像进行卷积处理获得第二特征图像， 包括： 0027 使用所述第一卷积核对所述第五特征图像进行卷积处理获得所述第一特征图像， 使用所述第二卷积核对所述第五特征图像进行卷积处理获得所述第二特征图像； 0028 所述对所述待处理图像进行第一特征提取处理， 获得第一自注意力图像， 对所述 待处理图像进行第二特征提取处理， 获得第二自注意力图像， 包括： 0029 对所述第五特征图像进。

18、行所述第一特征提取处理， 获得所述第一自注意力图像， 对所述第五特征图像进行所述第二特征提取处理， 获得所述第二自注意力图像。 0030 在该种可能实现的方式中， 在使用第一卷积核对待处理图像进行卷积处理获得第 说明书 2/22 页 5 CN 110956122 A 5 一特征图像， 使用第二卷积核对待处理图像进行卷积处理获得第二特征图像之前， 对待处 理图像进行第三特征提取处理， 以提取出待处理图像的特征信息， 获得第五特征图像。 使用 第一卷积核对第五特征图像进行卷积处理获得第一特征图像， 使用第二卷积核对所述第五 特征图像进行卷积处理获得所述第二特征图像。 这样可从待处理图像中提取出更丰。

19、富的特 征信息。 0031 在又一种可能实现的方式中， 所述第一卷积核和所述第二卷积核均为空洞卷积 核， 且所述第一卷积核的大小与所述第二卷积核的大小相同， 且所述第一卷积核的权重与 所述第二卷积核的权重相同， 且所述第一卷积核的扩张率与所述第二卷积核的扩张率不 同。 0032 在该种可能实现的方式中， 在第一卷积核和第二卷积核均为空洞卷积核的情况 下， 可将第一卷积核的权重与第二卷积核的权重取为相同， 且可使第一卷积核的感受野与 第二卷积核的感受野不同。 这样， 使用第一卷积核对待处理图像进行卷积处理获得的第一 特征图像包含的信息和使用第二卷积核对待处理图像进行卷积核处理获得的第二特征图 像。

20、包含的信息仅存在尺度上的差异。 在对第一特征图像和第二特征图像进行融合处理时， 可更好的利用不同尺度下待处理图像的信息提高获得的第一人群密度图像的精度。 0033 在又一种可能实现的方式中， 所述第一卷积核或所述第二卷积核的扩张率为参考 值。 0034 在该种可能实现的方式中， 通过将第一卷积核或第二卷积核的扩张率设为0(即参 考值)， 可在使用第一卷积核或第二卷积核对待处理图像进行卷积处理时实现对待处理图 像进行感受野为1的卷积处理， 以更好的提取出待处理图像中尺度小的图像区域的信息。 0035 在又一种可能实现的方式中， 所述方法还包括： 确定所述第一人群密度图像中的 像素值的和， 获得所。

21、述待处理图像中的人数。 0036 在该种可能实现的方式中， 依据第一人群密度图像可确定待处理图像中的人数。 0037 在又一种可能实现的方式中， 所述方法应用于人群计数网络； 0038 所述人群计数网络的训练过程包括： 0039 获取样本图像； 0040 使用所述人群计数网络对所述样本图像进行处理， 获得第二人群密度图像； 0041 依据所述样本图像与所述第二人群密度图像之间的差异， 获得网络损失； 0042 基于所述网络损失调整所述人群计数网络的参数。 0043 在该种可能实现的方式中， 使用训练后的人群计数网络对待处理图像进行处理， 可获得与待处理图像对应的人群密度图像。 0044 在又一。

22、种可能实现的方式中， 在所述依据所述样本图像与所述第二人群密度图像 之间的差异， 获得网络损失之前， 所述方法还包括： 0045 依据冲击函数、 高斯核以及所述样本图像， 获得所述样本图像的真实人群密度图 像； 0046 所述依据所述样本图像与所述第二人群密度图像之间的差异， 获得网络损失， 包 括： 0047 依据所述真实人群密度图像与所述第二人群密度图像之间的差异， 获得所述网络 损失。 说明书 3/22 页 6 CN 110956122 A 6 0048 在该种可能实现的方式中， 将样本图像的真实人群密度图像作为人群计数网络的 监督数据， 依据真实人群密度图像与第二人群密度图像之间的差异。

23、， 确定人群计数网络的 网络损失， 可提高获得的网络损失的精度， 进而提升对人群计数网络的训练效果。 0049 在又一种可能实现的方式中， 在所述经所述人群计数网络对所述样本图像进行处 理， 获得第二人群密度图像之前， 所述方法还包括： 0050 对所述样本图像进行预处理， 获得至少一张预处理后的图像； 0051 所述经所述人群计数网络对所述样本图像进行处理， 获得第二人群密度图像， 包 括： 0052 使用所述人群计数网络对所述至少一张预处理后的图像进行处理， 获得至少一张 第三人群密度图像， 所述预处理后的图像与所述第三人群密度图像一一对应； 0053 所述依据所述样本图像与所述第二人群密。

24、度图像之间的差异， 获得网络损失， 包 括： 0054 依据所述至少一张预处理后的图像中的目标图像和与所述目标图像对应的第三 人群密度图像之间的差异， 获得所述网络损失。 0055 在该种可能实现的方式中， 在将样本图像输入至人群计数网络之前， 通过对样本 图像进行预处理， 获得至少一张预处理后的图像， 并将上述至少一张预处理后的图像作为 训练数据输入至人群计数网络。 这样， 可达到扩充人群计数网络的训练数据集的效果。 0056 在又一种可能实现的方式中， 所述预处理包括： 从所述样本图像中截取预定尺寸 的图像、 对所述样本图像或所述预定尺寸的图像进行翻转处理中的至少一种。 0057 第二方面。

25、， 提供了一种图像处理装置， 所述装置包括： 0058 获取单元， 用于获取待处理图像、 第一卷积核和第二卷积核， 所述第一卷积核的感 受野与所述第二卷积核的感受野不同； 0059 卷积处理单元， 用于使用所述第一卷积核对所述待处理图像进行卷积处理获得第 一特征图像， 使用所述第二卷积核对所述待处理图像进行卷积处理获得第二特征图像； 0060 融合处理单元， 用于对所述第一特征图像和所述第二特征图像进行融合处理， 获 得第一人群密度图像。 0061 在一种可能实现的方式中， 所述装置还包括： 0062 特征提取处理单元， 用于在所述对所述第一特征图像和所述第二特征图像进行融 合处理， 获得第一。

26、人群密度图像之前， 对所述待处理图像进行第一特征提取处理， 获得第一 自注意力图像， 对所述待处理图像进行第二特征提取处理， 获得第二自注意力图像， 所述第 一自注意力图像和所述第二自注意力图像均用于表征所述待处理图像的尺度信息， 且所述 第一自注意力图像所表征的尺度信息与所述第二自注意力图像所表征的尺度信息不同； 0063 第一确定单元， 用于依据所述第一自注意力图像确定所述第一特征图像的第一权 重， 依据所述第二自注意力图像确定所述第二特征图像的第二权重； 0064 所述融合处理单元用于： 0065 依据所述第一权重和所述第二权重对所述第一特征图像和所述第二特征图像进 行融合处理， 获得所。

27、述第一人群密度图像。 0066 在另一种可能实现的方式中， 所述融合处理单元具体用于： 0067 确定所述第一权重与所述第一特征图像之间的点积， 获得第三特征图像； 说明书 4/22 页 7 CN 110956122 A 7 0068 确定所述第二权重与所述第二特征图像之间的点积， 获得第四特征图像； 0069 对所述第三特征图像和所述第四特征图像进行融合处理， 获得所述第一人群密度 图像。 0070 在又一种可能实现的方式中， 所述第一确定单元用于： 0071 对所述第一自注意力图像和所述第二自注意力图像进行归一化处理， 获得所述第 一自注意力图像对应的第三自注意力图像和所述第二自注意力图像。

28、对应的第四自注意力 图像； 0072 将所述第三自注意力图像作为所述第一权重， 将所述第四自注意力图像作为所述 第二权重。 0073 在又一种可能实现的方式中， 所述特征提取处理单元， 还用于在所述使用所述第 一卷积核对所述待处理图像进行卷积处理获得第一特征图像， 使用所述第二卷积核对所述 待处理图像进行卷积处理获得第二特征图像之前， 对所述待处理图像进行第三特征提取处 理， 获得第五特征图像； 0074 所述卷积处理单元用于： 0075 使用所述第一卷积核对所述第五特征图像进行卷积处理获得所述第一特征图像， 使用所述第二卷积核对所述第五特征图像进行卷积处理获得所述第二特征图像； 0076 所。

29、述特征提取处理单元还用于： 0077 对所述第五特征图像进行所述第一特征提取处理， 获得所述第一自注意力图像， 对所述第五特征图像进行所述第二特征提取处理， 获得所述第二自注意力图像。 0078 在又一种可能实现的方式中， 所述第一卷积核和所述第二卷积核均为空洞卷积 核， 且所述第一卷积核的大小与所述第二卷积核的大小相同， 且所述第一卷积核的权重与 所述第二卷积核的权重相同， 且所述第一卷积核的扩张率与所述第二卷积核的扩张率不 同。 0079 在又一种可能实现的方式中， 所述第一卷积核或所述第二卷积核的扩张率为参考 值。 0080 在又一种可能实现的方式中， 所述装置还包括： 第二确定单元， 。

30、用于确定所述第一 人群密度图像中的像素值的和， 获得所述待处理图像中的人数。 0081 在又一种可能实现的方式中， 所述装置执行的图像处理方法应用于人群计数网 络； 0082 所述装置还包括： 训练单元， 用于对所述人群计数网络进行训练， 所述人群计数网 络的训练过程包括： 0083 获取样本图像； 0084 使用所述人群计数网络对所述样本图像进行处理， 获得第二人群密度图像； 0085 依据所述样本图像与所述第二人群密度图像之间的差异， 获得网络损失； 0086 基于所述网络损失调整所述人群计数网络的参数。 0087 在又一种可能实现的方式中， 所述训练单元还用于： 0088 在所述依据所述。

31、样本图像与所述第二人群密度图像之间的差异， 获得网络损失之 前， 依据冲击函数、 高斯核以及所述样本图像， 获得所述样本图像的真实人群密度图像； 0089 依据所述真实人群密度图像与所述第二人群密度图像之间的差异， 获得所述网络 说明书 5/22 页 8 CN 110956122 A 8 损失。 0090 在又一种可能实现的方式中， 所述训练单元还用于： 0091 在所述经所述人群计数网络对所述样本图像进行处理， 获得第二人群密度图像之 前， 对所述样本图像进行预处理， 获得至少一张预处理后的图像； 0092 使用所述人群计数网络对所述至少一张预处理后的图像进行处理， 获得至少一张 第三人群密。

32、度图像， 所述预处理后的图像与所述第三人群密度图像一一对应； 0093 依据所述至少一张预处理后的图像中的目标图像和与所述目标图像对应的第三 人群密度图像之间的差异， 获得所述网络损失。 0094 在又一种可能实现的方式中， 所述预处理包括： 从所述样本图像中截取预定尺寸 的图像、 对所述样本图像或所述预定尺寸的图像进行翻转处理中的至少一种。 0095 第三方面， 提供了一种处理器， 所述处理器用于执行如上述第一方面及其任意一 种可能实现的方式的方法。 0096 第四方面， 提供了一种电子设备， 包括： 相互连接的处理器和存储器， 所述存储器 用于存储计算机程序代码， 所述计算机程序代码包括计。

33、算机指令， 当所述处理器执行所述 计算机指令时， 所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法。 0097 第五方面， 提供了一种计算机可读存储介质， 所述计算机可读存储介质中存储有 计算机程序， 所述计算机程序包括程序指令， 所述程序指令当被电子设备的处理器执行时， 使所述处理器执行如上述第一方面及其任意一种可能实现的方式的方法。 0098 第六方面， 提供了一种包含指令的计算机程序产品， 当所述计算机程序产品在计 算机上运行时， 使得计算机执行上述第一方面及其任一种可能的实现方式的方法。 0099 应当理解的是， 以上的一般描述和后文的细节描述仅是示例性和解释性的， 而非。

34、 限制本公开。 附图说明 0100 为了更清楚地说明本申请实施例或背景技术中的技术方案， 下面将对本申请实施 例或背景技术中所需要使用的附图进行说明。 0101 此处的附图被并入说明书中并构成本说明书的一部分， 这些附图示出了符合本公 开的实施例， 并与说明书一起用于说明本公开的技术方案。 0102 图1为本申请实施例提供的一种图像处理方法的流程示意图； 0103 图2a为本申请实施例提供的一种卷积核的示意图； 0104 图2b为本申请实施例提供的一种卷积核的权重的示意图； 0105 图3为本申请实施例提供的一种相同位置的元素的示意图； 0106 图4为本申请实施例提供的一种人群图像示意图； 。

35、0107 图5为本申请实施例提供的另一种图像处理方法的流程示意图； 0108 图6a为本申请实施例提供的一种空洞卷积核的示意图； 0109 图6b为本申请实施例提供的另一种空洞卷积核的示意图； 0110 图7为本申请实施例提供的又一种空洞卷积核的示意图； 0111 图8为本申请实施例提供的一种人群计数网络的结构示意图； 0112 图9为本申请实施例提供的一种尺度感知型卷积层的结构示意图； 说明书 6/22 页 9 CN 110956122 A 9 0113 图10为本申请实施例提供的一种图像处理装置的结构示意图； 0114 图11为本申请实施例提供的一种图像处理装置的硬件结构示意图。 具体实施。

36、方式 0115 为了使本技术领域的人员更好地理解本申请方案， 下面将结合本申请实施例中的 附图， 对本申请实施例中的技术方案进行清楚、 完整地描述， 显然， 所描述的实施例仅仅是 本申请一部分实施例， 而不是全部的实施例。 基于本申请中的实施例， 本领域普通技术人员 在没有做出创造性劳动前提下所获得的所有其他实施例， 都属于本申请保护的范围。 0116 本申请的说明书和权利要求书及上述附图中的术语 “第一” 、“第二” 等是用于区别 不同对象， 而不是用于描述特定顺序。 此外， 术语 “包括” 和 “具有” 以及它们任何变形， 意图 在于覆盖不排他的包含。 例如包含了一系列步骤或单元的过程、 。

37、方法、 系统、 产品或设备没 有限定于已列出的步骤或单元， 而是可选地还包括没有列出的步骤或单元， 或可选地还包 括对于这些过程、 方法、 产品或设备固有的其他步骤或单元。 0117 在本文中提及 “实施例” 意味着， 结合实施例描述的特定特征、 结构或特性可以包 含在本申请的至少一个实施例中。 在说明书中的各个位置出现该短语并不一定均是指相同 的实施例， 也不是与其它实施例互斥的独立的或备选的实施例。 本领域技术人员显式地和 隐式地理解的是， 本文所描述的实施例可以与其它实施例相结合。 0118 在公共场所(例如广场、 超市、 地铁站、 码头等地方)中， 有时会存在人流量过多的 情况， 进而。

38、导致人群过于密集的情况发生。 这时易发生一些公共事故， 例如踩踏事件。 因此， 如何对公共场所进行人群计数就变得非常有意义。 0119 随着深度学习技术的发展， 基于深度学习的方法可确定图像中的人数， 实现人群 计数。 传统的深度学习方法通过使用一个卷积核对整张图像进行卷积处理以提取出图像中 的特征信息， 并依据特征信息确定图像中的人数。 由于一个卷积核的感受野是固定不变的， 若使用一个卷积核对整张图像进行卷积处理， 即相当于对图像中不同尺度的内容进行相同 感受野的卷积处理， 而不同人物在图像中的尺度不同， 这将导致不能有效提取出图像中的 尺度信息， 进而导致确定的人数的误差。 0120 本申。

39、请中， 图像中近处的人物对应的图像尺度大， 图像中远处的人物对应的图像 尺度小。 本申请实施例中的 “远” 指与图像中人物对应的真实人物与采集上述图像的成像设 备之间的距离远，“近” 指与图像中人物对应的真实人物与采集上述图像的成像设备之间的 距离近。 0121 在卷积神经网络中， 感受野(receptive field)的定义是卷积神经网络每一层输 出的特征图(feature map)上的像素点在输入图片上映射的区域大小。 本申请中， 卷积核的 感受野即为使用该卷积核对图像进行卷积处理的感受野。 0122 本申请实施例提供的技术方案可提取出图像中的尺度信息， 进而提升确定的人数 的精度。 0。

40、123 下面结合本申请实施例中的附图对本申请实施例进行描述。 0124 请参阅图1， 图1是本申请实施例(一)提供的一种图像处理方法的流程示意图。 0125 101、 获取待处理图像、 第一卷积核和第二卷积核， 上述第一卷积核的感受野与上 述第二卷积核的感受野不同。 说明书 7/22 页 10 CN 110956122 A 10 0126 本申请实施例的执行主体可以是服务器、 手机、 电脑、 平板电脑等终端硬件。 本申 请实施例提供的方法也可通过处理器运行计算机可执行代码的方式执行。 上述待处理图像 可以是任意图像。 例如， 待处理图像可以包含人物对象， 其中， 待处理图像可以只包括人脸， 并。

41、无躯干、 四肢(下文将躯干和四肢称为人体)， 也可以只包括人体， 不包括人脸， 还可以只 包括下肢或上肢。 本申请对待处理图像具体包含的人体区域不做限定。 又例如， 待处理图像 可以包含动物。 再例如， 待处理图像可以包含植物。 本申请对待处理图像中包含的内容不做 限定。 0127 在进行接下来的阐述之前， 首先对本申请实施例中的卷积核的权重的含义进行定 义。 本申请实施例中， 通道为1的卷积核以n*n的矩阵的形式存在， 该矩阵中包含n*n个元素， 每个元素均有一个取值， 该矩阵中元素的取值即为卷积核的权重。 在图2a所示的3*3的卷积 核中， 若元素a的取值为44、 元素b的取值为118、 。

42、元素c的取值为192、 元素d的取值为32、 元素 e的取值为83、 元素f的取值为204、 元素g的取值为61、 元素h的取值为174、 元素i的取值为 250， 则该3*3的卷积核的权重为图2b所示的3*3的矩阵。 0128 本申请实施例中， 在满足第一卷积核的感受野与第二卷积核的感受野不同的情况 下， 第一卷积核和第二卷积核均可是任意大小的卷积核， 且第一卷积核的权重和第二卷积 核的权重均可为任意自然数， 本实施例对第一卷积核的大小、 第二卷积核的大小、 第一卷积 核的权重以及第二卷积核的权重均不做限定。 0129 获取待处理图像的方式可以是接收用户通过输入组件输入的待处理图像， 也可以。

43、 是接收终端发送的待处理图像。 获取第一卷积核的方式可以是接收用户通过输入组件输入 的第一卷积核， 也可以是接收终端发送的第一卷积核。 获取第二卷积核的方式可以是接收 用户通过输入组件输入的第二卷积核， 也可以是接收终端发送的第二卷积核。 上述输入组 件包括： 键盘、 鼠标、 触控屏、 触控板和音频输入器等。 上述终端包括手机、 计算机、 平板电 脑、 服务器等。 0130 102、 使用上述第一卷积核对上述待处理图像进行卷积处理获得第一特征图像， 使 用上述第二卷积核对上述待处理图像进行卷积处理获得第二特征图像。 0131 由于第一卷积核的感受野与第二卷积核的感受野不同， 使用第一卷积核对待。

44、处理 图像进行卷积处理和使用第二卷积核对待处理图像进行卷积处理相当于以不同的感受野 “观察” 图像， 实现获得不同尺度下的图像信息。 即第一特征图像和第二特征图像均包含用 于描述待处理图像的内容的信息， 但第一特征图像包含的信息的尺度与第二特征图像包含 的信息的尺度不同。 0132 103、 对上述第一特征图像和上述第二特征图像进行融合处理， 获得第一人群密度 图像。 0133 本申请实施例中， 人群密度图像包含人群密度信息。 人群密度图像中的每个像素 点的像素值表征在该像素点处的人数。 举例来说， 人群密度图像中的像素点A的像素值为 0.05， 则像素点A处有0.05个人。 0134 需要理。

45、解的是， 由于一个人覆盖的图像区域包含至少一个像素点， 当一个人覆盖 的图像区域为1个像素点时， 该像素点对应的像素值为1， 当一个人覆盖的图像区域为至少 两个像素点时， 该至少两个像素点的像素值的和为1。 因此， 人群密度图像中的像素值的取 值范围为： 大于或等于0且小于或等于1。 举例来说， 人物A覆盖的图像区域包含像素点a、 像 说明书 8/22 页 11 CN 110956122 A 11 素点b和像素点c， 则像素点a的像素值+像素点b的像素值+像素点c的像素值1。 0135 上述第一人群密度图像为与待处理图像对应的人群密度图像， 可表征待处理图像 中的人群密度分布。 第一人群密度图。

46、像的尺寸与待处理图像的尺寸相同。 本实施例中图像 的尺寸指图像的宽和高。 第一人群密度图像中的第一像素点的像素值可用于表征待处理图 像中的第二像素点处的人数。 其中， 第一像素点在第一人群密度图像中的位置与第二像素 点在待处理图像中的位置相同。 0136 本申请实施例中， 两张图像中相同位置的像素点可参见图3， 如图3所示， 像素点A11 在图像A中的位置与像素点B11在图像B中的位置相同， 像素点A12在图像A中的位置与像素点 k在图像B12中的位置相同， 像素点A13在图像A中的位置与像素点B13在图像B中的位置相同， 像素点A21在图像A中的位置与像素点B21在图像B中的位置相同， 像素。

47、点A22在图像A中的位置 与像素点B22在图像B中的位置相同， 像素点A23在图像A中的位置与像素点B23在图像B中的位 置相同， 像素点A31在图像A中的位置与像素点B31在图像B中的位置相同， 像素点A32在图像A 中的位置与像素点B32在图像B中的位置相同， 像素点A33在图像A中的位置与像素点B33在图 像B中的位置相同。 0137 若像素点x在图像X中的位置与像素点y在图像Y中的位置相同， 为简洁表述， 下文 将像素点x称为图像X中与像素点y位置相同的像素点， 或将像素点y称为图像Y中与像素点x 位置相同的像素点。 0138 由于第一特征图像包含描述待处理图像的图像内容的信息的尺度和。

48、第二待处理 图像包含描述待处理图像的图像内容的信息的尺度不同， 通过对第一特征图像和第二特征 图像进行融合处理(例如对应位置的像素值加权处理等)， 可利用不同尺度下的描述待处理 图像的图像内容的信息生成待处理图像对应的人群密度图像， 即第一人群密度图像。 这样， 可提高获得的与待处理图像对应的人群密度图像的精度， 进而提升获得的待处理图像中人 数的精度。 0139 需要理解的是， 本实施例阐述了通过两个感受野不同的卷积核(即第一卷积核和 第二卷积核)分别对待处理图像进行卷积处理， 获得两个尺度下的描述待处理图像的图像 内容的信息。 但在实际使用中， 也可通过三个或三个以上感受野不同的卷积核分别。

49、对待处 理图像进行卷积处理， 以获得三个或三个以上尺度下的描述待处理图像的图像内容的信 息， 并将该三个或三个以上尺度下的描述待处理图像的图像内容的信息进行融合， 获得与 待处理图像对应的人群密度图像。 0140 可选的， 在获得第一人群密度图像后， 可通过确定第一人群密度图像中所有像素 点的像素值的和， 得到待处理图像中的人数。 0141 本实施例通过使用感受野不同的第一卷积核和第二卷积核分别对待处理图像进 行卷积处理， 以提取出不同尺度下的描述待处理图像的内容的信息， 分别获得第一特征图 像和第二特征图像。 通过对第一特征图像和第二特征图像进行融合处理， 以利用不同尺度 下的描述待处理图像。

50、的内容的信息， 提高获得的与待处理图像对应的人群密度图像的精 度， 进而提升获得的待处理图像中人数的精度。 0142 在图像中， 近处的人物覆盖的图像区域的面积比远处的人物覆盖的图像区域的面 积大。 例如， 图4中人物A相较于人物B为近处的人物， 且人物A覆盖的图像区域的面积比人物 B覆盖的图像区域的面积大。 而近处的人物覆盖的图像区域的尺度大， 远处的人物覆盖的图 说明书 9/22 页 12 CN 110956122 A 12 像区域的尺度小。 因此， 人物覆盖的图像区域的面积与人物覆盖的图像区域的尺度呈正相 关。 显然， 当卷积处理的感受野与人物覆盖的图像区域的面积相同时， 通过卷积处理获。