检测商品摆放状态的方法、装置及计算机存储介质.pdf

《检测商品摆放状态的方法、装置及计算机存储介质.pdf》由会员分享，可在线阅读，更多相关《检测商品摆放状态的方法、装置及计算机存储介质.pdf（20页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201911380076.0 (22)申请日 2019.12.27 (71)申请人 北京每日优鲜电子商务有限公司 地址 100102 北京市朝阳区创远路34号院7 号楼08层801室 (72)发明人 邓博洋龙寿伦程杨武 (74)专利代理机构 北京三高永信知识产权代理 有限责任公司 11138 代理人 宁立存 (51)Int.Cl. G07F 9/02(2006.01) G06K 9/00(2006.01) (54)发明名称 检测商品摆放状态的方法、 装置及计算机存 储介质 (57。

2、)摘要 本申请公开了一种检测商品摆放状态的方 法、 装置及计算机存储介质， 属于人工智能领域。 方法包括： 根据商品识别模型对目标图像进行处 理， 得到多个图像区域、 每个图像区域对应的商 品识别结果、 以及每个图像区域对应的置信度； 如果多个图像区域中存在第一图像区域， 则在目 标图像中标记第一图像区域； 生成第一重新摆放 提示消息， 第一重新摆放提示消息携带标记有第 一图像区域的目标图像， 用于提示补货人员根据 标记后的目标图像重新调整商品摆放状态。 因 此， 通过上述方式可以实现自动检测商品摆放状 态， 以确定补货人员摆放的商品是否符合相关要 求， 无需通过人工方式， 从而节约了大量的人。

3、力 成本。 权利要求书2页 说明书12页 附图5页 CN 111145430 A 2020.05.12 CN 111145430 A 1.一种检测商品摆放状态的方法， 其特征在于， 所述方法包括： 根据商品识别模型对目标图像进行处理， 得到多个图像区域、 每个图像区域对应的商 品识别结果、 以及每个图像区域对应的置信度， 每个图像区域对应的置信度用于指示相应 图像区域中的商品为对应的商品识别结果所指示的商品的概率， 所述目标图像用于指示补 货人员向无人货柜添加商品后所述无人货柜中的商品摆放状态； 如果所述多个图像区域中存在第一图像区域， 则在所述目标图像中标记所述第一图像 区域， 所述第一图像。

4、区域是指所述多个图像区域中对应的置信度小于第一置信度阈值的图 像区域； 生成第一重新摆放提示消息， 所述第一重新摆放提示消息携带标记有所述第一图像区 域的目标图像， 用于提示补货人员根据标记后的目标图像重新调整商品摆放状态。 2.如权利要求1所述的方法， 其特征在于， 所述方法还包括： 如果所述多个图像区域中不存在所述第一图像区域， 则生成摆放成功确认消息。 3.如权利要求2所述的方法， 其特征在于， 所述如果所述多个图像区域中不存在所述第 一图像区域， 则生成摆放成功确认消息， 包括： 如果所述多个图像区域中不存在所述第一图像区域、 存在第二图像区域， 则通过异常 检测模型对所述目标图像进行。

5、处理， 得到异常识别结果， 所述异常检测模型用于确定所述 目标图像中的商品摆放位置是否异常， 所述第二图像区域是指所述多个图像区域中对应的 置信度大于或等于所述第一置信度阈值且小于第二置信度阈值的图像区域； 如果所述异常识别结果用于指示所述目标图像中商品摆放位置正常， 则生成所述摆放 成功确认消息。 4.如权利要求3所述的方法， 其特征在于， 所述通过异常检测模型对所述目标图像进行 处理， 得到异常识别结果之后， 还包括： 如果所述异常识别结果用于指示所述目标图像中商品摆放位置异常， 则在所述目标图 像中标记所述第二图像区域； 生成第二重新摆放提示信息， 所述第二重新摆放提示信息携带标记有所述。

6、第二图像区 域的目标图像。 5.如权利要求1所述的方法， 其特征在于， 所述方法还包括： 如果所述多个图像区域中存在所述第一图像区域， 则生成微调提示消息， 用于提示补 货人员对商品的位置进行微调。 6.如权利要求1至5任一所述的方法， 其特征在于， 所述方法还包括： 获取所述无人货柜在售卖商品过程中的商品识别成功率； 根据所述商品识别成功率和成功率阈值， 调整所述第一置信度阈值， 其中， 如果所述商 品识别成功率小于成功率阈值， 则调整后的第一置信度阈值小于调整前的第一置信度阈 值。 7.如权利要求3或4所述的方法， 其特征在于， 所述方法还包括： 获取所述补货人员每次补货成功所需的平均时长。

7、； 根据所述平均时长和时长阈值， 调整所述第二置信度阈值， 其中， 如果所述平均时长大 于时长阈值， 则调整后的第二置信度阈值小于调整前的第二置信度阈值。 8.一种检测商品摆放状态的装置， 其特征在于， 所述装置包括： 权利要求书 1/2 页 2 CN 111145430 A 2 识别模块， 用于根据商品识别模型对目标图像进行处理， 得到多个图像区域、 每个图像 区域对应的商品识别结果、 以及每个图像区域对应的置信度， 每个图像区域对应的置信度 用于指示相应图像区域中的商品为对应的商品识别结果所指示的商品的概率， 所述目标图 像用于指示补货人员向无人货柜添加商品后所述无人货柜中的商品摆放状态；。

8、 第一标记模块， 用于如果所述多个图像区域中存在第一图像区域， 则在所述目标图像 中标记所述第一图像区域， 所述第一图像区域是指所述多个图像区域中对应的置信度小于 第一置信度阈值的图像区域； 第一生成模块， 用于生成第一重新摆放提示消息， 所述第一重新摆放提示消息携带标 记有所述第一图像区域的目标图像， 用于提示补货人员根据标记后的目标图像重新调整商 品摆放状态。 9.一种检测商品摆放状态的装置， 其特征在于， 所述装置包括： 处理器； 用于存储处理器可执行指令的存储器； 其中， 所述处理器被配置为执行上述权利要求1至权利要求7中的任一项权利要求所述 的方法的步骤。 10.一种计算机可读存储介。

9、质， 其特征在于， 所述计算机可读存储介质上存储有指令， 所述指令被处理器执行时实现上述权利要求1至权利要求7中的任一项权利要求所述的方 法的步骤。 权利要求书 2/2 页 3 CN 111145430 A 3 检测商品摆放状态的方法、 装置及计算机存储介质 技术领域 0001 本申请涉及人工智能技术领域， 特别涉及一种检测商品摆放状态的方法、 装置及 计算机存储介质。 背景技术 0002 随着人工智能技术的发展， 无人货柜因其便利性而越来越受到用户的欢迎。 当无 人货柜中的商品出现短缺时， 补货人员需要向无人货柜添加商品， 以保证无人货柜的货源 充足。 在补货人员向无人货柜添加商品后， 需要。

10、确保商品的摆放状态符合规范， 以便于后续 售卖过程中后台服务器能够通过无人货柜采集的图像正确识别用户购买的商品。 0003 相关技术中， 在补货人员向无人货柜添加商品后， 通常是质检人员通过人工方式 来检测商品摆放状态是否符合要求， 导致检测过程需要耗费大量的人力资源。 发明内容 0004 本申请实施例提供了一种检测商品摆放状态的方法、 装置及计算机存储介质， 可 以节约检测商品摆放状态所需的人力成本。 所述技术方案如下： 0005 一方面、 提供了一种检测商品摆放状态的方法， 该方法包括： 0006 根据商品识别模型对目标图像进行处理， 得到多个图像区域、 每个图像区域对应 的商品识别结果、。

11、 以及每个图像区域对应的置信度， 每个图像区域对应的置信度用于指示 相应图像区域中的商品为对应的商品识别结果所指示的商品的概率， 所述目标图像用于指 示补货人员向无人货柜添加商品后所述无人货柜中的商品摆放状态； 0007 如果所述多个图像区域中存在第一图像区域， 则在所述目标图像中标记所述第一 图像区域， 所述第一图像区域是指所述多个图像区域中对应的置信度小于第一置信度阈值 的图像区域； 0008 生成第一重新摆放提示消息， 所述第一重新摆放提示消息携带标记有所述第一图 像区域的目标图像， 用于提示补货人员根据标记后的目标图像重新调整商品摆放状态。 0009 可选地， 所述方法还包括： 001。

12、0 如果所述多个图像区域中不存在所述第一图像区域， 则生成摆放成功确认消息。 0011 可选地， 所述如果所述多个图像区域中不存在所述第一图像区域， 则生成摆放成 功确认消息， 包括： 0012 如果所述多个图像区域中不存在所述第一图像区域、 存在第二图像区域， 则通过 异常检测模型对所述目标图像进行处理， 得到异常识别结果， 所述异常检测模型用于确定 所述目标图像中的商品摆放位置是否异常， 所述第二图像区域是指所述多个图像区域中对 应的置信度大于或等于所述第一置信度阈值且小于第二置信度阈值的图像区域； 0013 如果所述异常识别结果用于指示所述目标图像中商品摆放位置正常， 则生成所述 摆放成。

13、功确认消息。 0014 可选地， 所述通过异常检测模型对所述目标图像进行处理， 得到异常识别结果之 说明书 1/12 页 4 CN 111145430 A 4 后， 还包括： 0015 如果所述异常识别结果用于指示所述目标图像中商品摆放位置异常， 则在所述目 标图像中标记所述第二图像区域； 0016 生成第二重新摆放提示信息， 所述第二重新摆放提示信息携带标记有所述第二图 像区域的目标图像。 0017 可选地， 所述方法还包括： 0018 如果所述多个图像区域中存在所述第一图像区域， 则生成微调提示消息， 用于提 示补货人员对商品的位置进行微调。 0019 可选地， 所述方法还包括： 0020。

14、 获取所述无人货柜在售卖商品过程中的商品识别成功率； 0021 根据所述商品识别成功率和成功率阈值， 调整所述第一置信度阈值， 其中， 如果所 述商品识别成功率小于成功率阈值， 则调整后的第一置信度阈值小于调整前的第一置信度 阈值。 0022 可选地， 所述方法还包括： 0023 获取所述补货人员每次补货成功所需的平均时长； 0024 根据所述平均时长和时长阈值， 调整所述第二置信度阈值， 其中， 如果所述平均时 长大于时长阈值， 则调整后的第二置信度阈值小于调整前的第二置信度阈值。 0025 第二方面、 提供了一种检测商品摆放状态的装置， 该装置包括： 0026 识别模块， 用于根据商品识别。

15、模型对目标图像进行处理， 得到多个图像区域、 每个 图像区域对应的商品识别结果、 以及每个图像区域对应的置信度， 每个图像区域对应的置 信度用于指示相应图像区域中的商品为对应的商品识别结果所指示的商品的概率， 所述目 标图像用于指示补货人员向无人货柜添加商品后所述无人货柜中的商品摆放状态； 0027 第一标记模块， 用于如果所述多个图像区域中存在第一图像区域， 则在所述目标 图像中标记所述第一图像区域， 所述第一图像区域是指所述多个图像区域中对应的置信度 小于第一置信度阈值的图像区域； 0028 第一生成模块， 用于生成第一重新摆放提示消息， 所述第一重新摆放提示消息携 带标记有所述第一图像区。

16、域的目标图像， 用于提示补货人员根据标记后的目标图像重新调 整商品摆放状态。 0029 可选地， 该装置还包括： 0030 第二生成模块， 用于如果所述多个图像区域中不存在所述第一图像区域， 则生成 摆放成功确认消息。 0031 可选地， 所述第二生成模块用于： 0032 如果所述多个图像区域中不存在所述第一图像区域、 存在第二图像区域， 则通过 异常检测模型对所述目标图像进行处理， 得到异常识别结果， 所述异常检测模型用于确定 所述目标图像中的商品摆放位置是否异常， 所述第二图像区域是指所述多个图像区域中对 应的置信度大于或等于所述第一置信度阈值且小于第二置信度阈值的图像区域； 0033 如。

17、果所述异常识别结果用于指示所述目标图像中商品摆放位置正常， 则生成所述 摆放成功确认消息。 0034 可选地， 所述装置还包括： 说明书 2/12 页 5 CN 111145430 A 5 0035 第二标记模块， 用于如果所述异常识别结果用于指示所述目标图像中商品摆放位 置异常， 则在所述目标图像中标记所述第二图像区域； 0036 第二生成模块， 用于生成第二重新摆放提示信息， 所述第二重新摆放提示信息携 带标记有所述第二图像区域的目标图像。 0037 可选地， 该装置还包括： 0038 第三生成模块， 用于如果所述多个图像区域中存在所述第一图像区域， 则生成微 调提示消息， 用于提示补货人。

18、员对商品的位置进行微调。 0039 可选地， 该装置还包括： 0040 第一获取模块， 用于获取所述无人货柜在售卖商品过程中的商品识别成功率； 0041 第一调整模块， 用于根据所述商品识别成功率和成功率阈值， 调整所述第一置信 度阈值， 其中， 如果所述商品识别成功率小于成功率阈值， 则调整后的第一置信度阈值小于 调整前的第一置信度阈值。 0042 可选地， 该装置还包括： 0043 第二获取模块， 用于获取所述补货人员每次补货成功所需的平均时长； 0044 第二调整模块， 用于根据所述平均时长和时长阈值， 调整所述第二置信度阈值， 其 中， 如果所述平均时长大于时长阈值， 则调整后的第二置。

19、信度阈值小于调整前的第二置信 度阈值。 0045 第三方面、 提供了一种检测商品摆放状态的装置， 该装置包括： 0046 处理器； 0047 用于存储处理器可执行指令的存储器； 0048 其中， 所述处理器被配置为执行上述第一方面中任一方面所述的方法的步骤。 0049 第四方面、 一种计算机可读存储介质， 所述计算机可读存储介质上存储有指令， 所 述指令被处理器执行时实现上述上述第一方面中任一方面所述的方法的步骤。 0050 本申请实施例提供的技术方案带来的有益效果至少包括： 0051 在本申请中， 可以根据商品识别模型对目标图像进行处理， 得到多个图像区域、 每 个图像区域对应的商品识别结果。

20、、 以及每个图像区域对应的置信度； 如果所述多个图像区 域中存在第一图像区域， 则在目标图像中标记第一图像区域； 生成第一重新摆放提示消息， 该第一重新摆放提示消息携带标记有第一图像区域的目标图像， 用于提示补货人员根据标 记后的目标图像重新调整商品摆放状态。 因此， 通过上述方式可以实现自动检测商品摆放 状态， 以确定补货人员摆放的商品是否符合相关要求， 无需通过人工方式， 从而节约了大量 的人力成本。 附图说明 0052 为了更清楚地说明本申请实施例中的技术方案， 下面将对实施例描述中所需要使 用的附图作简单地介绍， 显而易见地， 下面描述中的附图仅仅是本申请的一些实施例， 对于 本领域普。

21、通技术人员来讲， 在不付出创造性劳动的前提下， 还可以根据这些附图获得其他 的附图。 0053 图1是本申请实施例提供的一种摆放状态符合鱼眼镜头的示意图； 0054 图2是本申请实施例提供的一种检测商品摆放状态的系统架构图； 说明书 3/12 页 6 CN 111145430 A 6 0055 图3是本申请实施例提供的一种检测商品摆放状态的方法流程图； 0056 图4是本申请实施例提供的一种商品识别模型的识别结果展示示意图； 0057 图5是本申请实施例提供的一种标记后的目标图像的示意图； 0058 图6是本申请实施例提供的一种商品摆放状态异常的展示示意图； 0059 图7是本申请实施例提供的。

22、一种检测商品摆放状态的装置的结构示意图； 0060 图8是本申请实施例提供的另一种检测商品摆放状态的装置的结构示意图。 具体实施方式 0061 为使本申请的目的、 技术方案和优点更加清楚， 下面将结合附图对本申请实施方 式作进一步地详细描述。 0062 在对本申请实施例提供的检测商品摆放状态的方法进行解释说明之前， 先对本申 请实施例的应用场景进行解释说明。 0063 采用人工智能技术可以实现无人货柜(其中， 无人货柜也称为智能柜等)自动准确 识别商品。 目前主要采用训练的网络模型对无人货柜中的商品的图像进行识别。 在大范围 商业场景下， 如果无人货柜中的商品随意摆放， 导致无人货柜中每一层商。

23、品之间都可能出 现各种各样的遮挡， 此时如果完全依网络赖模型来识别遮挡场景下的大量的商品， 将很难 实现长期稳定的精确识别。 所以， 除了要求网络模型有极高的商品检测和识别能力， 以便于 能够从图像中定位和识别出商品的位置和类别。 也需要合理的摆放每一层的众多商品， 使 他们在图像中都能清晰， 明显的展现自己。 0064 为了实现商业化， 需要采用物美价廉的图像输入设备(其中， 图像输入设备也可以 称为图像采集设备等)。 目前最经济有效的方案是在无人货柜的每一层货架顶部中心位置 安装一个清晰度较高的采用鱼眼镜头的相机。 因为鱼眼镜头是呈放射状180度(半球状)收 集光线来生成图像的， 所以如果。

24、商品随意摆放， 每一层的靠近中心区域的较高的商品可能 对相邻的外侧区域较矮的商品产生明显的遮挡， 使较矮的商品的主要特征区域被挡住， 从 而导致网络模型无法良好的识别出较矮的商品， 甚至人眼也无法分辨出来。 所以在补货人 员补货时， 特别需要一种监控和反馈机制， 来保证补货人员对于货物的摆放状态能够更好 的符合鱼眼镜头的特性， 从而所有商品都能有良好的展现， 提高网络模型的识别效果。 图1 是本申请实施例提供的一种摆放状态符合鱼眼镜头的示意图。 如图1所示， 较高的商品摆放 在外侧， 较矮的商品摆放在外侧， 且相邻商品之间没有遮挡关键特征区域。 对于图1所示的 摆放状态， 网络模型便可精确识别。

25、其中的每个商品。 0065 其中， 对于不同的商品识别技术和策略， 有不同的配套的补货方案。 0066 对于每一层采用多个摄像头拍摄图像， 进行识别、 融合结果的方案， 因为该方案成 本高， 目前没有实际商用案例， 不做讨论。 对于通用的采用单个鱼眼镜头的方案， 目前市场 上的商品识别技术， 倾向于把智能柜的每一层划分为若干个货道， 每个货道事先约定摆放 特定类型的商品。 然后采用机器学习的技术， 对于每个货道的商品数量的进行识别， 从而实 现对于顾客购买情况的判断。 这种方案要求补货员在每个货道补货特定品类的商品。 好处 是因为商品是人为挑选的， 智能柜每个位置的商品的高度和宽度已知， 很容。

26、易从补货上避 开鱼眼镜头遮挡的问题。 但是这种补货方案人工度参与多， 补货要求高， 耗时耗力。 而且无 人货柜能够摆放的商品种类较少， 容易影响顾客体验和销量， 并且顾客也可能会把商品从 说明书 4/12 页 7 CN 111145430 A 7 一个货道移动到另一个货道， 从而影响网络模型的识别效果。 0067 对于不规定商品货道的摆放方案， 因为鱼眼镜头的特性， 很容易出现明显的遮挡 情况， 从而影响通过网络模型进行识别的效果， 最终影响顾客体验， 无法实现长期稳定的高 精度识别。 0068 由此可见， 为了能够识别出摆放在无人货柜中每一个商品， 遮挡是必须要解决的 问题。 这里的遮挡是指。

27、会挡住商品主要特征位置造成模型难以识别的情况。 因此， 在补货人 员补货完成后， 需要检测商品摆放状态， 目前无人货柜领域没有一个完整通用方案来检测 商品摆放状态。 本申请实施例提供的检测商品摆放状态的方法就应用于上述场景， 以使补 货人员补货后的商品摆放状态能够便于网络模型进行识别。 0069 图2是本申请实施例提供的一种检测商品摆放状态的系统架构图。 如图2所示， 该 系统200包括无人货柜201和服务器202。 无人货柜201和服务器202之间通过有线或无线方 式连接以进行通信。 0070 其中， 无人货柜201包括图像采集设备和UI(ueser-interface， 用户交互)界面设 。

28、备。 该图像采集设备可以为鱼眼摄像头， 也可以为其他类型的摄像头。 无人货柜的每一层货 架的顶端均安装有一个该图像采集设备。 该UI界面设备可以为显示器位于无人货柜的外 侧， 用于提供人机交互界面。 0071 当补货人员在无人货柜201中添加商品后， 可以通过UI界面设备生成商品摆放状 态检测指令， 以触发图像采集设备采集图像。 无人货柜根据该图像生成商品摆放状态检测 请求， 并将该商品摆放状态检测请求发送至服务器202。 当服务器202接收到该商品摆放状 态检测请求后， 根据该图像就商品摆放状态进行检测， 并将相应的检测结果返回至无人货 柜201。 关于服务器202对商品摆放状态进行检测的详。

29、细实现方式， 将在下述实施例中进行 说明， 在此就先不阐述。 0072 上述无人货柜201还可以称为智能柜或智能商品柜等。 上述服务器202可以为独立 的服务器、 还可以为服务器集群， 对此不做具体限定。 0073 需要说明的是， 上述系统架构以及后续的方法实施例均是以服务器来检测商品状 态为例进行说明。 可选地， 上述根据图像检测商品状态也可以由无人货柜本端来处理， 此时 无人货柜本端具有商品状态检测的能力， 本申请实施例对此不做具体限定。 0074 接下来对本申请实施例提供的检测商品摆放状态的方法进行详细解释说明。 0075 图3是本申请实施例提供的一种检测商品摆放状态的方法流程图。 如图。

30、3所示， 该 方法包括如下步骤： 0076 步骤301： 服务器根据商品识别模型对目标图像进行处理， 得到多个图像区域、 每 个图像区域对应的商品识别结果、 以及每个图像区域对应的置信度。 0077 步骤301中的目标图像用于指示补货人员向无人货柜添加商品后无人货柜中的商 品摆放状态。 0078 其中， 该目标图像可以通过无人货柜中的图像采集设备采集得到。 0079 在一种可能的实现方式中， 无人货柜的UI界面设备的显示界面上可以显示有商品 添加成功选项。 当补货人员在确定完成向无人货柜中添加商品后， 可以通过预设操作选择 该商品添加成功选项。 当无人货柜检测到补货人员选择该商品添加成功选项后。

31、， 便可控制 图像采集采集目标图像， 并基于该目标图像生成摆放检测请求， 该摆放检测请求携带该目 说明书 5/12 页 8 CN 111145430 A 8 标图像。 无人货柜将摆放检测请求发送至服务器。 上述预设操作可以为点击操作、 滑动操作 或语音操作等等。 0080 当服务器接收到该摆放检测请求时， 通过商品识别模型对该目标图像进行处理， 得到针对目标图像的识别结果。 该商品识别模型用于对目标图像中的商品进行识别， 该商 品识别模型是预先训练的神经网络模型或深度学习模型， 本申请实施例并不限定商品识别 模型的具体类型以及训练该商品识别模型的过程， 任何能够识别商品的模型均在本申请实 施例。

32、提供的商品识别模型的保护范围之内。 0081 上述每个图像区域对应的置信度用于指示相应图像区域中的商品为对应的商品 识别结果所指示的商品的概率。 比如， 对于任一图像区域， 假设该图像区域对应的商品识别 结果为 “可乐” ， 如果该图像区域对应的置信度为80， 则表明该图像区域中的商品有80 的可能为 “可乐” ， 如果该图像区域对应的置信度为50， 则表明该图像区域中的商品有 50的可能为 “可乐” ， 如果该该图像区域对应的置信度为10， 则表明该图像区域中的商 品有10的可能为 “可乐” . 0082 比如， 图4是本申请实施例提供的一种商品识别模型的识别结果展示示意图。 如图 4所示，。

33、 目标图像中的每个灰色方框代表一个图像区域， 识别结果中包括针对每个图像区域 对应的商品识别结果和每个图像区域对应的置信度， 在此就不再一一举例说明。 需要说明 的是， 图3仅仅用于对商品识别模型的识别结果进行举例说明， 在应用本申请实施例时， 服 务器中无需向前端的无人货柜展示图3所示的图像， 只需向无人货柜反馈最终的检测结果 即可。 0083 步骤302： 如果多个图像区域中存在第一图像区域， 服务器则在目标图像中标记第 一图像区域， 第一图像区域是指多个图像区域中对应的置信度小于第一置信度阈值的图像 区域。 0084 当通过商品识别模型对目标图像进行识别之后， 如果目标图像中存在无法识别。

34、的 商品， 则该商品所在的图像区域的置信度比较低。 因此， 服务器可以预先设置一个较低的第 一置信度阈值， 如果图像区域对应的置信度低于第一置信度阈值， 则表明商品识别模型无 法识别该图像区域所指示的商品， 此时则可以提示补货人员重新怕摆放商品。 0085 因此， 为了便于补货人员快速调整商品的摆放状态， 如果多个图像区域中存在第 一图像区域， 服务器则在目标图像中标记第一图像区域， 以便于通过下述步骤303提示补货 人员目标图像中的这些区域对应的商品需要重新调整。 其中， 第一图像区域可以是多个图 像区域中的一个图像区域， 也可以是多个图像区域中的两个或两个以上的图像区域， 本申 请实施例并。

35、不限定第一图像区域的数量。 0086 比如， 对于图4所示的识别结果， 假设靠近最左侧的第二列方框中从上到下第二个 方框和第三个方框所指示的图像区域对应的置信度小于第一置信度阈值。 因此， 服务器可 以在目标图像中将这两个图像区域标记出来， 得到图5所示的标记后的目标图像。 0087 步骤303： 服务器生成第一重新摆放提示消息， 第一重新摆放提示消息携带标记有 第一图像区域的目标图像， 用于提示补货人员根据标记后的目标图像重新调整商品摆放状 态。 0088 由于目标图像中存在置信度很低的图像区域， 表明当前的商品摆放中存在商品识 别模型无法准确识别的商品， 因此， 服务器需要生成第一重新摆放。

36、提示消息， 并将该第一重 说明书 6/12 页 9 CN 111145430 A 9 新摆放提示消息发送至无人货柜。 0089 当无人货柜接收到该第一重新摆放提示消息时， 可以通过UI界面设备的显示界面 中显示该标记后的目标图像， 以提示补货人员根据标记后的目标图像重新调整商品摆放状 态。 比如， 当标记后的目标图像为图5所示的目标图像时， 补货人员根据经验确定可能是图6 中箭头所指的商品对图5中标记的商品造成了遮挡， 从而导致图5中标记的图像区域无法被 准确识别。 此时， 补货人员可以调整图6中箭头所指的商品的位置， 从而实现对商品摆放状 态的调整。 0090 进一步地， 为了提醒补货人员第。

37、一图像区域是摆放出现异常的商品对应的图像区 域， 服务器还可以在标记后的目标图像中标记异常提示信息， 以使UI界面设备的显示界面 中在显示该显示该标记后的目标图像时， 还显示该异常提示信息。 0091 上述步骤302和步骤303用于解释说明多个图像区域中存在第一图像区域的情况 下服务器的处理过程。 相应地， 如果多个图像区域中不存在第一图像区域， 在一种可能的实 现方式中， 服务器可以直接生成摆放成功消息， 并将该摆放成功消息发送至无人货柜。 当无 人货柜接收到该摆放成功消息时， 可以通过UI界面设备显示该摆放成功消息， 以使补货人 员确认当前摆放符合相关要求。 0092 进一步地， 如果多个。

38、图像区域中不存在第一图像区域， 也即是， 目标图像中识别出 的商品的置信度都不低， 但是也可能存在商品识别模型本身存在识别误差的原因， 比如对 于外形相似的商品商品识别模型可能存在识别错误的情况。 因此， 在另一种可能的实现方 式中， 如果不在第一图像区域， 还可以进一步对目标图像通过下述步骤304至步骤307进行 处理， 以避免由于商品识别模型本身识别误差的原因， 导致识别出的商品的置信度都不低。 0093 步骤304： 如果多个图像区域中不存在第一图像区域、 存在第二图像区域， 服务器 则通过异常检测模型对目标图像进行处理， 得到异常识别结果， 异常检测模型用于确定目 标图像中的商品摆放位。

39、置是否异常， 第二图像区域是指多个图像区域中对应的置信度大于 或等于第一置信度阈值且小于第二置信度阈值的图像区域。 0094 如果对应的置信度在第一置信度与第二置信度之间的商品， 此时如果单纯靠置信 度的标准不足以判断该层商品的摆放情况符合要求， 因此服务器预先收集大量商品的摆放 数据， 包含正常摆放和异常摆放的各种情况， 训练一个用于识别商品摆放位置是否异常的 模型。 采用训练好的异常检测模型来识别目标图像， 判断是否存在由于遮挡等原因导致商 品摆放异常。 0095 其中， 第二图像区域可以是多个图像区域中的一个图像区域， 也可以是多个图像 区域中的两个或两个以上的图像区域， 本申请实施例同。

40、样并不限定第二图像区域的数量。 0096 步骤305： 如果异常识别结果用于指示目标图像中商品摆放位置正常， 服务器则生 成摆放成功确认消息。 0097 如果识别出的商品摆放位置正常， 则表明当前商品摆放位置正常， 且各个商品均 能被商品识别模型识别， 因此可以通过补货检测阶段， 也即是通过步骤304生成摆放成功确 认消息。 0098 服务器在生成摆放成功确认消息之后， 将该摆放成功确认消息反馈至无恶人货 柜。 当无人货柜接收到该摆放成功消息时， 可以通过UI界面设备显示该摆放成功消息， 以使 补货人员确认当前摆放符合相关要求。 说明书 7/12 页 10 CN 111145430 A 10 。

41、0099 步骤306： 如果异常识别结果用于指示目标图像中商品摆放位置异常， 服务求则在 目标图像中标记第二图像区域。 0100 步骤307： 服务器生成第二重新摆放提示信息， 第二重新摆放提示信息携带标记有 第二图像区域的目标图像。 0101 如果识别出的商品摆放位置异常， 则表明虽然各个商品均能被商品识别模型识 别， 但是商品的摆放位置异常， 此时可能存在有些商品因为部分特征别遮挡而被识别为别 的商品的情况， 因此可以通过步骤305和步骤306提示补货人员重新摆放商品， 以调整商品 摆放状态。 0102 因此， 当服务器生成第二重新摆放提示消息， 需将该第二重新摆放提示消息发送 至无人货柜。

42、。 当无人货柜接收到该第二重新摆放提示消息时， 可以通过UI界面设备的显示 界面中显示该标记有第二图像区域的目标图像， 以提示补货人员根据标记后的目标图像重 新调整商品摆放状态。 0103 其中， 步骤306和步骤307的实现方式可以参考上述步骤302和步骤303， 在此不再 重复说明。 0104 此外， 对于置信度较低的图像区域所指示的商品， 此时， 也有可能商品摆放位置中 不存在异常， 但是由于部分遮挡的原因导致置信度较低。 因此， 如果多个图像区域中存在第 一图像区域， 服务器还可以生成微调提示消息， 并将该微调提示消息发送至无人货柜。 当无 人货柜接收到该微调提示消息时， 通过UI界面。

43、设备显示或播放该微调提示消息， 以提示补 充人员对各个商品的摆放位置进行微调。 比如前后左右移动， 旋转该商品， 稍微移远或者整 理附近遮挡该商品的其他商品(比如面包商品包装上沿会遮挡矮罐装可乐， 可以折叠面包 包装上沿)等， 以提高这些商品的识别功率率。 0105 上述第二置信度阈值也是服务器预先设置的。 其中， 第二置信度阈值大于第一置 信度阈值。 0106 在本申请实施例中， 可以通过根据商品识别模型识别的历史统计数据合理调整第 一置信度阈值和第二置信度阈值， 以提高本申请提供的检测商品摆放状态的方法的应用成 功性。 0107 在一种可能的实现方式中， 调整第一置信度阈值的实现过程可以为。

44、： 获取无人货 柜在售卖商品过程中的商品识别成功率； 根据商品识别成功率和成功率阈值， 调整第一置 信度阈值， 其中， 如果该商品识别成功率小于成功率阈值， 则调整后的第一置信度阈值小于 调整前的第一置信度阈值。 0108 相应地， 如果该商品识别成功率大于成功率阈值， 也可以对第一置信度进行调整， 此时调整后的第一置信度阈值可以大于调整前的第一置信度阈值。 0109 如果按照本申请实施例提供的检测商品摆放状态的方法通过了补货人员的补货， 但是后续商品售卖过程中发现商品识别成功率较低， 表明在检测摆放状态时使用的第一置 信度阈值过高， 导致没有正确识别的商品被认为正确识别了， 因此， 需要降低。

45、第一置信度阈 值， 以提高通过补充人员补货的门槛。 0110 上述对第一置信度阈值进行调整的幅度可以由服务器自行设置， 本申请实施例对 此不做具体限定。 0111 另外， 在一种可能的实现方式中， 调整第二置信度阈值的实现过程可以为： 获取补 说明书 8/12 页 11 CN 111145430 A 11 货人员每次补货成功所需的平均时长； 根据平均时长和时长阈值， 调整第二置信度阈值， 其 中， 如果平均时长大于时长阈值， 则调整后的第二置信度阈值小于调整前的第二置信度阈 值。 0112 相应地， 如果平均时长小于时长阈值， 也可以对第二置信度进行调整， 此时调整后 的第二置信度阈值大于调整。

46、前的第二置信度阈值。 0113 如果按照本申请实施例提供的检测商品摆放状态的方法对补充人员的补充流程 进行监控， 但是发现补充人员补充时间较长， 表明过补充人员补货的门槛较高， 因此， 可以 适当地降低过补充人员补货的门槛。 也即是， 降低第二置信度阈值。 0114 同样地， 上述对第二置信度阈值进行调整的幅度可以由服务器自行设置， 本申请 实施例对此不做具体限定。 0115 此外， 对于可能因为遮挡严重， 导致商品识别模型 “看得见” 的商品的置信度都高 于第二置信度阈值， 但是商品识别模型 “看不见” 的商品， 完全没有被检测到， 同时自然也没 有置信度的情况。 这种情况， 本申请实施例提。

47、供的方案结合实际通用的补货推单算法， 可以 自动消除掉这种情况。 因为当前没有检测到部分严重遮挡的商品， 下一次补货推单算法推 单的商品可能超过该无人货柜真实的空位(通用的补货推单原则都倾向于把货柜补满， 具 有普适性)， 从而导致下一次实际补货时该无人货柜摆放不下， 也即是出现爆仓的情况， 此 时补货人员可以选择把多余的商品拿走， 或者将多余的商品堆叠到该无人货柜。 如果全部 堆叠， 由于前述的商品识别模型是在大量无堆叠的情况下采集的数据中训练出的， 所以堆 叠后肯定出现较多低置信度的商品， 很可能出现低于第一置信度阈值的情况， 此时则很容 易导致检测商品状态不符合相关要求的结果， 也即是出。

48、现补货不通过的结果。 或者， 在存在 第二图像区域时， 被上述异常检测模型检测出异常， 同样出现补货不通过的结果。 无论上述 哪种情况， 补货人员只能把多余的商品拿走， 如果补货人员将拿走， 需要补货人员携带这部 分商品到其他地方， 耗时耗力， 补货人员肯定不愿意反复这样操作， 从而更注意调整自己的 摆放。 此外， 同时多余的商品不论是放到其他智能柜， 或是返仓都很容易监测到， 进而采取 措施。 因此， 对于遮挡特别严重导致存在采集不到的商品这种情况实际上是很难出现的。 0116 在本申请实施例中， 可以根据商品识别模型对目标图像进行处理， 得到多个图像 区域、 每个图像区域对应的商品识别结果。

49、、 以及每个图像区域对应的置信度； 如果多个图像 区域中存在第一图像区域， 则在目标图像中标记第一图像区域； 生成第一重新摆放提示消 息， 第一重新摆放提示消息携带标记有第一图像区域的目标图像， 用于提示补货人员根据 标记后的目标图像重新调整商品摆放状态。 因此， 通过上述方式可以实现自动检测商品摆 放状态， 以确定补货人员摆放的商品是否符合相关要求， 无需通过人工方式， 从而节约了大 量的人力成本。 0117 图7是本申请实施例提供的一种检测商品摆放状态的装置的结构示意图。 如图7所 示， 该装置700包括： 0118 识别模块701， 用于根据商品识别模型对目标图像进行处理， 得到多个图像。

50、区域、 每个图像区域对应的商品识别结果、 以及每个图像区域对应的置信度， 每个图像区域对应 的置信度用于指示相应图像区域中的商品为对应的商品识别结果所指示的商品的概率， 目 标图像用于指示补货人员向无人货柜添加商品后无人货柜中的商品摆放状态； 0119 第一标记模块702， 用于如果多个图像区域中存在第一图像区域， 则在目标图像中 说明书 9/12 页 12 CN 111145430 A 12 标记第一图像区域， 第一图像区域是指多个图像区域中对应的置信度小于第一置信度阈值 的图像区域； 0120 第一生成模块703， 用于生成第一重新摆放提示消息， 第一重新摆放提示消息携带 标记有第一图像区。