基于餐盘识别的智慧收银方法.pdf

《基于餐盘识别的智慧收银方法.pdf》由会员分享，可在线阅读，更多相关《基于餐盘识别的智慧收银方法.pdf（10页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910805031.7 (22)申请日 2019.08.29 (71)申请人 杭州火小二科技有限公司 地址 310005 浙江省杭州市拱墅区仓基新 村47-5号103室 (72)发明人 赵光军王福星 (74)专利代理机构 杭州赛科专利代理事务所 (普通合伙) 33230 代理人 郭薇 (51)Int.Cl. G06K 9/62(2006.01) G06K 9/40(2006.01) G06K 9/46(2006.01) G06N 3/04(2006.01) G06N 3/0。

2、8(2006.01) (54)发明名称 一种基于餐盘识别的智慧收银方法 (57)摘要 本发明涉及一种基于餐盘识别的智慧收银 方法， 采集餐盘照片分为训练样本和测试样本、 预处理， 分批次将训练样本输入模型网络训练， 稳定后输入测试样本集， 损失率低于阈值则关联 识别结果与价格， 开始收银并计时； 收银处采集 待收银餐盘照片， 对照片进行预处理， 获得1个或 多个餐盘的图像， 逐次输入当前识别模型网络， 基于识别结果和对应的餐盘个数获得总价， 用户 确认无误后付款； 不间断确认是否到达更新时间 或更新批次。 本发明免去人工结算的繁琐， 采集 一次餐盘图片信息并训练得到稳定的识别网络 后， 可以使。

3、用一段时间， 结算效率高， 不需要额外 增设结算通道， 大大缓解排队情况， 结算准确度 高， 便于餐厅管理， 不需要定制餐盘， 运营成本 低， 容错率高。 权利要求书2页 说明书6页 附图1页 CN 110580505 A 2019.12.17 CN 110580505 A 1.一种基于餐盘识别的智慧收银方法， 其特征在于： 所述方法包括以下步骤： 步骤1： 判断是否达到预设的更新时间T和/或存在更新批次的餐盘， 若是， 进行下一步， 否则， T持续计时， 进行步骤6； 步骤2： T清零； 采集餐盘照片， 将餐盘照片分为训练样本和测试样本； 步骤3： 对训练样本和测试样本分别进行预处理， 建立。

4、训练样本集和测试样本集； 步骤4： 分批次将训练样本输入深度学习识别模型网络训练， 直至得到稳定的识别模型 网络； 步骤5： 将测试样本集输入训练好的识别模型网络， 若损失率低于阈值， 则关联识别结 果与价格， 进行下一步， 否则， 返回步骤3； 步骤6： 收银处采集待收银餐盘照片， 对照片进行预处理， 获得1个或多个餐盘的图像； 步骤7： 将1个或多个餐盘的图像逐次输入当前识别模型网络， 基于识别结果和对应的 餐盘个数获得总价； 步骤8： 用户确认无误， 付款； 步骤9： 若存在新的待收银信息， 则返回步骤1， 否则结束。 2.根据权利要求1所述的一种基于餐盘识别的智慧收银方法， 其特征在于。

5、： 所述步骤3 中， 预处理包括以下步骤： 步骤3.1： 取任一未处理样本， 复制一次； 步骤3.2： 取一份样本图像二值化， 去除离散点； 以canny算法得到边缘， 根据边缘确定 图像中心点， 根据边缘的角点得到餐盘形状； 步骤3.3： 将另一份样本图像调整至预设的亮度及对比度， 获取CMYK模式的颜色组成百 分比； 步骤3.4： 将当前样本的图像中心点、 餐盘形状和颜色组成百分比作为当前样本的特征 进行标识； 步骤3.5： 若已处理完所有样本， 则建立训练样本集和测试样本集， 否则， 返回步骤3.1。 3.根据权利要求2所述的一种基于餐盘识别的智慧收银方法， 其特征在于： 所述步骤 3.。

6、2中， 若边缘存在缺口， 根据另一份样本图像判断为光斑或缺损； 若为光斑， 则根据边缘趋 势将缺口补全， 若为缺损， 则以图像中心点为圆心建立XOY坐标， 记录缺口点的坐标。 4.根据权利要求1所述的一种基于餐盘识别的智慧收银方法， 其特征在于： 所述步骤4 包括以下步骤： 步骤4.1： 设置基础特征网络和检测网络， 构建深度学习识别模型网络； 步骤4.2： 设置学习率、 损失函数和优化函数； 步骤4.3： 分批次对训练样本进行数据扩增； 步骤4.4： 分批次将数据扩增后的训练样本输入步骤4.1的模型网络， 根据输出结果进 行学习率调整， 重复步骤4.4， 直至得到稳定的识别模型网络。 5.根。

7、据权利要求4所述的一种基于餐盘识别的智慧收银方法， 其特征在于： 所述基础特 征网络为ResNet分类网络， 所述检测网络为SSD网络。 6.根据权利要求5所述的一种基于餐盘识别的智慧收银方法， 其特征在于： 深度学习识 别模型网络中， 采用SSD网络作为主干网络， 在多尺度的特征图上进行检测， 在SSD网络的每 一层连接处分别设置ResNet分类网络中的残差结构。 权利要求书 1/2 页 2 CN 110580505 A 2 7.根据权利要求4所述的一种基于餐盘识别的智慧收银方法， 其特征在于： 所述优化函 数为Adam函数。 8.根据权利要求4所述的一种基于餐盘识别的智慧收银方法， 其特征。

8、在于： 所述步骤 4.3中， 数据扩增为对训练样本进行旋转、 翻转和裁剪后获得的新的训练样本。 9.根据权利要求2所述的一种基于餐盘识别的智慧收银方法， 其特征在于： 步骤4中， 输 出结果为包括图像中心点、 餐盘形状和颜色组成百分比的特征。 10.根据权利要求1所述的一种基于餐盘识别的智慧收银方法， 其特征在于： 所述步骤6 包括以下步骤： 步骤6.1： 收银处采集待收银餐盘照片； 步骤6.2： 将照片调整至预设的亮度及对比度； 步骤6.3： 将步骤6.2调整后的图片二值化， 去除离散点， 以canny算法得到1个或多个餐 盘的边缘； 步骤6.4： 根据边缘将待收银餐盘照片分割为1个或多个餐。

9、盘的图像。 权利要求书 2/2 页 3 CN 110580505 A 3 一种基于餐盘识别的智慧收银方法 技术领域 0001 本发明涉及专门适用于行政、 商业、 金融、 管理、 监督或预测目的的数据处理系统 或方法的技术领域， 特别涉及一种基于餐盘识别的智慧收银方法。 背景技术 0002 随着城市生活节奏的不断加快， 越来越多的人通过餐厅解决饮食问题， 而正是由 于如此， 食堂性质的餐厅、 快餐连锁店陆续在各个城市落地、 发展， 这些类型的餐饮连锁一 般采用自主挑选菜式、 统一计算收银的模式作业。 0003 现有技术中， 食堂性质的餐厅、 快餐连锁店的收银结算主要通过人工结算或芯片 识别来完成。

10、。 0004 对于人工结算来说， 随着社会发展的加速， 企业附近、 各大高校机关的园区食堂的 就餐人次越来越多， 基于成本考虑， 一般的餐厅并不会开设多条点选菜品及结算的通道， 这 导致结算效率非常低， 在就餐高峰期更是由于结算速度过慢而导致取餐通道严重排队； 进 一步来说， 人工结算的过程中对于就餐人员、 结算人员和餐厅来说需要建立信任链， 而对于 结算金额的准确性把控往往需要适当放宽， 这对于三者来说均存在产生误解或矛盾的隐 患， 并不利于餐厅的管理。 0005 而对于芯片识别来说， 除了传统的在餐盘内植入芯片外， 还可以在餐盘上涂置二 维码、 条码等； 就芯片识别来说， 餐厅的运营成本较。

11、高， 餐盘需要特别定制， 同时如RFID技术 等存在干扰、 误读的可能性， 事实上在结算的过程中出错的可能性也不小， 且读码错误后， 除了重新读之外无法纠错； 而就编码识别来说， 需要分别读码， 条码易损， 整体来说还是无 形中增加了餐具的成本。 发明内容 0006 本发明解决了现有技术中， 食堂性质的餐厅、 快餐连锁店的收银结算主要通过人 工结算或芯片识别， 无法达到快捷、 便利、 错误率低、 成本低的需求的问题， 提供了一种优化 的基于餐盘识别的智慧收银方法。 0007 本发明所采用的技术方案是， 一种基于餐盘识别的智慧收银方法， 所述方法包括 以下步骤： 步骤1： 判断是否达到预设的更新。

12、时间T和/或存在更新批次的餐盘， 若是， 进行下一步， 否则， T持续计时， 进行步骤6； 步骤2： T清零； 采集餐盘照片， 将餐盘照片分为训练样本和测试样本； 步骤3： 对训练样本和测试样本分别进行预处理， 建立训练样本集和测试样本集； 步骤4： 分批次将训练样本输入深度学习识别模型网络训练， 直至得到稳定的识别模型 网络； 步骤5： 将测试样本集输入训练好的识别模型网络， 若损失率低于阈值， 则关联识别结 果与价格， 进行下一步， 否则， 返回步骤3； 说明书 1/6 页 4 CN 110580505 A 4 步骤6： 收银处采集待收银餐盘照片， 对照片进行预处理， 获得1个或多个餐盘的。

13、图像； 步骤7： 将1个或多个餐盘的图像逐次输入当前识别模型网络， 基于识别结果和对应的 餐盘个数获得总价； 步骤8： 用户确认无误， 付款； 步骤9： 若存在新的待收银信息， 则返回步骤1， 否则结束。 0008 优选地， 所述步骤3中， 预处理包括以下步骤： 步骤3.1： 取任一未处理样本， 复制一次； 步骤3.2： 取一份样本图像二值化， 去除离散点； 以canny算法得到边缘， 根据边缘确定 图像中心点， 根据边缘的角点得到餐盘形状； 步骤3.3： 将另一份样本图像调整至预设的亮度及对比度， 获取CMYK模式的颜色组成百 分比； 步骤3.4： 将当前样本的图像中心点、 餐盘形状和颜色组。

14、成百分比作为当前样本的特征 进行标识； 步骤3.5： 若已处理完所有样本， 则建立训练样本集和测试样本集， 否则， 返回步骤3.1。 0009 优选地， 所述步骤3.2中， 若边缘存在缺口， 根据另一份样本图像判断为光斑或缺 损； 若为光斑， 则根据边缘趋势将缺口补全， 若为缺损， 则以图像中心点为圆心建立XOY坐 标， 记录缺口点的坐标。 0010 优选地， 所述步骤4包括以下步骤： 步骤4.1： 设置基础特征网络和检测网络， 构建深度学习识别模型网络； 步骤4.2： 设置学习率、 损失函数和优化函数； 步骤4.3： 分批次对训练样本进行数据扩增； 步骤4.4： 分批次将数据扩增后的训练样本。

15、输入步骤4.1的模型网络， 根据输出结果进 行学习率调整， 重复步骤4.4， 直至得到稳定的识别模型网络。 0011 优选地， 所述基础特征网络为ResNet分类网络， 所述检测网络为SSD网络。 0012 优选地， 深度学习识别模型网络中， 采用SSD网络作为主干网络， 在多尺度的特征 图上进行检测， 在SSD网络的每一层连接处分别设置ResNet分类网络中的残差结构。 0013 优选地， 所述优化函数为Adam函数。 0014 优选地， 所述步骤4.3中， 数据扩增为对训练样本进行旋转、 翻转和裁剪后获得的 新的训练样本。 0015 优选地， 步骤4中， 输出结果为包括图像中心点、 餐盘形。

16、状和颜色组成百分比的特 征。 0016 优选地， 所述步骤6包括以下步骤： 步骤6.1： 收银处采集待收银餐盘照片； 步骤6.2： 将照片调整至预设的亮度及对比度； 步骤6.3： 将步骤6.2调整后的图片二值化， 去除离散点， 以canny算法得到1个或多个餐 盘的边缘； 步骤6.4： 根据边缘将待收银餐盘照片分割为1个或多个餐盘的图像。 0017 本发明提供了一种优化的基于餐盘识别的智慧收银方法， 通过采集餐盘照片并分 为训练样本和测试样本， 对训练样本和测试样本分别进行预处理， 分批次将训练样本输入 说明书 2/6 页 5 CN 110580505 A 5 深度学习识别模型网络训练， 直至。

17、得到稳定的识别模型网络后， 将测试样本集输入训练好 的识别模型网络， 若损失率低于阈值， 则关联识别结果与价格， 开始收银， 与此同时计时开 始； 收银处采集待收银餐盘照片， 对照片进行预处理， 获得1个或多个餐盘的图像， 逐次输入 当前识别模型网络， 基于识别结果和对应的餐盘个数获得总价， 用户确认无误后付款； 期 间， 不间断确认是否到达更新时间或更新批次， 如果不需要更新则收银处继续正常作业即 可。 0018 本发明免去了人工结算的繁琐， 采集一次餐盘图片信息并训练得到稳定的识别网 络后， 可以使用一段时间， 每次使用时， 只需要采集1个或多个餐盘的照片即可， 结算效率 高， 不需要额外。

18、增设结算通道， 单个通道最多只需配备一名工作人员引导即可， 大大缓解排 队情况， 结算准确度高， 依托于机器网络， 最大程度避免了人工干涉， 就餐人员、 结算人员和 餐厅间可能造成误解或矛盾的隐患小， 便于餐厅管理； 本发明同时也不需要定制餐盘， 运营 成本低， 容错率高。 附图说明 0019 图1为本发明的流程图。 具体实施方式 0020 下面结合实施例对本发明做进一步的详细描述， 但本发明的保护范围并不限于 此。 0021 本发明涉及一种基于餐盘识别的智慧收银方法， 利用深度学习目标检测技术， 让 智能收银应用于更广泛的场景， 相比传统收银， 提高了结账效率， 降低了收银的失误率， 提 高。

19、客户满意度， 提高餐厅的运营效率和用户体验， 降低店内的人员的劳务成本、 培训成本和 流失成本。 0022 所述方法包括以下步骤。 0023 步骤1： 判断是否达到预设的更新时间T和/或存在更新批次的餐盘， 若是， 进行下 一步， 否则， T持续计时， 进行步骤6。 0024 本发明中， 以更新时间T或出现更新批次的餐盘为更新标识， 若更新标识不存在， 则无需更新， 直接进行下一次收银阶段的餐盘识别且T持续计时。 0025 本发明中， 一般情况下， 更新时间T或出现更新批次的餐盘应同时被视为更新标 识。 0026 步骤2： T清零； 采集餐盘照片， 将餐盘照片分为训练样本和测试样本。 0027。

20、 本发明中， 如果收银与新一轮的训练同时进行， 则采集餐盘照片的工作需要维持 若干天。 0028 本发明中， 训练样本和测试样本的划分为随机。 0029 步骤3： 对训练样本和测试样本分别进行预处理， 建立训练样本集和测试样本集。 0030 所述步骤3中， 预处理包括以下步骤。 0031 步骤3.1： 取任一未处理样本， 复制一次。 0032 步骤3.2： 取一份样本图像二值化， 去除离散点； 以canny算法得到边缘， 根据边缘 确定图像中心点， 根据边缘的角点得到餐盘形状。 说明书 3/6 页 6 CN 110580505 A 6 0033 所述步骤3.2中， 若边缘存在缺口， 根据另一份。

21、样本图像判断为光斑或缺损； 若为 光斑， 则根据边缘趋势将缺口补全， 若为缺损， 则以图像中心点为圆心建立XOY坐标， 记录缺 口点的坐标。 0034 本发明中， 首先应该去除二值化后的样本图像中的离散点， 实际上即是去噪， 使得 后续利用canny算法得到边缘的成功率更高， 边缘的拟合度更好。 0035 本发明中， 一般情况下， 餐盘为规则结构， 故可以基于边缘获得图像中心点， 并根 据边缘的角点对应标记餐盘形状， 如角点为0则为圆形餐盘、 角点为3个则为三角形餐盘等。 0036 本发明中， 部分餐盘使用过一段时间后可能存在微小的缺陷， 但事实上不影响使 用， 这种情况下的餐盘缺口会以边缘的。

22、形式呈现， 取初始图像人工判断是否确实为缺陷， 当 为缺陷时， 需要基于图像中心点标记缺陷的位置， 便于训练和识别， 而当此非缺陷， 而是光 斑时， 为图像采集过程中的瑕疵， 光斑一般不会太大， 不涉及到遗漏角点的问题， 此时按照 正常的边缘将其补齐即可。 0037 步骤3.3： 将另一份样本图像调整至预设的亮度及对比度， 获取CMYK模式的颜色组 成百分比。 0038 本发明中， 为了保证训练过程中图像的基础参数一致， 故在预处理过程中均需要 将样本图像调整至预设的亮度及对比度。 0039 本发明中， 以CMYK模式对餐盘的颜色进行标定， CMYK可以较为准确的知道各种颜 色的成分， 当然，。

23、 在实际操作过程中， RGB模式的颜色组成百分比也是可以被应用的。 0040 步骤3.4： 将当前样本的图像中心点、 餐盘形状和颜色组成百分比作为当前样本的 特征进行标识。 0041 本发明中， 以餐盘的形状和颜色作为主要的标识相， 图像中心点主要用于在后续 处理过程中的对准， 以图像中心点可以获取餐盘的大小、 缺口等信息。 0042 步骤3.5： 若已处理完所有样本， 则建立训练样本集和测试样本集， 否则， 返回步骤 3.1。 0043 步骤4： 分批次将训练样本输入深度学习识别模型网络训练， 直至得到稳定的识别 模型网络。 0044 所述步骤4包括以下步骤： 步骤4.1： 设置基础特征网络。

24、和检测网络， 构建深度学习识别模型网络； 所述基础特征网络为ResNet分类网络， 所述检测网络为SSD网络。 0045 深度学习识别模型网络中， 采用SSD网络作为主干网络， 在多尺度的特征图上进行 检测， 在SSD网络的每一层连接处分别设置ResNet分类网络中的残差结构。 0046 本发明中， 基础特征网络主要包含VGG、 Inception、 MobileNet、 ResNet， 检测网络 主要包括FasterRCNN、 SSD、 DSSD、 FSSD； 在考察VGG、 Inception、 MobileNet和ResNet后不难 发现， VGG模型有500M， 虽然网络简单有效， 但。

25、是模型参数量过多， 部署速度上存在瓶颈， Inception引入了incp模块增加网络宽度， 通过1*1的卷积减少参数， 网络速度和效果中规 中矩， MobileNet模型压缩， 故参数较少， 适合部署在手机等设备上， 而ResNet网络利用恒等 映射， 层次深不容易退化， 并且准确率较高， 比较适合部署在机柜上； 在考察不同的检测网 络的性能和准确率的过程中， FasterRCNN是two-stage的模型， 选择RP数等于300， 精度虽 高， 但是运行速度较慢， 故主要考虑SSD算法， 基于多尺度检测、 不同尺度和比例的的默认框 说明书 4/6 页 7 CN 110580505 A 7 。

26、进行卷积预测， 速度和精度能达到均衡； 故最终选择了ResNet与SSD对接的模型。 0047 本发明中， 构建深度学习识别模型网络， 该模型的主干网络采用SSD网络在多尺度 的特征图上做检测， 并且在主干网络的每一层连接处分别设置ResNet网络中的残差结构。 0048 步骤4.2： 设置学习率、 损失函数和优化函数； 所述优化函数为Adam函数。 0049 本发明中， 在超参数调整的过程中， 主要需要对学习率、 批次参数、 优化函数进行 一些调整， 并且要考虑内存占用的问题， 故优化函数选择Adam函数。 0050 步骤4.3： 分批次对训练样本进行数据扩增； 所述步骤4.3中， 数据扩增。

27、为对训练样本进行旋转、 翻转和裁剪后获得的新的训练样 本。 0051 步骤4.4： 分批次将数据扩增后的训练样本输入步骤4.1的模型网络， 根据输出结 果进行学习率调整， 重复步骤4.4， 直至得到稳定的识别模型网络。 0052 本发明中， 分批次对训练样本进行数据扩增， 在有限的情况下增加数据的训练样 本。 0053 本发明中， 数据扩增的方法包括但不限于随机对样本进行90 旋转、 镜像翻转和固 定尺度裁剪， 将数据扩增之后的更大的训练样本集输入步骤模型网络中进行训练。 0054 本发明中， 调整的过程中学习率逐渐衰减。 0055 本发明中， 批次参数一般选择64。 0056 步骤5： 将测。

28、试样本集输入训练好的识别模型网络， 若损失率低于阈值， 则关联识 别结果与价格， 进行下一步， 否则， 返回步骤3。 0057 步骤4中， 输出结果为包括图像中心点、 餐盘形状和颜色组成百分比的特征。 0058 本发明中， 关联输出结果与价格是指以图像中心点、 餐盘形状和颜色组成百分比 构成的特征与价格间的关联。 0059 本发明中， 事实上， 亦可以基于Tensorflow进行数据预处理、 模型训练、 模型搭配、 模型固化、 模型部署， 效果良好稳定。 0060 步骤6： 收银处采集待收银餐盘照片， 对照片进行预处理， 获得1个或多个餐盘的图 像。 0061 所述步骤6包括以下步骤。 006。

29、2 步骤6.1： 收银处采集待收银餐盘照片。 0063 本发明中， 为了更好的进行图像划分， 事实上用户可以使用托盘将1个或多个餐盘 整合到一定范围的框内， 亦可以便于归整餐盘的位置， 便于取像及后续处理。 0064 步骤6.2： 将照片调整至预设的亮度及对比度。 0065 步骤6.3： 将步骤6.2调整后的图片二值化， 去除离散点， 以canny算法得到1个或多 个餐盘的边缘。 0066 步骤6.4： 根据边缘将待收银餐盘照片分割为1个或多个餐盘的图像。 0067 本发明中， 步骤6.2-步骤6.4与训练过程中的预处理基本一致， 主要是在预设的亮 度及对比度的前提下， 对餐盘进行识别和划分。。

30、 0068 步骤7： 将1个或多个餐盘的图像逐次输入当前识别模型网络， 基于识别结果和对 应的餐盘个数获得总价。 说明书 5/6 页 8 CN 110580505 A 8 0069 本发明中， 将1个或多个餐盘的图像逐次输入模型网络后， 基于识别结果与价格的 关联， 可以获得当前餐盘所盛放的菜品对应的单价， 进而进行价格的累加。 0070 步骤8： 用户确认无误， 付款。 0071 步骤9： 若存在新的待收银信息， 则返回步骤1， 否则结束。 0072 本发明通过采集餐盘照片并分为训练样本和测试样本， 对训练样本和测试样本分 别进行预处理， 分批次将训练样本输入深度学习识别模型网络训练， 直至。

31、得到稳定的识别 模型网络后， 将测试样本集输入训练好的识别模型网络， 若损失率低于阈值， 则关联识别结 果与价格， 开始收银， 与此同时计时开始； 收银处采集待收银餐盘照片， 对照片进行预处理， 获得1个或多个餐盘的图像， 逐次输入当前识别模型网络， 基于识别结果和对应的餐盘个数 获得总价， 用户确认无误后付款； 期间， 不间断确认是否到达更新时间或更新批次， 如果不 需要更新则收银处继续正常作业即可。 0073 本发明免去了人工结算的繁琐， 采集一次餐盘图片信息并训练得到稳定的识别网 络后， 可以使用一段时间， 每次使用时， 只需要采集1个或多个餐盘的照片即可， 结算效率 高， 不需要额外增设结算通道， 单个通道最多只需配备一名工作人员引导即可， 大大缓解排 队情况， 结算准确度高， 依托于机器网络， 最大程度避免了人工干涉， 就餐人员、 结算人员和 餐厅间可能造成误解或矛盾的隐患小， 便于餐厅管理； 本发明同时也不需要定制餐盘， 运营 成本低， 容错率高。 说明书 6/6 页 9 CN 110580505 A 9 图1 说明书附图 1/1 页 10 CN 110580505 A 10 。