自动溜娃过程中的检测人体的方法.pdf

《自动溜娃过程中的检测人体的方法.pdf》由会员分享，可在线阅读，更多相关《自动溜娃过程中的检测人体的方法.pdf（12页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910922687.7 (22)申请日 2019.09.27 (71)申请人 珠海市一微半导体有限公司 地址 519000 广东省珠海市横琴新区宝华 路6号105室-514 (72)发明人 肖刚军邓文拔姜新桥 (51)Int.Cl. G06K 9/00(2006.01) G08B 21/02(2006.01) (54)发明名称 一种自动溜娃过程中的检测人体的方法 (57)摘要 本发明公开一种自动溜娃过程中的检测人 体的方法， 该方法适用于一种具备竖直连杆和儿 童座位的自主遛。

2、娃机器人上， 竖直连杆的中部设 置有视角覆盖儿童座位及外围环境的第二摄像 头， 该方法包括： 预先存储监护人的图像， 包括人 脸图像信息； 调用第二摄像头采集儿童座位的外 围环境的图像信息， 并检测儿童的预设安全距离 内是否出现人体， 若有则分析所述第二摄像头摄 取的脸部图像与预先存储的监护人的人脸图像 是否匹配； 若不匹配则向监护人的移动设备发送 位置请求信息， 然后根据自主遛娃机器人接收到 的响应位置信息， 实时搜索出跟踪监护人且远离 障碍物的路径。 权利要求书1页 说明书6页 附图4页 CN 110674762 A 2020.01.10 CN 110674762 A 1.一种自动溜娃过程。

3、中的检测人体的方法， 其特征在于， 该方法适用于一种具备竖直 连杆和儿童座位的自主遛娃机器人上， 竖直连杆的中部设置有视角覆盖儿童座位及外围环 境的第二摄像头， 该方法包括： 预先存储监护人的图像， 包括人脸图像信息； 调用第二摄像头采集儿童座位的外围环境的图像信息， 并检测儿童的预设安全距离内 是否出现人体， 若有则分析所述第二摄像头摄取的脸部图像与预先存储的监护人的人脸图 像是否匹配； 若不匹配则向监护人的移动设备发送位置请求信息， 然后根据自主遛娃机器人接收到 的响应位置信息， 实时搜索出跟踪监护人且远离障碍物的路径。 2.根据权利要求1所述的检测人体的方法， 其特征在于， 包括： 当检。

4、测到儿童的重心位置离开所述儿童座位一个所述预设安全距离时， 实时定位当前 位置信息， 向监护人的移动设备发送提醒信息。 3.根据权利要求2所述的检测人体的方法， 其特征在于， 所述预设安全距离的取值范围 为10cm至40cm。 4.根据权利要求2所述的检测人体的方法， 其特征在于， 所述第二摄像头摄取的脸部图 像与预先存储的监护人的人脸图像是否匹配的判断方法为： 计算所述第二摄像头摄取的脸 部图像与预先存储的监护人的人脸图像的关键点相似度是否达到一个预设阈值以上， 是则 确定所述第二摄像头摄取的脸部图像与预先存储的监护人的人脸图像是匹配， 否则不匹 配。 5.根据权利要求4所述的检测人体的方法。

5、， 其特征在于， 所述预设阈值为90%。 6.根据权利要求1所述的检测人体的方法， 其特征在于， 若检测儿童的所述预设安全距 离内没有出现人体， 停止执行所述检测人体的方法。 7.根据权利要求1所述的检测人体的方法， 其特征在于， 在分析儿童的所述预设安全距 离内出现人体的情况下， 判断到所述第二摄像头摄取的脸部图像与预先存储的监护人的人 脸图像匹配， 停止执行所述检测人体的方法。 权利要求书 1/1 页 2 CN 110674762 A 2 一种自动溜娃过程中的检测人体的方法 技术领域 0001 本发明涉及手推车的技术领域， 尤其涉及一种自动溜娃过程中的检测人体的方 法。 背景技术 0002。

6、 儿童车是一种为儿童户外活动提供便利而设计的工具车， 有各种车型， 儿童车是 宝宝最喜爱的散步交通工具， 更是妈妈带宝宝上街购物和外出活动时的必须品。 现代儿童 推车为了考虑到父母和婴孩各种各样的需要， 生产制造厂家推出了各种款式的儿童车， 如 折叠式、 轻便式、 柔软式和防震式等。 0003 在每个有儿童的家庭中， 儿童手推车已成为年轻父母养育小孩的好帮手， 但大人 不可能时刻照看儿童， 而儿童由于年纪小， 又没有足够的自我保护能力， 若大人离开儿童车 时有不明人士企图带走儿童车或儿童， 则会威胁到儿童的安全。 因此， 有必要为儿童手推车 提供检测出儿童座位周侧人体的解决方案。 发明内容 0。

7、004 针对前述存在的技术问题， 本发明提供一种自动溜娃过程中的检测人体的方法， 该方法适用于一种具备竖直连杆和儿童座位的自主遛娃机器人上， 竖直连杆的中部设置有 视角覆盖儿童座位及外围环境的第二摄像头， 该方法包括： 预先存储监护人的图像， 包括人 脸图像信息； 调用第二摄像头采集儿童座位的外围环境的图像信息， 并检测儿童的预设安 全距离内是否出现人体， 若有则分析所述第二摄像头摄取的脸部图像与预先存储的监护人 的人脸图像是否匹配； 若不匹配则向监护人的移动设备发送位置请求信息， 然后根据自主 遛娃机器人接收到的响应位置信息， 实时搜索出跟踪监护人且远离障碍物的路径。 该技术 方案在预定的范。

8、围内作出所述自主遛娃机器人上的儿童被抱走的规避方法， 实现监护人实 时快速跟踪儿童安全的功能。 0005 进一步地， 当检测到儿童的重心位置离开所述儿童座位一个所述预设安全距离 时， 实时定位当前位置信息， 向监护人的移动设备发送提醒信息。 通过规划出儿童在座位上 的安全活动的区域， 初步提防儿童向所述自主遛娃机器人旁边的危险区域活动。 0006 进一步地， 所述预设安全距离的取值范围为10cm至40cm。 增加检测精度。 0007 进一步地， 所述第二摄像头摄取的脸部图像与预先存储的监护人的人脸图像是否 匹配的判断方法为： 计算所述第二摄像头摄取的脸部图像与预先存储的监护人的人脸图像 的关键。

9、点相似度是否达到一个预设阈值以上， 是则确定所述第二摄像头摄取的脸部图像与 预先存储的监护人的人脸图像是匹配， 否则不匹配。 提高检测方法的全面性。 0008 进一步地， 所述预设阈值为90%。 提高图像检测的精确度。 0009 进一步地， 若检测儿童的所述预设安全距离内没有出现人体， 停止执行所述检测 人体的方法。 或者， 在分析儿童的所述预设安全距离内出现人体的情况下， 判断到所述第二 摄像头摄取的脸部图像与预先存储的监护人的人脸图像匹配， 停止执行所述检测人体的方 说明书 1/6 页 3 CN 110674762 A 3 法。 提高检测方法的全面性。 附图说明 0010 图1 是本发明实。

10、施例提供一种自主遛娃机器人的结构示意图。 0011 图2是本发明实施例提供一种基于所述的自主遛娃机器人的自动溜娃方法流程 图。 0012 图3是本发明其中一种实施例提供的检测周围人体的方法的流程图。 0013 图4是本发明其中一种实施例提供的检测移动路径周围环境状况的方法流程图。 0014 附图标记： 101、 带有摄像头1011的竖直连接杆； 102、 手推把手； 103、 驱动轮； 104、 儿童座位； 105、 带有摄像头1051的儿童扶手； 106、 万向轮； 107、 移动底座。 具体实施方式 0015 下面将结合本发明实施例中的附图， 对本发明实施例中的技术方案进行详细描 述。 为。

11、进一步说明各实施例， 本发明提供有附图。 这些附图为本发明揭露内容的一部分， 其 主要用以说明实施例， 并可配合说明书的相关描述来解释实施例的运作原理。 配合参考这 些内容， 本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。 图中的组 件并未按比例绘制， 而类似的组件符号通常用来表示类似的组件。 0016 本发明提供一种自主遛娃机器人， 如图1所示， 包括手推把手102、 与手推把手102 配合连接的竖直连接杆101、 儿童座位104、 儿童扶手105、 移动底座107； 儿童座位104安装在 移动底座107的上方， 儿童座位104和移动底座107是整车塑料和金属的结合车身。 儿。

12、童用扶 手105中间位置呈水平型， 这样的设计， 可以让儿童双手很好的握住而且可以掌握自身的平 衡力， 儿童扶手105的下部通过第一固定支架 （图中未表示出） 安装在移动底座107上， 第一 固定支架还容纳装配有第一摄像头1051， 并且通过手拧螺帽旋紧装置 （图中未标志） 固定， 第一摄像头1051的视角覆盖移动底座107的前进方向的周侧， 第一摄像头1051的俯角可用 于检测移动底座107的前进方向上的障碍物或周侧的行人的踪迹。 竖直连接杆101的下部通 过第二固定支架安装在儿童座位104的后端， 竖直连接杆101的中部设置有第二摄像头 1011， 第二摄像头1011的设置高度大于骑坐在儿。

13、童座位104的儿童的身高， 也是通过手拧螺 帽旋紧装置 （图中未标志） 固定， 第二摄像头1011的视角覆盖儿童座位104及外围环境， 至少 能获取坐在儿童座位104上的儿童的活动图像， 且第二摄像头1011的仰角覆盖所述自主遛 娃机器人相伴随的监护人或行人的脸部图像。 所述螺帽旋紧装置包括主手拧螺帽、 定位圈 和主螺杆， 所述主螺杆依次穿过定位圈、 摄像头上的装配螺孔与主手拧螺帽螺接， 其形状都 有一定的锥度， 可以有效的防止摄像头在固定支架来回晃动， 可以牢牢的将这两者紧固在 一块。 另外， 移动底座107内部集成视觉定位和建图模组， 并与第一摄像头1051和第二摄像 头1052存在线缆连。

14、接， 视觉定位和建图模组内置导航定位与即时构建地图的芯片及外围的 电路模组， 用于采集第一摄像头1051和第二摄像头1052的图像并进行图像处理， 并提取处 理得到的图 像中的二维或三维点云数据集 ， 以 完成地图 构建。 与中国发明专利 CN107215376B相比， 本实施例将无人机牵引儿童手推车的功能模块集成到儿童推车上， 并 利用所述自主遛娃机器人上不同方位的摄像头配合视觉定位和建图模组完成定位导航工 说明书 2/6 页 4 CN 110674762 A 4 作， 以实现移动底座根据摄像头采集的图像信息牵引自主遛娃机器人无障碍地跟踪监护 人。 降低家长的购买儿童手推车的成本。 0017。

15、 如图1所示， 所述自主遛娃机器人还包括设置在儿童座位104下方的驱动轮103和 万向轮106， 驱动轮103安装在移动底座107的左右两侧， 移动底座107的左右两侧的驱动轮 的轮距加宽设计， 有利于防止翻车， 科学增大安全系数和车身稳定性， 加宽后轮间距长达 55cm， 安全防侧翻角度高达15度。 所述移动底座107包括驱动电机， 用于驱动驱动轮103带动 所述自主遛娃机器人按照预设路径自主移动； 万向轮106通过可转动的支架 （图中未表示 出） 安装在移动底座107的前端， 支持所述自主遛娃机器人自由转向， 360度的万向轮106有 助于所述自主遛娃机器人轻松通过低障碍物， 操纵灵活， 。

16、适用于多种路面。 0018 如图1所示， 所述竖直连接杆101同一位置处分别引出两条保护带 （图中未表示 出） ， 这两条保护带用于通过交叉式锁扣于所述儿童座位104的两侧， 来将儿童固定在所述 儿童座位104上。 保证儿童在自主遛娃机器人移动过程中的安全， 特别是驱动轮103刹车过 程中， 防止骑坐在所述儿童座位104上的儿童出现跌落。 0019 本实施例还提供一种基于所述的自主遛娃机器人的自动溜娃方法， 如图2所示， 该 自动溜娃方法包括： 步骤S1、 预先存储监护人的图像和儿童的图像， 包括他们的人脸图像信息、 身体姿态的 图像信息。 0020 步骤S2、 调用第二摄像头1011采集所述。

17、儿童座位上的儿童的活动点云数据集和监 护人的活动点云数据集， 这是第二摄像头1011的仰角覆盖范围内的所采集的图像数据， 并 映射至所述移动底座107集成的视觉定位和建图模组构建的地图中， 建立起基于儿童的独 立地标和儿童安全监控区域， 本实施例中的活动点云数据集是将第二摄像头1011采集的图 像像素编码而成， 便于所述自主遛娃机器人跟踪监护人的位姿。 其中， 所述自动溜娃方法用 于控制所述移动底座和监护人的移动设备在构建地图中的距离不超过预设监护距离， 儿童 安全监控区域覆盖到以所述移动底座为中心， 预设监护距离为半径的一个区域范围， 有利 于所述移动底座实时跟踪监护人， 并且， 所述儿童安。

18、全监控区域是在所述移动底座与所述 监护人的移动设备之间的通信信号所允许的收发范围内， 所述监护人的移动设备可以是所 述自主遛娃机器人的无线遥控装置， 可进行实时通信。 0021 步骤S3、 调用第一摄像头1051采集所述移动底座107的前进方向的周侧的障碍物 点云数据集， 并在所述移动底座107集成的视觉定位和建图模组构建的地图中， 建立起障碍 物的路标； 这些障碍物的路标可以是视觉定位和建图模组从障碍物点云数据集提取的用于 定位的边角等几何特征。 0022 需要说明的是， 前述的基于儿童的独立地标、 障碍物的路标、 儿童安全监控区域仅 仅组成一张稀疏地图， 如果只是用于定位就足够了， 但是在。

19、自动遛娃过程中还需要实时跟 踪监护人， 需要所述自主遛娃机器人沿着可靠的导航路径移动， 保障儿童的安全， 让监护人 更放心， 所以， 第二摄像头1011和第一摄像头1051摄取的360 范围内的环境影像， 编码为点 云数据集， 再映射到视觉定位和建图模组构建的栅格内， 这些栅格含有占据、 空闲、 未知三 种状态， 以表达该格内是否有物体， 使得视觉定位和建图模组构建起基于这些栅格的稠密 地图。 0023 步骤S4、 根据障碍物的路标以及基于儿童的安全监控区域， 构建起所述自主遛娃 说明书 3/6 页 5 CN 110674762 A 5 机器人及监护人之间的栅格地图环境， 当搜索监护人所处的某。

20、个空间位置时， 地图能够给 出该位置是否可以通过的信息， 从而实时搜索出跟踪监护人且远离障碍物的路径， 然后控 制所述移动底座107按照实时搜索出的路径移动， 再利用实时插入的点云数据集进行路径 修正， 值得注意的是， 后续实时插入的点云数据集可以用于判断图像间的相似性来完成回 环检测以修正路径偏移， 当回环检测利用两张相似的图片的相似性的算法， 解决位置估计 随时间漂移的问题， 修正当前位置路标， 把位置估计值 “拉” 回实际位置处， 可以显著地减小 累积误差。 由于第二摄像头1011和第一摄像头1051摄取的360 范围内的图像的信息非常丰 富， 使得本实施例下的检测回环的难度降低了不少。。

21、 0024 与现有技术的无人机定位相比， 本实施例提供的视觉定位和即时构建地图的方 法， 特别是步骤S3构建的稠密地图和步骤S4中进行的回环检测优化， 克服现有技术的无人 机漂移值大和设计成本大的问题， 提高自动溜娃的精度， 确保自主遛娃机器人实时跟踪监 护人， 并且自主遛娃机器人自行返回的准确度较高。 0025 值得注意的是， 虽然所述自主遛娃机器人支持自主移动， 但是也可以分为前述的 自动遛娃模式和手动遛娃模式， 手动遛娃模式下， 儿童的监护人还可以利用手推把手102推 动所述自主遛娃机器人， 依然可以手动推动所述自主遛娃机器人。 0026 作为一种实施例， 根据预先存储儿童的身体姿态的图。

22、像信息， 检测到儿童的重心 位置离开所述儿童座位一个预设安全距离时， 实时定位当前位置信息， 向监护人的移动设 备发送提醒信息； 本实施例调用第二摄像头1011采集所述儿童座位上的儿童的活动点云数 据集， 检测儿童是否在所述儿童座位104的预设安全距离内活动， 本实施例以该预设安全距 离为半径可在视觉定位和建图模组构建的地图内标记出儿童在所述自主遛娃机器人上的 监控范围， 作为儿童安全活动区域， 局限于所述儿童座位104的周边区域， 故预设安全距离 设置为10cm。 本实施例通过规划出儿童在座位上的活动区域， 初步提防儿童向所述自主遛 娃机器人旁边的危险区域活动。 具体地， 当所述保护带没有将。

23、儿童固定在所述儿童座位上， 儿童离开所述儿童座位， 超出所述儿童安全活动区域活动时， 被第二摄像头1011采集检测 到， 定位儿童的重心的当前位置信息， 实时向监护人的移动设备发送提醒信息； 或者， 当儿 童从所述儿童座位上跌落以超出所述儿童安全活动区域时， 定位儿童的重心的当前位置信 息， 实时向监护人的移动设备发送提醒信息。 0027 如图3所示， 本发明实施例提供一种自动溜娃过程中的检测人体的方法， 所述方法 作为前述的步骤S4的一种实施方式， 具体包括以下步骤： S301、 调用第二摄像头1011采集所述儿童座位104的外围环境的图像信息， 然后进入步 骤S302； 步骤S302、 根。

24、据步骤S301的图像检测结果， 判断儿童的预设安全距离内是否出现人 体， 是则进入步骤S303， 否则返回步骤S301继续摄取四周的图像并根据摄取的图像检测儿 童周边是否有其他人体。 步骤S303、 分析所述第二摄像头摄取的脸部图像与预先存储的监 护人的人脸图像是否匹配， 本实施例是通过计算图像关键点的相似度来判断是否匹配， 是 则返回步骤S301继续摄取四周的图像并根据摄取的图像检测儿童周边是否有其他人体， 否 则进入步骤S304。 步骤S304、 所述移动底座向监护人的移动设备发送位置请求信息， 再进入 步骤S305。 步骤S305、 根据所述自主遛娃机器人接收到的响应位置信息， 在构建的。

25、所述自主 遛娃机器人及监护人之间的栅格地图环境中作出标签信息， 再搜索出跟踪监护人且远离障 碍物的路径。 说明书 4/6 页 6 CN 110674762 A 6 0028 在本实施例中， 所述预设安全距离设置为10cm至40cm， 在本实施例中为26cm； 所述 匹配是指将摄取的脸部图像与预先存储的脸部图像像进行比较后， 分析相似度是否达到 90%以上， 安全距离实质上是限定的检测距离， 使得本实施例局限于近距离检测人体， 节省 所述第二摄像头1011及其相关处理模块的运算处理资源， 也能提高检测精度。 0029 具体的， 利用安装在竖直连接杆101的中部的第二摄像头1011， 摄取儿童四周。

26、的图 像并根据摄取的图像判断儿童26厘米范围内是否有其他人体， 若检测到有其他人体后， 将 摄取的脸部图像与预先存储的监护人脸部图像信息进行比较， 分析两者的相似度是否达到 90%以上， 若没有达到90%以上， 所述自主遛娃机器人沿着预先规划的路径继续前进至监护 人所在位置， 并所述移动底座向监护人的移动设备发送位置请求信息， 本实施例在预定的 范围内作出所述自主遛娃机器人上的儿童被抱走的规避方法， 实现监护人实时快速跟踪儿 童安全的功能。 0030 需要说明的是， 若检测儿童的所述预设安全距离内没有出现人体， 停止执行所述 检测人体的方法。 或者， 在分析儿童的所述预设安全距离内出现人体的情。

27、况下， 判断到所述 第二摄像头摄取的脸部图像与预先存储的监护人的人脸图像匹配， 停止执行所述检测人体 的方法。 提高检测方法的全面性。 0031 作为一种实施例， 如图4所示， 检测移动路径周围环境状况的方法流程图， 所述方 法作为前述的步骤S4的一种实施方式， 具体包括以下步骤： 步骤S401、 利用所述第一摄像头摄取所述移动底座的前进方向的环境图像， 然后进入 步骤S402。 0032 步骤S402、 根据所述第一摄像头采集的环境图像编码得到的图像点云数据集， 用 RANSAC平面拟合法拟合出点云块组成的平面， 然后逐行遍历拟合的平面， 计算拟合平面中 第n行的拟合高度与拟合平面中第n-1。

28、行的拟合高度之差， 若高度差值大于预设阈值则判定 所述自主遛娃机器人移动至阶梯边缘， 然后进入步骤S404， 否则进行步骤S403。 0033 步骤S403、 控制所述自主遛娃机器人保持前进， 同时根据采集的图像信息分析所 述儿童安全监控区域内是否存在障碍物向所述自主遛娃机器人靠近， 是则进入步骤S405， 否则返回步骤S401。 由于所述步骤S4中需要利用实时插入的点云数据集进行路径修正， 所 以， 该步骤S406在分析所述儿童安全监控区域的过程中会将不同尺度的场景考虑进来， 减 小了尺度飘移现象， 避免靠近所述自主遛娃机器人运动的障碍物被检测到移动方向不确定 的现象。 之所以将检测范围限制。

29、在所述儿童安全监控区域内， 是因为只有出现在所述自主 遛娃机器人周边的行人或汽车才会对儿童的安全产生影响； 而所述儿童安全监控区域之外 的活动障碍物 （行人或汽车） 则不需要考虑， 避免产生过多的计算量。 值得注意的是， 本实施 例的所述儿童安全监控区域的覆盖范围包括前述实施例的所述儿童安全活动区域。 0034 步骤S404、 控制所述自主遛娃机器人后退， 本实施例下控制所述自主遛娃机器人 后退直到所述第一摄像头实时采集的图像点云数据集不出现梯度变化的， 因为本实施例中 的视觉定位和建图模组构建的稠密地图对应的灰度图在阶梯边缘区域出现明显的梯度。 0035 步骤S405、 控制所述自主遛娃机器。

30、人对障碍物进行避让， 本实施例下是在所述儿 童安全活动区域内向当前前进方向的反方向移动以远离障碍物。 0036 然后向监护人的移动设备发送警报信息。 由于所述自主遛娃机器人沿着跟踪监护 人且远离障碍物的路径移动， 所以本实施例可以通过安装在所述自主遛娃机器人上的扬声 说明书 5/6 页 7 CN 110674762 A 7 器发出一定分贝的警报声， 在躲避行人的同时进行示警， 防止行人在低头玩手机没注意到 而撞翻所述自主遛娃机器人。 前述的监护人理解为前述儿童的直系亲属。 本实施例利用所 述第一摄像头的图像信息规避所述自主遛娃机器人自动前行路径上的障碍物， 从而避免所 述自主遛娃机器人碰撞到固。

31、定及运动障碍物而惊扰儿童， 或干扰行人。 0037 上述实施例只为说明本发明的技术构思及特点， 其目的是让熟悉该技术领域的技 术人员能够了解本发明的内容并据以实施， 并不能以此来限制本发明的保护范围。 凡根据 本发明精神实质所作出的等同变换或修饰， 都应涵盖在本发明的保护范围之内。 说明书 6/6 页 8 CN 110674762 A 8 图1 说明书附图 1/4 页 9 CN 110674762 A 9 图2 说明书附图 2/4 页 10 CN 110674762 A 10 图3 说明书附图 3/4 页 11 CN 110674762 A 11 图4 说明书附图 4/4 页 12 CN 110674762 A 12 。