坐姿检测方法、装置、设备及存储介质.pdf

《坐姿检测方法、装置、设备及存储介质.pdf》由会员分享，可在线阅读，更多相关《坐姿检测方法、装置、设备及存储介质.pdf（29页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010715790.7 (22)申请日 2020.07.23 (71)申请人 科大讯飞股份有限公司 地址 230088 安徽省合肥市高新区望江西 路666号 (72)发明人 吴子扬李超龙 (74)专利代理机构 北京集佳知识产权代理有限 公司 11227 代理人 纪志超 (51)Int.Cl. G06K 9/00(2006.01) G06K 9/62(2006.01) (54)发明名称 一种坐姿检测方法、 装置、 设备及存储介质 (57)摘要 本申请提供了一种坐姿检测方法、 。

2、装置、 设 备及存储介质， 其中， 坐姿检测方法包括： 获取目 标对象的图像序列， 根据目标对象的图像序列确 定目标对象的标准三维基元， 根据目标对象的图 像序列和标准三维基元确定目标对象的坐姿检 测特征， 根据目标对象的坐姿检测特征确定目标 对象的坐姿是否规范。 本申请提供的坐姿检测检 测方法可实现坐姿规范与否的检测， 这使得当目 标对象出现不规范坐姿时能够给予提醒， 从而能 够避免或改善因坐姿不规范所带来的一系列问 题。 权利要求书4页 说明书18页 附图6页 CN 111814731 A 2020.10.23 CN 111814731 A 1.一种坐姿检测方法， 其特征在于， 包括： 获。

3、取目标对象的图像序列； 根据所述图像序列， 确定所述目标对象的标准三维基元， 其中， 所述标准三维基元为所 述目标对象的坐姿为标准坐姿时， 所述目标对象的三维人体信息； 根据所述图像序列和所述标准三维基元， 确定所述目标对象的坐姿检测特征， 其中， 所 述坐姿检测特征为能够反映所述目标对象在所述图像序列中相邻两帧图像间坐姿变化情 况的特征； 根据所述坐姿检测特征， 确定所述目标对象的坐姿是否规范。 2.根据权利要求1所述的坐姿检测方法， 其特征在于， 所述根据所述图像序列， 确定所 述目标对象的标准三维基元， 包括： 根据所述图像序列、 预先获得的参考三维基元集合和所述参考三维基元集合中每个参。

4、 考三维基元对应的基元形变向量， 确定所述目标对象的标准参考基元； 其中， 每个参考三维基元对应有人体属性信息， 不同参考三维基元对应的人体属性信 息不同， 所述基元形变向量用于对对应的参考三维基元进行形变。 3.根据权利要求2所述的坐姿检测方法， 其特征在于， 获得所述参考三维基元集合和所 述参考三维基元集合中每个参考三维基元对应的基元形变向量， 包括： 获取预先采集的多个三维人体信息和所述多个三维人体信息分别对应的二维人体图 像； 根据所述多个三维人体信息分别对应的二维人体图像， 确定所述多个三维人体信息分 别对应的人体属性信息； 根据所述多个三维人体信息分别对应的人体属性信息， 对所述多。

5、个三维人体信息进行 分组； 根据每组三维人体信息以及每组三维人体信息中每个三维人体信息对应的二维人体 图像， 确定每组三维人体信息对应的参考三维基元和基元形变向量， 以得到由确定出的参 考三维基元组成的参考三维基元集合， 以及所述参考三维基元集合中每个参考三维基元对 应的基元形变向量， 其中， 一参考三维基元对应的人体属性信息为该参考三维基元对应的 三维人体信息所对应的人体属性信息。 4.根据权利要求2所述的坐姿检测方法， 其特征在于， 所述根据所述图像序列、 预先获 得的参考三维基元集合和所述参考三维基元集合中每个参考三维基元对应的基元形变向 量， 确定所述目标对象的标准参考基元， 包括： 。

6、利用所述图像序列， 对预先确定的、 所述目标对象的粗三维基元进行细化， 得到所述目 标对象的标准三维基元， 其中， 所述粗三维基元根据所述目标对象的一帧图像、 所述参考三 维基元集合和所述参考三维基元集合中每个参考三维基元对应的基元形变向量确定； 或者， 先根据所述图像序列中的一帧图像、 所述参考三维基元集合和所述参考三维基元集合 中每个参考三维基元对应的基元形变向量， 确定所述目标对象的粗三维基元， 再利用所述 图像序列中的其它图像， 对所述目标对象的粗三维基元进行细化， 得到所述目标对象的标 准三维基元。 5.根据权利要求4所述的坐姿检测方法， 其特征在于， 根据一帧图像、 所述参考三维基。

7、 权利要求书 1/4 页 2 CN 111814731 A 2 元集合和所述参考三维基元集合中每个参考三维基元对应的基元形变向量， 确定所述目标 对象的粗三维基元， 包括： 从该帧图像中获取所述目标对象的人体特征点和人体属性信息； 从所述多个参考三维基元中确定， 对应的人体属性信息与所述目标对象的人体属性信 息一致的参考三维基元， 作为目标参考三维基元； 根据所述目标对象的人体特征点和所述目标参考三维基元， 确定形变系数； 根据所述形变系数和所述目标参考三维基元对应的基元形变向量， 确定所述目标对象 的粗三维基元。 6.根据权利要求4所述的坐姿检测方法， 其特征在于， 对所述目标对象的粗三维基。

8、元进 行细化， 得到所述目标对象的标准参考基元， 包括： 根据图像集合中的每帧图像、 所述目标对象的粗三维基元、 所述参考三维基元集合和 所述参考三维基元集合中每个参考三维基元对应的基元形变向量， 确定所述图像集合中每 帧图像对应的细化后三维基元， 其中， 所述图像集合为用于对所述目标对象的粗三维基元 进行细化的图像所组成的集合； 根据所述图像集合中每一帧图像对应的细化后三维基元， 确定所述目标对象的标准参 考基元。 7.根据权利要求6所述的坐姿检测方法， 其特征在于， 所述根据图像集合中的每帧图 像、 所述目标对象的粗三维基元、 所述参考三维基元集合和所述参考三维基元集合中每个 参考三维基元。

9、对应的基元形变向量， 确定所述图像集合中每帧图像对应的细化后三维基 元， 包括： 针对所述图像集合中的每帧图像： 根据该帧图像、 所述参考三维基元集合和所述参考三维基元集合中每个参考三维基元 对应的基元形变向量， 确定该帧图像对应的三维姿态信息； 根据所述目标对象的粗三维基元中每个人体部件的部分信息， 以及该图像帧对应的三 维姿态信息中每个人体部件的部分信息， 确定每个人体部件对应的空间刚性变换矩阵； 利用每个人体部件对应的空间刚性变换矩阵， 对该帧图像对应的三维姿态信息中对应 人体部件的信息进行变换， 得到每个人体部件对应的变换后信息； 由各个人体部件对应的 变换后信息组成该帧图像对应的细化。

10、后三维基元。 8.根据权利要求17中任一项所述的坐姿检测方法， 其特征在于， 所述根据所述图像 序列和所述标准三维基元， 确定所述目标对象的坐姿检测特征， 包括： 根据所述标准三维基元， 获取所述目标对象的三维人体特征点； 根据所述三维人体特征点， 构建三维空间中的三角网格单元， 其中， 三维空间中的一个 三角网格单元由一个三维人体特征点以及与该三维人体特征点距离最近的两个三维人体 特征点构建； 根据所述图像序列、 所述目标对象的标准三维基元以及所述三维空间中的三角网格单 元， 确定所述目标对象的坐姿检测特征。 9.根据权利要求8所述的坐姿检测方法， 其特征在于， 所述根据所述图像序列、 所述。

11、目 标对象的标准三维基元以及所述三维空间中的三角网格单元， 确定所述目标对象的坐姿检 测特征， 包括： 权利要求书 2/4 页 3 CN 111814731 A 3 从所述三维空间中的三角网格单元中确定出受坐姿改变影响的三角网格单元， 作为目 标三角网格单元； 根据所述目标三角网格单元和所述目标对象的标准三维基元， 确定所述目标三角网格 单元对应的肢体体素块， 其中， 一个目标三角网格单元对应一个肢体体素块， 一个肢体体素 块通过所述目标对象的标准三维基元中、 由对应的目标三角网格单元确定的人体部件上的 点云信息表征； 根据所述图像序列、 所述目标三角网格单元以及所述目标三角网格单元对应的肢体。

12、体 素块， 确定所述目标对象的坐姿检测特征。 10.根据权利要求9所述的坐姿检测方法， 其特征在于， 所述根据所述图像序列、 所述目 标三角网格单元以及所述目标三角网格单元对应的肢体体素块， 确定所述目标对象的坐姿 检测特征， 包括： 针对所述图像序列中的每帧图像， 以所述目标三角网格单元为依据， 根据从该帧图像 中确定的人体特征点， 构建二维空间中、 与所述目标三角网格单元对应的的三角网格单元， 作为该帧图像对应的初始骨架面， 其中， 二维空间中的一个三角网格单元作为一个初始骨 架面； 根据所述图像序列中每帧图像对应的初始骨架面， 以及所述目标三角网格单元对应的 肢体体素块， 确定所述目标对。

13、象的坐姿检测特征。 11.根据权利要求10所述的坐姿检测方法， 其特征在于， 所述根据所述图像序列中每帧 图像对应的初始骨架面， 以及所述目标三角网格单元对应的肢体体素块， 确定所述目标对 象的坐姿检测特征， 包括： 对于所述图像序列中每帧图像对应的每个初始骨架面： 以根据该初始骨架面构建的基准坐标系为依据， 旋转该初始骨架面对应的目标三角网 格单元所对应的肢体体素块， 使得旋转后体素块与该初始骨架面适配； 将所述旋转后体素块的二维空间投影， 确定为该帧图像对应的一个目标骨架面； 获取所述目标骨架面的法向量以及所述旋转后体素块的空间位置信息， 作为所述目标 骨架面对应的坐姿检测参数； 由该帧图。

14、像对应的所有目标骨架面分别对应的坐姿检测参数组成该帧图像对应的坐 姿检测参数； 根据所述图像序列中每帧图像对应的坐姿检测参数， 确定所述目标对象的坐姿检测特 征。 12.根据权利要求11所述的坐姿检测方法， 其特征在于， 所述根据所述图像序列中每帧 图像对应的坐姿检测参数， 确定所述目标对象的坐姿检测特征， 包括： 根据图像序列中相邻图像分别对应的坐姿检测参数， 确定相邻图像间目标骨架面的法 向量变化， 以及肢体体素块的运动矢量， 作为所述目标对象的坐姿检测特征。 13.一种坐姿检测装置， 其特征在于， 包括： 图像获取模块、 标准三维基元确定模块、 坐 姿检测特征确定模块和坐姿检测模块； 所。

15、述图像获取模块， 用于获取目标对象的图像序列； 所述标准三维基元确定模块， 用于根据所述图像序列， 确定所述目标对象的标准三维 基元， 其中， 所述标准三维基元为所述目标对象的坐姿为标准坐姿时， 所述目标对象的三维 权利要求书 3/4 页 4 CN 111814731 A 4 人体信息； 所述坐姿检测特征确定模块， 用于根据所述图像序列和所述标准三维基元， 确定所述 目标对象的坐姿检测特征， 其中， 所述坐姿检测特征为能够反映所述目标对象在所述图像 序列中相邻两帧图像间坐姿变化情况的特征； 所述坐姿检测模块， 用于根据所述坐姿检测特征， 确定所述目标对象的坐姿是否规范。 14.一种坐姿检测设备。

16、， 其特征在于， 包括： 存储器和处理器； 所述存储器， 用于存储程序； 所述处理器， 用于执行所述程序， 实现如权利要求112中任一项所述的坐姿检测方法 的各个步骤。 15.一种可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序被处理 器执行时， 实现如权利要求112中任一项所述的坐姿检测方法的各个步骤。 权利要求书 4/4 页 5 CN 111814731 A 5 一种坐姿检测方法、 装置、 设备及存储介质 技术领域 0001 本申请涉及人工智能技术领域， 尤其涉及一种坐姿检测方法、 装置、 设备及存储介 质。 背景技术 0002 随着人工智能相关技术的日趋成熟， 以及社。

17、会生活水平的不断提高， 人们越来越 多地习惯于使用智能设备完成日常生活中的各种需求， 而为了满足人们的各种需求， 智能 设备被赋予越来越多的功能。 0003 目前， 随着孩子的学习负担逐步加重， 而家长忙于工作， 陪同孩子完成家庭作业的 时间越来越少， 对孩子的监督看护略有不足， 随之带来的是， 孩子坐姿长期不规范， 而孩子 坐姿长期不规范会带来近视率提升、 近视低龄化、 骨骼发育不良等问题。 目前， 类似学习机、 智能陪护机器人等智能设备已成为学生课后学习必不可少的工具， 若这些智能设备能够在 孩子坐姿不规范的时候给予提醒， 能在一定程度上改善因孩子坐姿不规范所带来的问题。 0004 可以理。

18、解的是， 若使智能设备在使用者坐姿不规范的时候给予提醒， 就要求智能 设备能够检测出使用者的坐姿是否规范， 而如何检测出使用者的坐姿是否规范是目前亟需 解决的问题。 发明内容 0005 有鉴于此， 本申请提供了一种坐姿检测方法、 装置、 设备及存储介质， 用以检测目 标对象的坐姿是否规范， 其技术方案如下： 0006 一种坐姿检测方法， 其特征在于， 包括： 0007 获取目标对象的图像序列； 0008 根据所述图像序列， 确定所述目标对象的标准三维基元， 其中， 所述标准三维基元 为所述目标对象的坐姿为标准坐姿时， 所述目标对象的三维人体信息； 0009 根据所述图像序列和所述标准三维基元，。

19、 确定所述目标对象的坐姿检测特征， 其 中， 所述坐姿检测特征为能够反映所述目标对象在所述图像序列中相邻两帧图像间坐姿变 化情况的特征； 0010 根据所述坐姿检测特征， 确定所述目标对象的坐姿是否规范。 0011 可选的， 根据所述图像序列， 确定所述目标对象的标准三维基元， 包括： 0012 根据所述图像序列、 预先获得的参考三维基元集合和所述参考三维基元集合中每 个参考三维基元对应的基元形变向量， 确定所述目标对象的标准参考基元； 0013 其中， 每个参考三维基元对应有人体属性信息， 不同参考三维基元对应的人体属 性信息不同， 所述基元形变向量用于对对应的参考三维基元进行形变。 001。

20、4 可选的， 获得所述参考三维基元集合和所述参考三维基元集合中每个参考三维基 元对应的基元形变向量， 包括： 0015 获取预先采集的多个三维人体信息和所述多个三维人体信息分别对应的二维人 说明书 1/18 页 6 CN 111814731 A 6 体图像； 0016 根据所述多个三维人体信息分别对应的二维人体图像， 确定所述多个三维人体信 息分别对应的人体属性信息； 0017 根据所述多个三维人体信息分别对应的人体属性信息， 对所述多个三维人体信息 进行分组； 0018 根据每组三维人体信息以及每组三维人体信息中每个三维人体信息对应的二维 人体图像， 确定每组三维人体信息对应的参考三维基元和。

21、基元形变向量， 以得到由确定出 的参考三维基元组成的参考三维基元集合， 以及所述参考三维基元集合中每个参考三维基 元对应的基元形变向量， 其中， 一参考三维基元对应的人体属性信息为该参考三维基元对 应的三维人体信息所对应的人体属性信息。 0019 可选的， 所述根据所述图像序列、 预先获得的参考三维基元集合和所述参考三维 基元集合中每个参考三维基元对应的基元形变向量， 确定所述目标对象的标准参考基元， 包括： 0020 利用所述图像序列， 对预先确定的、 所述目标对象的粗三维基元进行细化， 得到所 述目标对象的标准三维基元， 其中， 所述粗三维基元根据所述目标对象的一帧图像、 所述参 考三维基。

22、元集合和所述参考三维基元集合中每个参考三维基元对应的基元形变向量确定； 0021 或者， 0022 先根据所述图像序列中的一帧图像、 所述参考三维基元集合和所述参考三维基元 集合中每个参考三维基元对应的基元形变向量， 确定所述目标对象的粗三维基元， 再利用 所述图像序列中的其它图像， 对所述目标对象的粗三维基元进行细化， 得到所述目标对象 的标准三维基元。 0023 可选的， 根据一帧图像、 所述参考三维基元集合和所述参考三维基元集合中每个 参考三维基元对应的基元形变向量， 确定所述目标对象的粗三维基元， 包括： 0024 从该帧图像中获取所述目标对象的人体特征点和人体属性信息； 0025 从。

23、所述多个参考三维基元中确定， 对应的人体属性信息与所述目标对象的人体属 性信息一致的参考三维基元， 作为目标参考三维基元； 0026 根据所述目标对象的人体特征点和所述目标参考三维基元， 确定形变系数； 0027 根据所述形变系数和所述目标参考三维基元对应的基元形变向量， 确定所述目标 对象的粗三维基元。 0028 可选的， 对所述目标对象的粗三维基元进行细化， 得到所述目标对象的标准参考 基元， 包括： 0029 根据图像集合中的每帧图像、 所述目标对象的粗三维基元、 所述参考三维基元集 合和所述参考三维基元集合中每个参考三维基元对应的基元形变向量， 确定所述图像集合 中每帧图像对应的细化后。

24、三维基元， 其中， 所述图像集合为用于对所述目标对象的粗三维 基元进行细化的图像所组成的集合； 0030 根据所述图像集合中每一帧图像对应的细化后三维基元， 确定所述目标对象的标 准参考基元。 0031 可选的， 根据图像集合中的每帧图像、 所述目标对象的粗三维基元、 所述参考三维 基元集合和所述参考三维基元集合中每个参考三维基元对应的基元形变向量， 确定所述图 说明书 2/18 页 7 CN 111814731 A 7 像集合中每帧图像对应的细化后三维基元， 包括： 0032 针对所述图像集合中的每帧图像： 0033 根据该帧图像、 所述参考三维基元集合和所述参考三维基元集合中每个参考三维 。

25、基元对应的基元形变向量， 确定该帧图像对应的三维姿态信息； 0034 根据所述目标对象的粗三维基元中每个人体部件的部分信息， 以及该图像帧对应 的三维姿态信息中每个人体部件的部分信息， 确定每个人体部件对应的空间刚性变换矩 阵； 0035 利用每个人体部件对应的空间刚性变换矩阵， 对该帧图像对应的三维姿态信息中 对应人体部件的信息进行变换， 得到每个人体部件对应的变换后信息； 由各个人体部件对 应的变换后信息组成该帧图像对应的细化后三维基元。 0036 可选的， 所述根据所述图像序列和所述标准三维基元， 确定所述目标对象的坐姿 检测特征， 包括： 0037 根据所述标准三维基元， 获取所述目标。

26、对象的三维人体特征点； 0038 根据所述三维人体特征点， 构建三维空间中的三角网格单元， 其中， 三维空间中的 一个三角网格单元由一个三维人体特征点以及与该三维人体特征点距离最近的两个三维 人体特征点构建； 0039 根据所述图像序列、 所述目标对象的标准三维基元以及所述三维空间中的三角网 格单元， 确定所述目标对象的坐姿检测特征。 0040 可选的， 所述根据所述图像序列、 所述目标对象的标准三维基元以及所述三维空 间中的三角网格单元， 确定所述目标对象的坐姿检测特征， 包括： 0041 从所述三维空间中的三角网格单元中确定出受坐姿改变影响的三角网格单元， 作 为目标三角网格单元； 004。

27、2 根据所述目标三角网格单元和所述目标对象的标准三维基元， 确定所述目标三角 网格单元对应的肢体体素块， 其中， 一个目标三角网格单元对应一个肢体体素块， 一个肢体 体素块通过所述目标对象的标准三维基元中、 由对应的目标三角网格单元确定的人体部件 上的点云信息表征； 0043 根据所述图像序列、 所述目标三角网格单元以及所述目标三角网格单元对应的肢 体体素块， 确定所述目标对象的坐姿检测特征。 0044 可选的， 所述根据所述图像序列、 所述目标三角网格单元以及所述目标三角网格 单元对应的肢体体素块， 确定所述目标对象的坐姿检测特征， 包括： 0045 针对所述图像序列中的每帧图像， 以所述目。

28、标三角网格单元为依据， 根据从该帧 图像中确定的人体特征点， 构建二维空间中、 与所述目标三角网格单元对应的的三角网格 单元， 作为该帧图像对应的初始骨架面， 其中， 二维空间中的一个三角网格单元作为一个初 始骨架面； 0046 根据所述图像序列中每帧图像对应的初始骨架面， 以及所述目标三角网格单元对 应的肢体体素块， 确定所述目标对象的坐姿检测特征。 0047 可选的， 所述根据所述图像序列中每帧图像对应的初始骨架面， 以及所述目标三 角网格单元对应的肢体体素块， 确定所述目标对象的坐姿检测特征， 包括： 0048 对于所述图像序列中每帧图像对应的每个初始骨架面： 说明书 3/18 页 8 。

29、CN 111814731 A 8 0049 以根据该初始骨架面构建的基准坐标系为依据， 旋转该初始骨架面对应的目标三 角网格单元所对应的肢体体素块， 使得旋转后体素块与该初始骨架面适配； 0050 将所述旋转后体素块的二维空间投影， 确定为该帧图像对应的一个目标骨架面； 0051 获取所述目标骨架面的法向量以及所述旋转后体素块的空间位置信息， 作为所述 目标骨架面对应的坐姿检测参数； 0052 由该帧图像对应的所有目标骨架面分别对应的坐姿检测参数组成该帧图像对应 的坐姿检测参数； 0053 根据所述图像序列中每帧图像对应的坐姿检测参数， 确定所述目标对象的坐姿检 测特征。 0054 可选的， 。

30、所述根据所述图像序列中每帧图像对应的坐姿检测参数， 确定所述目标 对象的坐姿检测特征， 包括： 0055 根据图像序列中相邻图像分别对应的坐姿检测参数， 确定相邻图像间目标骨架面 的法向量变化， 以及肢体体素块的运动矢量， 作为所述目标对象的坐姿检测特征。 0056 一种坐姿检测装置， 包括： 图像获取模块、 标准三维基元确定模块、 坐姿检测特征 确定模块和坐姿检测模块； 0057 所述图像获取模块， 用于获取目标对象的图像序列； 0058 所述标准三维基元确定模块， 用于根据所述图像序列， 确定所述目标对象的标准 三维基元， 其中， 所述标准三维基元为所述目标对象的坐姿为标准坐姿时， 所述目。

31、标对象的 三维人体信息； 0059 所述坐姿检测特征确定模块， 用于根据所述图像序列和所述标准三维基元， 确定 所述目标对象的坐姿检测特征， 其中， 所述坐姿检测特征为能够反映所述目标对象在所述 图像序列中相邻两帧图像间坐姿变化情况的特征； 0060 所述坐姿检测模块， 用于根据所述坐姿检测特征， 确定所述目标对象的坐姿是否 规范。 0061 一种坐姿检测设备， 包括： 存储器和处理器； 0062 所述存储器， 用于存储程序； 0063 所述处理器， 用于执行所述程序， 实现上述任一项所述的坐姿检测方法的各个步 骤。 0064 一种可读存储介质， 其上存储有计算机程序， 所述计算机程序被处理器。

32、执行时， 实 现上述任一项所述的坐姿检测方法的各个步骤。 0065 经由上述方案可知， 本申请提供的坐姿检测方法、 装置、 设备及存储介质， 首先获 取目标对象的图像序列， 然后根据目标对象的图像序列确定目标对象的标准三维基元， 接 着根据目标对象的图像序列和标准三维基元确定目标对象的坐姿检测特征， 最后根据目标 对象的坐姿检测特征确定目标对象的坐姿是否规范。 由此可见， 本申请提供的坐姿检测检 测方法可根据目标对象的图像序列和目标对象的标准三维基元， 确定能够反映目标对象在 图像序列中相邻两帧图像间坐姿变化情况的坐姿检测特征， 进而根据坐姿检测特征确定目 标对象的坐姿是否规范， 即本申请可实。

33、现坐姿规范与否的检测， 这使得当目标对象出现不 规范坐姿时能够给予提醒， 从而能够避免或改善因坐姿不规范所带来的一系列问题。 说明书 4/18 页 9 CN 111814731 A 9 附图说明 0066 为了更清楚地说明本发明实施例或现有技术中的技术方案， 下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍， 显而易见地， 下面描述中的附图仅仅是本 发明的实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下， 还可以根据 提供的附图获得其他的附图。 0067 图1为本申请实施例提供的坐姿检测方法的流程示意图； 0068 图2为本申请实施例提供的获得参考三维基元集合和参。

34、考三维基元集合中每个参 考三维基元对应的基元形变向量的流程示意图； 0069 图3为本申请实施例提供的人体属性树的一示例的示意图； 0070 图4为本申请实施例提供的根据一帧图像、 参考三维基元集合和参考三维基元集 合中每个参考三维基元对应的基元形变向量， 确定目标对象的粗三维基元的流程示意图； 0071 图5为本申请实施例提供的利用图像集合对目标对象的粗三维基元进行细化的流 程示意图； 0072 图6为本申请实施例提供的根据目标对象的图像序列和标准三维基元， 确定目标 对象的坐姿检测特征的流程示意图； 0073 图7本申请实施例提供的根据图像序列、 目标对象的标准三维基元以及三维空间 中的三。

35、角网格单元， 确定目标对象的坐姿检测特征的流程示意图； 0074 图8为本申请实施例提供的根据图像序列、 目标三角网格单元以及目标三角网格 单元对应的肢体体素块， 确定目标对象的坐姿检测特征的流程示意图； 0075 图9为本申请实施例提供的根据图像序列中每帧图像对应的初始骨架面， 以及目 标三角网格单元对应的肢体体素块， 确定目标对象的坐姿检测特征的流程示意图； 0076 图10为本申请实施例提供的坐姿检测装置的结构示意图； 0077 图11为本申请实施例提供的坐姿检测设备的结构示意图。 具体实施方式 0078 下面将结合本发明实施例中的附图， 对本发明实施例中的技术方案进行清楚、 完 整地描。

36、述， 显然， 所描述的实施例仅仅是本发明一部分实施例， 而不是全部的实施例。 基于 本发明中的实施例， 本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他 实施例， 都属于本发明保护的范围。 0079 本案发明人在实现本案的过程中发现， 现有技术中存在一些坐姿检测方法， 已有 的坐姿检测方法进行坐姿检测的大致思路为， 通过摄像头获取目标对象的图像， 并利用人 脸关键点定位、 人体姿态估计等方法对获取到的图像提取人脸关键点、 人体骨骼关键点等 坐标信息， 然后直接利用分类器进行分类， 从而判断目标对象的坐姿规范与否。 0080 本案发明人通过研究发现， 已有方案根据人体骨骼关键点的坐标。

37、信息进行检测， 检测精度不足以满足需求， 主要原因如下： 首先， 人体骨骼关键点在图像平面上的坐标为三 维空间投影到二维平面得到， 在投影过程中已经损失了深度信息， 存在较多的歧义性， 该歧 义性会导致后续坐姿检测的效果受到影响； 其次， 由于缺乏距离信息， 目标对象的体型(如 胖瘦)对坐姿规范与否的判断也会存在干扰； 最后， 针对坐姿不规范的判断只能依照骨架点 位置， 而骨架点位置对运动的描述能力不足， 特别是对异常运动的描述能力不足。 说明书 5/18 页 10 CN 111814731 A 10 0081 鉴于现有的坐姿检测方法检测精度不足而无法满足应该需求， 本案发明进行了深 入研究，。

38、 最终提出了一种能够准确检测出目标对象的坐姿是否规范的坐姿检测方法， 该坐 姿检测方法适用于任何需要进行坐姿检测的应用场景， 该坐姿检测方法可应用于智能设 备， 比如学习机、 智能陪护机器人等， 智能设备可基于视觉传感器获取目标对象的图像序 列， 根据目标对象的图像序列确定目标对象的坐姿是否规范， 进一步地， 在目标对象的坐姿 不规范时， 可输出提示信息对目标对象进行提醒， 该坐姿检测方法还可应用于可与智能设 备进行通信的服务器， 服务器获取智能设备获取的目标对象的图像序列， 根据目标对象的 图像序列确定目标对象的坐姿是否规范， 若目标对象的坐姿不规范， 则向智能设备发送提 示信息， 以使智能。

39、设备输出提示信息对目标对象进行提醒。 接下来通过下述实施例对本申 请提供的坐姿检测方法进行介绍。 0082 第一实施例 0083 请参阅图1， 示出了本申请实施例提供的坐姿检测方法的流程示意图， 可以包括： 0084 步骤S101： 获取目标对象的图像序列。 0085 其中， 目标对象的图像序列为采用视觉传感器针对目标对象采集的多帧图像， 优 选的， 目标对象的图像序列中目标对象的肢体或面部有不同幅度的运动或旋转。 0086 本实施例中， 目标对象的图像序列中的各帧图像按采集时间先后顺序排列， 比如， 目标对象的图像序列包括N帧图像， 其中， 第1帧图像的采集时间早于第2帧图像的采集时 间， 。

40、第2帧图像的采集时间早于第3帧图像的采集时间， 第N-1帧图像的采集时间早于第N 帧图像的采集时间。 0087 步骤S102： 根据目标对象的图像序列， 确定目标对象的标准三维基元。 0088 其中， 目标对象的标准三维基元为目标对象的坐姿为标准坐姿时， 目标对象的三 维人体信息。 0089 需要说明的是， 本步骤实质是根据目标对象的图像序列重构出目标对象的三维人 体信息。 0090 步骤S103： 根据目标对象的图像序列和标准三维基元， 确定目标对象的坐姿检测 特征。 0091 其中， 目标对象的坐姿检测特征为能够反映目标对象在图像序列中相邻两帧图像 间坐姿变化情况的特征。 0092 示例性。

41、的， 目标对象的图像序列包括N帧图像， 则目标对象的坐姿检测特征能够反 映目标对象在第1帧图像与第2帧图像间的坐姿变化情况、 目标对象在第2帧图像与第3帧图 像间的坐姿变化情况、 、 目标对象在第N-1帧图像与第N帧图像间的坐姿变化情况。 0093 步骤S104： 根据目标对象的坐姿检测特征， 确定目标对象的坐姿是否规范。 0094 可选的， 可利用目标对象的坐姿检测特征， 以及预先建立的坐姿分类器， 确定目标 对象的坐姿是否规范。 具体的， 可将目标对象的坐姿检测特征输入预先建立的坐姿分类器， 以得到坐姿分类器输出的坐姿分类结果， 其中， 坐姿分类结果为规范坐姿和非规范坐姿中 的一种。 00。

42、95 其中， 坐姿分类器采用大量标注有坐姿类别的坐姿检测特征训练得到， 其中， 坐姿 类别即包括上述的规范坐姿和非规范坐姿。 0096 本申请实施例提供的坐姿检测检测方法， 可根据目标对象的图像序列构建出目标 说明书 6/18 页 11 CN 111814731 A 11 对象的标准三维基元， 进而可根据目标对象的图像序列和目标对象的标准三维基元确定能 够反映目标对象在图像序列中相邻两帧图像间坐姿变化情况的坐姿检测特征， 从而可根据 坐姿检测特征确定目标对象的坐姿是否规范， 即本申请实施例可实现坐姿规范与否的检 测， 这使得当目标对象出现不规范坐姿时能够给予提醒， 从而能够避免或改善因坐姿不规。

43、 范所带来的一系列问题。 0097 第二实施例 0098 本实施例对上述实施例中的 “步骤S102： 根据目标对象的图像序列， 确定目标对象 的标准三维基元” 进行介绍。 0099 根据目标对象的图像序列， 确定目标对象的标准三维基元的过程可以包括： 根据 目标对象的图像序列， 以及预先获得的参考三维基元集合和参考三维基元集合中每个参考 三维基元对应的基元形变向量， 确定目标对象的标准参考基元。 0100 其中， 一个参考三维基元对应的基元形变向量用于对该参考三维基元进行形变， 基于形变向量可以将对应的参考三维基元变形为任意姿态、 表情的人体。 0101 其中， 参考三维基元集合中的每个参考三。

44、维基元对应有人体属性信息， 不同参考 三维基元对应的人体属性信息不同。 0102 由于确定目标对象的标准参考基元时， 会利用预先获得的参考三维基元集合和参 考三维基元集合中每个参考三维基元对应的基元形变向量， 接下来对获得参考三维基元集 合和参考三维基元集合中每个参考三维基元对应的基元形变向量的过程进行介绍。 0103 请参阅图2， 示出了获得参考三维基元集合和参考三维基元集合中每个参考三维 基元对应的基元形变向量的流程示意图， 可以包括： 0104 步骤S201： 获取预先采集的多个三维人体信息和多个三维人体信息分别对应的二 维人体图像。 0105 其中， 三维人体信息应同时包含面部三维信息。

45、与肢体三维信息， 三维人体信息的 采集环境最好包含不同场景、 不同距离、 人脸不同表情和人体不同姿态。 采集后， 需要对采 集得到的三维人体信息进行规整处理， 保证所有三维人体点云能够形成稠密对应， 即给定 某个空间点(比如眼角点)的编号， 其在任意三维人体信息中的位置是确定的。 0106 步骤S202： 根据多个三维人体信息分别对应的二维人体图像， 确定多个三维人体 信息分别对应的人体属性信息。 0107 具体的， 根据一三维人体信息对应的二维人体图像， 确定该三维人体信息对应的 人体属性信息的过程可以包括： 从该三维人体信息对应的二维人体图像中提取预先设定好 的人体属性集合中各人体属性分别。

46、对应的属性值， 将人体属性集合中各人体属性分别对应 的属性值确定为该三维人体信息对应的人体属性信息。 可选的， 可利用预先建立的人体属 性提取模型对二维人体图像进行人体属性信息的提取， 其中， 人体属性提取模型采用标注 有人体属性信息的二维人体图像训练得到。 0108 示例性的， 可预先设定人体属性集合中包括年龄、 性别、 表情、 种族这四种属性， 其 中， 年龄这一属性的属性值可以包括 “幼儿” 、“少年” 、“青年” 、“中年” 、“老年” ， 性别这一属 性的属性值可以包括 “男” 、“女” ， 表情这一属性的属性值可以包括 “中性表情” 、“弱表情” 、 “夸张表情” ， 种族这一属性。

47、的属性值可以包括 “黑人” 、“白人” 、“亚裔” ， 假设一三维人体信 息对应的二维人体图像中的对象为有着夸张表情的亚裔男青年， 则以预先设定好的人体属 说明书 7/18 页 12 CN 111814731 A 12 性集合为依据， 从该三维人体信息对应的二维人体图像中提取出的属性值为青年， 男， 夸 张表情， 亚裔， 则青年， 男， 夸张表情， 亚裔即为该三维人体信息对应的人体属性信息。 0109 需要说明的是， 上述提及的 “人体属性集合” 中的人体属性可根据实际情况设定， 上述内容提及的 “人体属性集合中包括年龄、 性别、 表情、 种族这四种属性” 仅为示例， 本实 施例并不限定于此。。

48、 0110 步骤S203： 根据多个三维人体信息分别对应的人体属性信息， 对多个三维人体信 息进行分组。 0111 具体的， 可首先根据预先设定好的人体属性集合中的各种人体属性以及人体属性 集合中各种人体属性所包括的属性值构建人体属性树， 然后根据人体属性树和多个三维人 体信息分别对应的人体属性信息， 对多个三维人体信息进行分组。 0112 请参阅图3， 示出了人体属性树的一示例， 图3示出的人体属性树根据年龄、 性别、 表情、 种族这四种属性， 以及这四种属性分别包括的属性值构建， 在根据图3示出的人体属 性树对多个三维人体信息进行分组时， 会将人体属性信息为男， 黑人， 青年， 中性表情的。

49、 三维人体信息划分为一组， 将人体属性信息为男， 黑人， 青年， 弱表情的三维人体信息划 分为一组， 将人体属性信息为女， 白人， 少年， 中性表情的三维人体信息划分为一组， 其它 以此类推， 如此会得到多组三维人体信息。 0113 步骤S204： 根据每组三维人体信息以及每组三维人体信息中每个三维人体信息对 应的二维人体图像， 确定每组三维人体信息对应的参考三维基元和基元形变向量， 以得到 由确定出的参考三维基元组成的参考三维基元集合， 以及参考三维基元集合中每个参考三 维基元对应的基元形变向量。 0114 具体的， 对于每组三维人体信息， 根据该组三维人体信息确定该组三维人体信息 对应的参。

50、考三维基元； 根据该组三维人体信息和该组三维人体信息中每个三维人体信息对 应的二维人体图像， 确定该组三维人体信息对应的基元形变向量； 以得到每组三维人体信 息对应的参考三维基元和基元形变向量。 0115 可选的， 根据该组三维人体信息确定该组三维人体信息对应的参考三维基元的过 程可以包括： 将该组三维人体信息求均值， 求得到的均值作为该组三维人体信息对应的参 考三维基元。 0116 需要说明的是， 本申请将一组三维人体信息对应的基元形变向量， 作为该组三维 人体信息对应的参考三维基元所对应的基元形变向量， 将一组三维人体信息对应的人体属 性信息作为该组三维人体信息对应的参考三维基元所对应的人。