人体姿态识别方法及装置.pdf

《人体姿态识别方法及装置.pdf》由会员分享，可在线阅读，更多相关《人体姿态识别方法及装置.pdf（12页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010149424.X (22)申请日 2020.03.06 (71)申请人 贵阳朗玛信息技术股份有限公司 地址 550022 贵州省贵阳市贵阳国家高新 技术产业开发区金阳科技产业园长岭 南路31号 （国家数字内容产业园二楼） (72)发明人 胡海周平黎成情 (51)Int.Cl. G06K 9/00(2006.01) G06K 9/34(2006.01) (54)发明名称 人体姿态识别方法及装置 (57)摘要 本发明公开了一种人体姿态识别方法及装 置。 该方法包括： 按照。

2、预先设定的视频流与位置 信息的对应关系， 将多个视频流输出的图像进行 拼接， 其中， 所述位置信息表示单个视频流输出 的图像在拼接后的图像中的位置； 检测拼接后的 图像中人体的各个关键点； 根据所述人体的各个 关键点进行组合， 确定一个或多个人体； 对于每 个人体， 按照所述视频流与位置信息对应关系分 别确定该人体所对应的视频流。 根据上述技术方 案， 可大大降低计算机的计算量， 同时提高并行 度， 提高姿态识别的效率。 权利要求书2页 说明书6页 附图3页 CN 111444779 A 2020.07.24 CN 111444779 A 1.一种人体姿态识别方法， 其特征在于， 包括： 按照。

3、预先设定的视频流与位置信息的对应关系， 将多个视频流输出的图像进行拼接， 其中， 所述位置信息表示单个视频流输出的图像在拼接后的图像中的位置； 检测拼接后的图像中人体的各个关键点； 根据所述人体的各个关键点进行组合， 确定一个或多个人体； 对于每个人体， 按照所述视频流与位置信息对应关系分别确定该人体所对应的视频 流。 2.根据权利要求1所述的方法， 其特征在于， 在按照预设的视频流与位置信息对应关 系， 将多个视频流输出的图像进行拼接之前， 还包括： 将一个图像区域划分成多个子图像区域， 其中， 每个所述子图像区域分别对应一个视 频流； 将所述子图像区域对应的位置信息与视频流的标识信息进行绑。

4、定， 确定所述视频流与 位置信息的对应关系。 3.根据权利要求2所述的方法， 其特征在于， 将一个图像区域划分成多个子图像区域包 括： 将一个图像区域划分为M行和N列的图像矩阵， 所述图像矩阵中的每个子图像区域的宽 度均为P且高度均为Q， 其中， M和N为不同时等于1的自然数， P和Q均大于0。 4.根据权利要求1所述的方法， 其特征在于， 按照预设的视频流与位置信息对应关系， 将多个视频流输出的图像进行拼接包括： 对于每个视频流， 分别对该视频流输出的图像的尺寸进行处理， 其中， 处理后的图像的 宽度小于或者等于该视频流对应的子图像区域的宽度， 处理后的图像的高度小于或者等于 该视频流对应的。

5、子图像区域的高度； 对于每个视频流输出的图像， 分别将该图像填充到该视频流对应的子图像区域中。 5.根据权利要求4所述的方法， 其特征在于， 对于每个视频流， 分别对该视频流输出的 图像的尺寸进行处理包括： 对于每个视频流， 分别对该视频流输出的图像保持该图像的宽高比不变进行压缩， 其 中， 压缩后的图像的宽度和高度满足以下条件之一： 压缩后的图像的宽度等于该视频流对应的子图像区域的宽度， 且压缩后的图像的高度 小于或者等于该视频流对应的子图像区域的高度； 压缩后的图像的高度等于该视频流对应的子图像区域的高度， 且压缩后的图像的宽度 小于或者等于该视频流对应的子图像区域的宽度。 6.根据权利要。

6、求1所述的方法， 其特征在于， 对于每个人体， 按照所述视频流与位置信 息对应关系分别确定该人体所对应的视频流包括： 对于每个人体， 提取该人体中一个或多个元素的坐标； 判断提取出来的一个或多个元素的坐标所属的子图像区域； 根据所述视频流与位置信息的对应关系， 确定所述所属的子图像区域对应的视频流。 7.一种人体姿态识别装置， 其特征在于， 包括： 拼接模块， 用于按照预先设定的视频流与位置信息的对应关系， 将多个视频流输出的 图像进行拼接， 其中， 所述位置信息表示单个视频流输出的图像在拼接后的图像中的位置； 权利要求书 1/2 页 2 CN 111444779 A 2 检测模块， 用于检测。

7、拼接后的图像中人体的各个关键点； 第一确定模块， 用于根据所述人体的各个关键点进行组合， 确定一个或多个人体； 第二确定模块， 用于对于每个人体， 按照所述视频流与位置信息对应关系分别确定该 人体所对应的视频流。 8.根据权利要求7所述的装置， 其特征在于， 还包括： 划分模块， 用于将一个图像区域划分成多个子图像区域， 其中， 每个所述子图像区域分 别对应一个视频流； 绑定模块， 用于将所述子图像区域对应的位置信息与视频流的标识信息进行绑定， 确 定所述视频流与位置信息的对应关系。 9.根据权利要求7所述的装置， 其特征在于， 所述拼接模块包括： 处理单元， 用于对于每个视频流， 分别对该视。

8、频流输出的图像的尺寸进行处理， 其中， 处理后的图像的宽度小于或者等于该视频流对应的子图像区域的宽度， 处理后的图像的高 度小于或者等于该视频流对应的子图像区域的高度； 填充单元， 用于对于每个视频流输出的图像， 分别将该图像填充到该视频流对应的子 图像区域中。 10.根据权利要求7所述的装置， 其特征在于， 所述第二确定模块包括： 提取单元， 用于对于每个人体， 提取该人体中一个或多个元素的坐标； 判断单元， 用于判断提取出来的一个或多个元素的坐标所属的子图像区域； 确定单元， 用于根据所述视频流与位置信息的对应关系， 确定所述所属的子图像区域 对应的视频流。 权利要求书 2/2 页 3 C。

9、N 111444779 A 3 人体姿态识别方法及装置 技术领域 0001 本发明涉及通信领域， 具体而言， 涉及一种人体姿态识别方法及装置。 背景技术 0002 近年来， 随着计算机人工智能技术的发展， 通过强大的人工神经网络模型， 可以从 一幅图像中获得人体的姿态信息。 相关技术中， 可以实现同一图像中多人姿态的识别。 0003 然而， 在某些应用场景中， 往往需要对多个视频流或者多个图像进行人体姿态识 别， 目前的实施方案是对各个视频流或者各个图像中的人体姿态分别进行识别。 0004 人体姿态识别， 通常使用人工神经网络模型， 识别人体的计算过程比较复杂， 会消 耗大量的计算资源， 如果。

10、分别对各个视频流中的图像进行识别， 那么视频流的个数就会和 计算量成正比， 视频流个数的增加会导致计算量快速增大。 发明内容 0005 本发明的主要目的在于公开了一种人体姿态识别方法及装置， 以至少解决相关技 术中对多个视频流或者多个图像进行人体姿态识别时， 如果分别对各个视频流中的图像进 行识别， 那么视频流的个数就会和计算量成正比， 视频流个数的增加会导致计算量快速增 大的问题。 0006 根据本发明的一个方面， 提供了一种人体姿态识别方法。 0007 根据本发明的人体姿态识别方法包括： 按照预先设定的视频流与位置信息的对应 关系， 将多个视频流输出的图像进行拼接， 其中， 上述位置信息表。

11、示单个视频流输出的图像 在拼接后的图像中的位置； 检测拼接后的图像中人体的各个关键点； 根据上述人体的各个 关键点进行组合， 确定一个或多个人体； 对于每个人体， 按照上述视频流与位置信息对应关 系分别确定该人体所对应的视频流。 0008 优选地， 在按照预设的视频流与位置信息对应关系， 将多个视频流输出的图像进 行拼接之前， 还包括： 将一个图像区域划分成多个子图像区域， 其中， 每个上述子图像区域 分别对应一个视频流； 将上述子图像区域对应的位置信息与视频流的标识信息进行绑定， 确定上述视频流与位置信息的对应关系。 0009 优选地， 将一个图像区域划分成多个子图像区域包括： 将一个图像区。

12、域划分为M行 和N列的图像矩阵， 上述图像矩阵中的每个子图像区域的宽度均为P且高度均为Q， 其中， M和 N为不同时等于1的自然数， P和Q均大于0。 0010 优选地， 按照预设的视频流与位置信息对应关系， 将多个视频流输出的图像进行 拼接包括： 对于每个视频流， 分别对该视频流输出的图像的尺寸进行处理， 其中， 处理后的 图像的宽度小于或者等于该视频流对应的子图像区域的宽度， 处理后的图像的高度小于或 者等于该视频流对应的子图像区域的高度； 对于每个视频流输出的图像， 分别将该图像填 充到该视频流对应的子图像区域中。 0011 优选地， 对于每个视频流， 分别对该视频流输出的图像的尺寸进行。

13、处理包括： 对于 说明书 1/6 页 4 CN 111444779 A 4 每个视频流， 分别对该视频流输出的图像保持该图像的宽高比不变进行压缩， 其中， 压缩后 的图像的宽度和高度满足以下条件之一： 压缩后的图像的宽度等于该视频流对应的子图像 区域的宽度， 且压缩后的图像的高度小于或者等于该视频流对应的子图像区域的高度； 压 缩后的图像的高度等于该视频流对应的子图像区域的高度， 且压缩后的图像的宽度小于或 者等于该视频流对应的子图像区域的宽度。 0012 优选地， 对于每个人体， 按照上述视频流与位置信息对应关系分别确定该人体所 对应的视频流包括： 对于每个人体， 提取该人体中一个或多个元素。

14、的坐标； 判断提取出来的 一个或多个元素的坐标所属的子图像区域； 根据上述视频流与位置信息的对应关系， 确定 上述所属的子图像区域对应的视频流。 0013 根据本发明的另一方面， 提供了一种人体姿态识别装置。 0014 根据本发明的人体姿态识别装置包括： 拼接模块， 用于按照预先设定的视频流与 位置信息的对应关系， 将多个视频流输出的图像进行拼接， 其中， 上述位置信息表示单个视 频流输出的图像在拼接后的图像中的位置； 检测模块， 用于检测拼接后的图像中人体的各 个关键点； 第一确定模块， 用于根据上述人体的各个关键点进行组合， 确定一个或多个人 体； 第二确定模块， 用于对于每个人体， 按照。

15、上述视频流与位置信息对应关系分别确定该人 体所对应的视频流。 0015 优选地， 上述装置还包括： 划分模块， 用于将一个图像区域划分成多个子图像区 域， 其中， 每个上述子图像区域分别对应一个视频流； 绑定模块， 用于将上述子图像区域对 应的位置信息与视频流的标识信息进行绑定， 确定上述视频流与位置信息的对应关系。 0016 优选地， 上述拼接模块包括： 处理单元， 用于对于每个视频流， 分别对该视频流输 出的图像的尺寸进行处理， 其中， 处理后的图像的宽度小于或者等于该视频流对应的子图 像区域的宽度， 处理后的图像的高度小于或者等于该视频流对应的子图像区域的高度； 填 充单元， 用于对于每。

16、个视频流输出的图像， 分别将该图像填充到该视频流对应的子图像区 域中。 0017 优选地， 上述第二确定模块包括： 提取单元， 用于对于每个人体， 提取该人体中一 个或多个元素的坐标； 判断单元， 用于判断提取出来的一个或多个元素的坐标所属的子图 像区域； 确定单元， 用于根据上述视频流与位置信息的对应关系， 确定上述所属的子图像区 域对应的视频流。 0018 根据本发明， 按照预先设定的视频流与位置信息的对应关系， 将多个视频流输出 的图像进行拼接， 对拼接后的图像进行人体姿态识别， 可大大降低计算机的计算量， 同时提 高并行度， 提高姿态识别的效率。 附图说明 0019 图1是根据本发明实。

17、施例的人体姿态识别方法的流程图； 0020 图2是根据本发明优选实施例的拼接后的图像的示意图； 0021 图3是根据本发明实施例的人体姿态识别装置的结构框图； 0022 图4是根据本发明优选实施例的人体姿态识别装置的结构框图。 说明书 2/6 页 5 CN 111444779 A 5 具体实施方式 0023 下面结合说明书附图对本发明的具体实现方式做一详细描述。 0024 图1是根据本发明实施例的人体姿态识别方法的流程图。 如图1所示， 该人体姿态 识别方法包括： 0025 步骤S101： 按照预先设定的视频流与位置信息的对应关系， 将多个视频流输出的 图像进行拼接， 其中， 上述位置信息表示。

18、单个视频流输出的图像在拼接后的图像中的位置； 0026 步骤S103： 检测拼接后的图像中人体的各个关键点； 0027 步骤S105： 根据上述人体的各个关键点进行组合， 确定一个或多个人体； 0028 步骤S107： 对于每个人体， 按照上述视频流与位置信息对应关系分别确定该人体 所对应的视频流。 0029 相关技术中， 在需要对多个视频流或者多个图像进行人体姿态识别时， 如果分别 对各个视频流中的图像进行识别， 那么视频流的个数就会和计算量成正比， 视频流个数的 增加会导致计算量快速增大。 采用图1所示的方法， 按照预先设定的视频流与位置信息的对 应关系， 将多个视频流输出的图像进行拼接，。

19、 对拼接后的图像进行人体姿态识别， 可大大降 低计算机的计算量， 同时提高并行度， 提高姿态识别的效率。 0030 优选地， 按照预设的视频流与位置信息对应关系， 将多个视频流输出的图像进行 拼接之前， 还可以包括以下： 将一个图像区域划分成多个子图像区域， 其中， 每个上述子图 像区域分别对应一个视频流； 将上述子图像区域对应的位置信息与视频流的标识信息进行 绑定， 确定上述视频流与位置信息的对应关系。 0031 在优选实施过程中， 可以预先确定整个图像区域的划分区域， 例如， 可以将一个图 像区域划分成3行5列， 尺寸大小相等的子图像区域， 也可以将一个图像区域划分成大小不 等的多块子图像。

20、区域。 其中， 每一块子图像区域将用于填充一个视频流输出的图像。 0032 优选地， 将一个图像区域划分成多个子图像区域可以进一步包括： 将一个图像区 域划分为M行和N列的图像矩阵， 上述图像矩阵中的每个子图像区域的宽度均为P且高度均 为Q， 其中， M和N为不同时等于1的自然数， P和Q均大于0。 例如， 如上上述， 将一个图像区域划 分成3行5列(M为3， N为5)， 尺寸大小相等的子图像区域， 其中， 每个子图像区域的宽度均为 P， 每个子图像区域的高度均为Q， 需要说明的是， 可以设置P与Q相等， 也可以设置P与Q不等， 当P与Q相等时， 子图像区域为正方形的区域， 当P与Q不等时， 。

21、子图像区域为长方形的区域。 0033 优选地， 按照预设的视频流与位置信息对应关系， 将多个视频流输出的图像进行 拼接包括： 对于每个视频流， 分别对该视频流输出的图像的尺寸进行处理， 其中， 处理后的 图像的宽度小于或者等于该视频流对应的子图像区域的宽度， 处理后的图像的高度小于或 者等于该视频流对应的子图像区域的高度； 对于每个视频流输出的图像， 分别将该图像填 充到该视频流对应的子图像区域中。 0034 在优选实施过程中， 对于每个视频流， 分别对该视频流输出的图像的尺寸进行处 理可以进一步包括： 对于每个视频流， 分别对该视频流输出的图像保持该图像的宽高比不 变进行压缩， 其中， 压缩。

22、后的图像的宽度和高度满足以下条件之一： 条件1： 压缩后的图像的 宽度等于该视频流对应的子图像区域的宽度， 且压缩后的图像的高度小于或者等于该视频 流对应的子图像区域的高度； 条件2： 压缩后的图像的高度等于该视频流对应的子图像区域 的高度， 且压缩后的图像的宽度小于或者等于该视频流对应的子图像区域的宽度。 说明书 3/6 页 6 CN 111444779 A 6 0035 优选地， 对于每个人体， 按照上述视频流与位置信息对应关系分别确定该人体所 对应的视频流包括： 对于每个人体， 提取该人体中一个或多个元素的坐标； 判断提取出来的 一个或多个元素的坐标所属的子图像区域； 根据上述视频流与位。

23、置信息的对应关系， 确定 上述所属的子图像区域对应的视频流。 0036 需要说明的是， 上述提取的一个或多个元素， 可以是上文提到的关键点， 也可以是 人体中除关键点以外的其他点， 在优选实施过程中， 通常采用上文中关键点的坐标， 来判断 该坐标所属的子图像区域， 根据上述视频流与位置信息的对应关系， 确定上述所属的子图 像区域对应的视频流。 0037 以下结合图2进一步描述上述优选实施方式。 0038 例如， 预先设定用MN个宽度和高度相等的正方形图像区域相互紧挨着组成一个 的M行N列(图2中M为2， N为3)的图像矩阵， 换句话说， 即将一整个图像区域划分为MN个宽 高相等的子图像区域， 。

24、矩阵中的每个图像的像素都是PP。 0039 将各个视频流输出的图像保持该图像原始的宽高比进行压缩， 使压缩后的宽度和 高度中的一个等于P， 而另一个小于等于P， 然后将压缩后的图像填充到图像矩阵中指定位 置的某个子图像区域中(例如， 视频流1输出的图像预先设定填充到矩阵中左上方的图像 中， 视频流2输出的图像预先设定填充到左上方起右数第二的位置的图像中， 以此类推)。 0040 为了区分， 下面把矩阵图像中的单个图像称为元素图像(即子图像)， 而所有元素 图像组成的图像(即上述整个图像)称为矩阵图像。 举个例子， 设定元素图像(即子图像)的 分辨率为320320， 一个视频流输出的原始图像的宽。

25、度为640像素， 高度为480像素， 由于宽 大于高， 所以在保持原始图像宽高比不变的情况下， 把宽度压缩为320像素， 相应的， 把高度 压缩为240像素， 然后把压缩后的图像填充到分辨率320320的元素图像中(填充的时候可 以让图像居中， 上下均留40个像素的边距)。 0041 之后， 可以使用目前的人体姿态识别技术来检测拼接后的图像中人体的各个关键 点， 然后根据上述人体的各个关键点进行组合， 确定一个或多个人体； 例如， 可以使用 “自底 向上” 的识别技术， 先找到人体的各个关键部位， 然后找到这些关键部位的合理 “组合” ， 从 而识别出一个或多个人体。 主要步骤是将图像中关键点。

26、(例如， 如图2所示， 头顶、 五官、 颈 部、 四肢主要关节等)都检测出来， 然后通过相关策略将所有的关键点聚类成不同的个体。 典型的代表是： 采用人体姿态热力图Heatmaps或回归关键点坐标计算人体姿态的每个关键 点信息； 采用部分亲和字段(Part Affinity Fields， PAF)将计算的关键点之间进行连接； 当识别出多个人时， 采用图论的二分图求解方法得到每个人的人体姿态信息。 0042 最后， 对矩阵图像进行多人姿态识别， 对识别出的各个人体的坐标进行分类， 判断 识别出的人体的坐标在哪个元素图像(子图像区域)的范围内， 那这个人体就是属于哪个视 频流的。 举个例子， 如。

27、图2所示， 设定了一个2行3列的图像矩阵， 每个元素图像(子图像区域) 的分辨率为320320， 假设得到了一个人体的坐标， 其中， 该人体的某个关节的坐标是 (350,240)(350为横坐标， 240为纵坐标)， 简单推算， 横坐标350是大于320且小于640(320的 2倍)， 因此， 此人体关节点坐标位于矩阵图像的第二列， 而纵坐标240大于0且小于320， 因 此， 此人体关节位于矩阵图像的第一行。 综合一下， 可知这个人体关节应该是在第一行二列 的元素图像(子图像区域)范围内， 因而， 该人体也应当位于第一行第二列的元素图像范围 内， 所以这个人体是第一行第二列的元素图像对应的原。

28、始图像中的人体， 按照预先设定的 说明书 4/6 页 7 CN 111444779 A 7 视频流与位置信息的对应关系， 可以确定第一行第二列的子图像区域对应的是哪一个视频 流。 0043 图3是根据本发明实施例的人体姿态识别装置的结构框图。 如图3所示， 该人体姿 态识别装置包括： 拼接模块30， 用于按照预先设定的视频流与位置信息的对应关系， 将多个 视频流输出的图像进行拼接， 其中， 上述位置信息表示单个视频流输出的图像在拼接后的 图像中的位置； 检测模块32， 用于检测拼接后的图像中人体的各个关键点； 第一确定模块 34， 用于根据上述人体的各个关键点进行组合， 确定一个或多个人体； 。

29、第二确定模块36， 用 于对于每个人体， 按照上述视频流与位置信息对应关系分别确定该人体所对应的视频流。 0044 采用图3所示的装置， 拼接模块30按照预先设定的视频流与位置信息的对应关系， 将多个视频流输出的图像进行拼接， 人体姿态识别装置对拼接后的图像进行人体姿态识 别， 可大大降低计算机的计算量， 同时提高并行度， 提高姿态识别的效率。 0045 如图4所示， 该人体姿态识别装置还可以包括： 划分模块38， 用于将一个图像区域 划分成多个子图像区域， 其中， 每个上述子图像区域分别对应一个视频流； 绑定模块40， 与 拼接模块30相连接， 用于将上述子图像区域对应的位置信息与视频流的标。

30、识信息进行绑 定， 确定上述视频流与位置信息的对应关系。 0046 在优选实施过程中， 划分模块38， 可以进一步用于将一个图像区域划分为M行和N 列的图像矩阵， 上述图像矩阵中的每个子图像区域的宽度均为P且高度均为Q， 其中， M和N为 不同时等于1的自然数， P和Q均大于0。 0047 优选地， 如图4所示， 该拼接模块30可以进一步包括： 处理单元300， 用于对于每个 视频流， 分别对该视频流输出的图像的尺寸进行处理， 其中， 处理后的图像的宽度小于或者 等于该视频流对应的子图像区域的宽度， 处理后的图像的高度小于或者等于该视频流对应 的子图像区域的高度； 填充单元302， 用于对于每。

31、个视频流输出的图像， 分别将该图像填充 到该视频流对应的子图像区域中。 0048 在优选实施过程中， 处理单元300， 进一步用于对于每个视频流， 分别对该视频流 输出的图像保持该图像的宽高比不变进行压缩， 其中， 压缩后的图像的宽度和高度满足以 下条件之一： 条件1： 压缩后的图像的宽度等于该视频流对应的子图像区域的宽度， 且压缩 后的图像的高度小于或者等于该视频流对应的子图像区域的高度； 条件2： 压缩后的图像的 高度等于该视频流对应的子图像区域的高度， 且压缩后的图像的宽度小于或者等于该视频 流对应的子图像区域的宽度。 0049 优选地， 如图4所示， 上述第二确定模块36可以进一步包括。

32、： 提取单元360， 用于对 于每个人体， 提取该人体中一个或多个元素的坐标； 判断单元362， 用于判断提取出来的一 个或多个元素的坐标所属的子图像区域； 确定单元364， 用于根据上述视频流与位置信息的 对应关系， 确定上述所属的子图像区域对应的视频流。 0050 需要说明的是， 上述人体姿态识别装置中的各模块各单元相互结合的优选实施方 式， 具体可以参见图1至图2的描述， 此处不再赘述。 0051 综上所述， 借助本发明提供的上述实施方式， 按照预先设定的视频流与位置信息 的对应关系， 将多个视频流输出的图像进行拼接， 对拼接后的图像进行人体姿态识别， 可大 大降低计算机的计算量， 同时提高并行度， 大大提高姿态识别的效率。 0052 以上公开的仅为本发明的几个具体实施例， 但是， 本发明并非局限于此， 任何本领 说明书 5/6 页 8 CN 111444779 A 8 域的技术人员能思之的变化都应落入本发明的保护范围。 说明书 6/6 页 9 CN 111444779 A 9 图1 说明书附图 1/3 页 10 CN 111444779 A 10 图2 图3 说明书附图 2/3 页 11 CN 111444779 A 11 图4 说明书附图 3/3 页 12 CN 111444779 A 12 。