姿势识别方法和装置、电子设备及存储介质.pdf

《姿势识别方法和装置、电子设备及存储介质.pdf》由会员分享，可在线阅读，更多相关《姿势识别方法和装置、电子设备及存储介质.pdf（18页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201911253484.X (22)申请日 2019.12.09 (71)申请人 北京明略软件系统有限公司 地址 100000 北京市海淀区东北旺西路8号 院4号楼310号 申请人 清华大学 (72)发明人 谭志鹏谭北平 (74)专利代理机构 北京超成律师事务所 11646 代理人 许书音 (51)Int.Cl. G06K 9/00(2006.01) (54)发明名称 姿势识别方法和装置、 电子设备及存储介质 (57)摘要 本申请提供的姿势识别方法和装置、 电子设 备及存储介质。

2、， 涉及图像处理技术领域。 在本申 请中， 首先， 对获取的目标视频流中的每一帧目 标图像进行二值化处理， 得到至少一帧二值化图 像。 其次， 基于预设的轮廓处理算法对每一帧二 值化图像进行处理， 得到至少一帧更新后的二值 化图像。 然后， 基于预设的参考视频流对更新后 的二值化图像进行姿势匹配处理， 并在得到的匹 配结果不满足预设条件时， 基于该二值化图像再 次执行基于预设的轮廓处理算法对每一帧二值 化图像进行处理的步骤。 最后， 在匹配结果满足 预设条件时， 基于该匹配结果得到目标视频流中 姿势信息的识别结果。 通过上述方法， 可以改善 现有的姿势识别技术存在识别结果的准确度较 低的问题。。

3、 权利要求书2页 说明书11页 附图4页 CN 111079613 A 2020.04.28 CN 111079613 A 1.一种姿势识别方法， 其特征在于， 包括： 对获取的目标视频流中的每一帧目标图像进行二值化处理， 得到至少一帧二值化图 像， 其中， 该目标视频流包括至少一帧目标图像； 基于预设的轮廓处理算法对每一帧二值化图像进行处理， 得到至少一帧更新后的二值 化图像； 基于预设的参考视频流对所述更新后的二值化图像进行姿势匹配处理， 并在得到的匹 配结果不满足预设条件时， 基于该二值化图像再次执行所述基于预设的轮廓处理算法对每 一帧二值化图像进行处理的步骤； 在所述匹配结果满足所述预。

4、设条件时， 基于该匹配结果得到所述目标视频流中姿势信 息的识别结果。 2.根据权利要求1所述的姿势识别方法， 其特征在于， 所述基于预设的轮廓处理算法对 每一帧二值化图像进行处理的步骤， 包括： 对每一帧二值化图像分别进行图像形态学操作； 对图像形态学操作之后的每一帧二值化图像分别进行高斯滤波处理。 3.根据权利要求1所述的姿势识别方法， 其特征在于， 执行所述基于预设的轮廓处理算 法对每一帧二值化图像进行处理的步骤的次数小于预设值， 且该预设值大于2。 4.根据权利要求1-3任意一项所述的姿势识别方法， 其特征在于， 所述对获取的目标视 频流中的每一帧目标图像进行二值化处理的步骤， 包括： 。

5、针对获取的目标视频流中的每一帧目标图像， 对该帧目标图像进行灰度化处理， 并基 于肤色分割算法对得到的每一帧灰度图像进行分割处理； 基于大津算法确定分割处理后的每一帧灰度图像的预设阈值， 并基于该预设阈值对分 割处理后的每一帧灰度图像进行二值化处理。 5.根据权利要求1-3任意一项所述的姿势识别方法， 其特征在于， 所述基于预设的参考 视频流对所述更新后的二值化图像进行姿势匹配处理的步骤， 包括： 通过预设的时间规整化算法对预设的参考视频流和所述更新后的二值化图像进行规 整化处理； 基于规整化处理的结果将更新后的每一帧二值化图像与所述参考视频流中对应的一 帧参考图像进行姿势匹配处理， 其中， 。

6、所述参考视频流包括至少一帧参考图像。 6.根据权利要求1-3任意一项所述的姿势识别方法， 其特征在于， 所述参考视频流为多 个， 所述匹配结果为多个， 所述基于该匹配结果得到所述目标视频流中姿势信息的识别结 果的步骤， 包括： 基于多个所述匹配结果的大小关系在多个所述参考视频流中确定至少两个参考视频 流； 基于所述更新后的二值化图像的第一轨迹信息和所述至少两个参考视频流的第二轨 迹信息， 在该至少两个参考视频流中确定目标参考视频流。 7.根据权利要求6所述的姿势识别方法， 其特征在于， 所述基于所述更新后的二值化图 像的第一轨迹信息和所述至少两个参考视频流的第二轨迹信息， 在该至少两个参考视频。

7、流 中确定目标参考视频流的步骤， 包括： 获取所述更新后的二值化图像中每一帧二值化图像的质心位置信息， 并基于该质心位 权利要求书 1/2 页 2 CN 111079613 A 2 置信息确定该更新后的二值化图像的第一轨迹信息； 将所述第一轨迹信息与所述至少两个参考视频流的第二轨迹信息分别进行比较处理， 并基于比较处理的结果在所述至少两个参考视频流中确定目标参考视频流。 8.一种姿势识别装置， 其特征在于， 包括： 图像获得模块， 用于对获取的目标视频流中的每一帧目标图像进行二值化处理， 得到 至少一帧二值化图像， 其中， 该目标视频流包括至少一帧目标图像； 图像更新模块， 用于基于预设的轮廓。

8、处理算法对每一帧二值化图像进行处理， 得到至 少一帧更新后的二值化图像； 图像匹配模块， 用于基于预设的参考视频流对所述更新后的二值化图像进行姿势匹配 处理， 并在得到的匹配结果不满足预设条件时， 基于所述图像更新模块对所述更新后的二 值化图像再次进行处理； 姿势识别模块， 用于在所述匹配结果满足所述预设条件时， 基于该匹配结果得到所述 目标视频流中姿势信息的识别结果。 9.一种电子设备， 其特征在于， 包括： 存储器， 用于存储计算机程序； 与所述存储器连接的处理器， 用于执行所述计算机程序， 以实现权利要求1-7任意一项 所述的姿势识别方法。 10.一种计算机可读存储介质， 其上存储有计算。

9、机程序， 其特征在于， 该程序被执行时 实现权利要求1-7任意一项所述的姿势识别方法。 权利要求书 2/2 页 3 CN 111079613 A 3 姿势识别方法和装置、 电子设备及存储介质 技术领域 0001 本申请涉及图像处理技术领域， 具体而言， 涉及一种姿势识别方法和装置、 电子设 备及存储介质。 背景技术 0002 随着图像处理技术的不断发展， 该技术的应用范围也得到不断的扩展。 其中， 基于 图像处理技术的图像识别技术在众多的场景得到应用， 如收不姿势识别或头部姿势识别 等。 经发明人研究发现， 在现有的姿势识别技术中， 存在着识别结果的准确度较低的问题。 发明内容 0003 有鉴。

10、于此， 本申请的目的在于提供一种姿势识别方法和装置、 电子设备及存储介 质， 以改善现有的姿势识别技术存在识别结果的准确度较低的问题。 0004 为实现上述目的， 本申请实施例采用如下技术方案： 0005 一种姿势识别方法， 包括： 0006 对获取的目标视频流中的每一帧目标图像进行二值化处理， 得到至少一帧二值化 图像， 其中， 该目标视频流包括至少一帧目标图像； 0007 基于预设的轮廓处理算法对每一帧二值化图像进行处理， 得到至少一帧更新后的 二值化图像； 0008 基于预设的参考视频流对所述更新后的二值化图像进行姿势匹配处理， 并在得到 的匹配结果不满足预设条件时， 基于该二值化图像再。

11、次执行所述基于预设的轮廓处理算法 对每一帧二值化图像进行处理的步骤； 0009 在所述匹配结果满足所述预设条件时， 基于该匹配结果得到所述目标视频流中姿 势信息的识别结果。 0010 在本申请实施例较佳的选择中， 在上述姿势识别方法中， 所述基于预设的轮廓处 理算法对每一帧二值化图像进行处理的步骤， 包括： 0011 对每一帧二值化图像分别进行图像形态学操作； 0012 对图像形态学操作之后的每一帧二值化图像分别进行高斯滤波处理。 0013 在本申请实施例较佳的选择中， 在上述姿势识别方法中， 执行所述基于预设的轮 廓处理算法对每一帧二值化图像进行处理的步骤的次数小于预设值， 且该预设值大于2。

12、。 0014 在本申请实施例较佳的选择中， 在上述姿势识别方法中， 所述对获取的目标视频 流中的每一帧目标图像进行二值化处理的步骤， 包括： 0015 针对获取的目标视频流中的每一帧目标图像， 对该帧目标图像进行灰度化处理， 并基于肤色分割算法对得到的每一帧灰度图像进行分割处理； 0016 基于大津算法确定分割处理后的每一帧灰度图像的预设阈值， 并基于该预设阈值 对分割处理后的每一帧灰度图像进行二值化处理。 0017 在本申请实施例较佳的选择中， 在上述姿势识别方法中， 所述基于预设的参考视 说明书 1/11 页 4 CN 111079613 A 4 频流对所述更新后的二值化图像进行姿势匹配处。

13、理的步骤， 包括： 0018 通过预设的时间规整化算法对预设的参考视频流和所述更新后的二值化图像进 行规整化处理； 0019 基于规整化处理的结果将更新后的每一帧二值化图像与所述参考视频流中对应 的一帧参考图像进行姿势匹配处理， 其中， 所述参考视频流包括至少一帧参考图像。 0020 在本申请实施例较佳的选择中， 在上述姿势识别方法中， 所述参考视频流为多个， 所述匹配结果为多个， 所述基于该匹配结果得到所述目标视频流中姿势信息的识别结果的 步骤， 包括： 0021 基于多个所述匹配结果的大小关系在多个所述参考视频流中确定至少两个参考 视频流； 0022 基于所述更新后的二值化图像的第一轨迹信。

14、息和所述至少两个参考视频流的第 二轨迹信息， 在该至少两个参考视频流中确定目标参考视频流。 0023 在本申请实施例较佳的选择中， 在上述姿势识别方法中， 所述基于所述更新后的 二值化图像的第一轨迹信息和所述至少两个参考视频流的第二轨迹信息， 在该至少两个参 考视频流中确定目标参考视频流的步骤， 包括： 0024 获取所述更新后的二值化图像中每一帧二值化图像的质心位置信息， 并基于该质 心位置信息确定该更新后的二值化图像的第一轨迹信息； 0025 将所述第一轨迹信息与所述至少两个参考视频流的第二轨迹信息分别进行比较 处理， 并基于比较处理的结果在所述至少两个参考视频流中确定目标参考视频流。 0。

15、026 本申请实施例还提供了一种姿势识别装置， 包括： 0027 图像获得模块， 用于对获取的目标视频流中的每一帧目标图像进行二值化处理， 得到至少一帧二值化图像， 其中， 该目标视频流包括至少一帧目标图像； 0028 图像更新模块， 用于基于预设的轮廓处理算法对每一帧二值化图像进行处理， 得 到至少一帧更新后的二值化图像； 0029 图像匹配模块， 用于基于预设的参考视频流对所述更新后的二值化图像进行姿势 匹配处理， 并在得到的匹配结果不满足预设条件时， 基于所述图像更新模块对所述更新后 的二值化图像再次进行处理； 0030 姿势识别模块， 用于在所述匹配结果满足所述预设条件时， 基于该匹配。

16、结果得到 所述目标视频流中姿势信息的识别结果。 0031 在上述基础上， 本申请实施例还提供了一种电子设备， 包括： 0032 存储器， 用于存储计算机程序； 0033 与所述存储器连接的处理器， 用于执行所述计算机程序， 以实现上述的姿势识别 方法。 0034 在上述基础上， 本申请实施例还提供了一种计算机可读存储介质， 其上存储有计 算机程序， 该程序被执行时实现上述的姿势识别方法。 0035 本申请提供的姿势识别方法和装置、 电子设备及存储介质， 通过在对二值化图像 进行姿势匹配处理之后， 判断得到的匹配结果是否满足预设条件， 并在不满足预设条件时， 再次基于轮廓处理算法对二值化图像进行。

17、处理。 如此， 在再次进行姿势匹配时， 因匹配的二 值化图像具有较高的精度， 使得匹配结果具有较高的准确度， 从而改善现有的姿势识别技 说明书 2/11 页 5 CN 111079613 A 5 术中由于在进行一次姿势匹配之后就直接基于匹配结果得到识别结果而存在识别结果的 准确度较低的问题， 具有较高的实用价值。 0036 为使本申请的上述目的、 特征和优点能更明显易懂， 下文特举较佳实施例， 并配合 所附附图， 作详细说明如下。 附图说明 0037 图1为本申请实施例提供的电子设备的方框示意图。 0038 图2为本申请实施例提供的姿势识别方法包括的各步骤的流程示意图。 0039 图3为图2中。

18、步骤S110包括的各子步骤的流程示意图。 0040 图4为图2中步骤S120包括的各子步骤的流程示意图。 0041 图5为图2中步骤S130包括的各子步骤的流程示意图。 0042 图6为本申请实施例提供的进行时间规整化处理的效果示意图。 0043 图7为图2中步骤S140包括的各子步骤的流程示意图。 0044 图8为本申请实施例提供的确定第一轨迹信息的效果示意图。 0045 图9为本申请实施例提供的姿势识别装置包括的各功能模块的方框示意图。 0046 图标： 10-电子设备； 12-存储器； 14-处理器； 100-姿势识别装置； 110-图像获得模 块； 120-图像更新模块； 130-图像。

19、匹配模块； 140-姿势识别模块。 具体实施方式 0047 为使本申请实施例的目的、 技术方案和优点更加清楚， 下面将结合本申请实施例 中的附图， 对本申请实施例中的技术方案进行清楚、 完整地描述， 显然， 所描述的实施例只 是本申请的一部分实施例， 而不是全部的实施例。 通常在此处附图中描述和示出的本申请 实施例的组件可以以各种不同的配置来布置和设计。 0048 因此， 以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护 的本申请的范围， 而是仅仅表示本申请的选定实施例。 基于本申请中的实施例， 本领域普通 技术人员在没有作出创造性劳动前提下所获得的所有其他实施例， 都属于本申。

20、请保护的范 围。 0049 如图1所示， 本申请实施例提供了一种电子设备10， 可以包括存储器12、 处理器14 和姿势识别装置100。 0050 其中， 所述存储器12和处理器14之间直接或间接地电性连接， 以实现数据的传输 或交互。 例如， 相互之间可通过一条或多条通讯总线或信号线实现电性连接。 所述姿势识别 装置100包括至少一个可以软件或固件(firmware)的形式存储于所述存储器12中的软件功 能模块。 所述处理器14用于执行所述存储器12中存储的可执行的计算机程序， 例如， 所述姿 势识别装置100所包括的软件功能模块及计算机程序等， 以实现本申请实施例提供的姿势 识别方法。 0。

21、051 可选地， 所述存储器12可以是， 但不限于， 随机存取存储器(Random Access Memory， RAM)， 只读存储器(Read Only Memory， ROM)， 可编程只读存储器(Programmable Read-Only Memory， PROM)， 可擦除只读存储器(Erasable Programmable Read-Only Memory， EPROM)， 电可擦除只读存储器(Electric Erasable Programmable Read-Only 说明书 3/11 页 6 CN 111079613 A 6 Memory， EEPROM)等。 0052。

22、 所述处理器14可以是一种通用处理器， 包括中央处理器(Central Processing Unit， CPU)、 网络处理器(Network Processor， NP)、 片上系统(System on Chip， SoC)等； 还 可以是数字信号处理器(DSP)、 专用集成电路(ASIC)、 现场可编程门阵列(FPGA)或者其他可 编程逻辑器件、 分立门或者晶体管逻辑器件、 分立硬件组件。 0053 可以理解， 图1所示的结构仅为示意， 所述电子设备10还可包括比图1中所示更多 或者更少的组件， 或者具有与图1所示不同的配置， 例如， 还可以包括用于与其它设备(如图 像拍摄设备)进行信息。

23、交互的通信单元。 0054 其中， 所述电子设备10可以包括， 但不限于， 手机、 电脑、 平板电脑、 个人计算机等 终端设备， 以及服务器设备。 0055 结合图2， 本申请实施例还提供一种可应用于上述电子设备10的姿势识别方法。 其 中， 该姿势识别方法有关的流程所定义的方法步骤可以由所述电子设备10实现。 下面将对 图2所示的具体流程进行详细阐述。 0056 步骤S110， 对获取的目标视频流中的每一帧目标图像进行二值化处理， 得到至少 一帧二值化图像。 0057 在本实施例中， 可以先获取待处理的目标视频流， 然后， 再对该目标视频流中的每 一帧目标图像进行二值化处理， 得到二值化图像。

24、。 0058 其中， 所述目标视频流包括至少一帧目标图像， 即该目标视频流既可以包括一帧 目标图像， 也可以包括多帧目标图像。 因而， 可以得到至少一帧二值化图像。 也就是说， 针对 每一帧目标图像， 进行二值化处理之后， 都可以得到一帧二值化图像。 0059 步骤S120， 基于预设的轮廓处理算法对每一帧二值化图像进行处理， 得到至少一 帧更新后的二值化图像。 0060 在本实施例中， 基于步骤S110得到至少一帧二值化图像之后， 为了提高进行姿势 匹配的效率和准确度， 可以基于预设的轮廓处理算法对每一帧二值化图像进行处理， 得到 至少一帧更新后的二值化图像。 0061 如此， 可以使得更新。

25、后的二值化图像的轮廓信息相较于更新前的二值化图像的轮 廓信息， 具有较高的清晰度和可识别度。 0062 步骤S130， 基于预设的参考视频流对所述更新后的二值化图像进行姿势匹配处 理， 得到匹配结果。 0063 在本实施例中， 基于步骤S120得到至少一帧更新后的二值化图像之后， 可以先基 于预设的参考视频流对该二值化图像进行姿势匹配处理， 得到相应的匹配结果。 然后， 可以 对该匹配结果是否达到预设条件进行匹配。 0064 其中， 在所述匹配结果不满足预设条件时， 可以再次执行步骤S120， 以对所述至少 一帧更新后的二值化图像再次基于所述轮廓处理算法进行处理， 使得处理后的二值化图像 的轮。

26、廓信息再次得到更新， 从而具有更高的清晰度和可识别度。 并且， 在所述匹配结果满足 所述预设条件时， 可以执行步骤S140。 0065 步骤S140， 基于所述匹配结果得到所述目标视频流中姿势信息的识别结果。 0066 在本实施例中， 在基于步骤S130得到的匹配结果， 满足预设条件时， 表明该匹配结 果具有较高的可靠度， 因而， 可以基于该匹配结果得到所述目标视频流中姿势信息的识别 说明书 4/11 页 7 CN 111079613 A 7 结果。 0067 基于上述方法， 由于在再次经过步骤S120的处理后， 再次进行姿势匹配时， 因匹配 的二值化图像具有较高的精度(有更高的清晰度和可识别。

27、度)， 使得匹配结果具有较高的准 确度， 从而改善现有的姿势识别技术中由于在进行一次姿势匹配之后就直接基于匹配结果 得到识别结果而存在识别结果的准确度较低的问题， 具有较高的实用价值。 并且， 由于进行 匹配的二值化图像具有较高的清晰度和可识别度， 还可以提高姿势匹配的效率。 0068 第一方面， 对于步骤S110需要说明的是， 对获取的目标视频流进行二值化处理的 具体方式不受限制， 可以根据实际应用需求进行选择。 0069 例如， 在一种可以替代的示例中， 可以先对获取的目标视频流中的每一帧目标图 像进行灰度化处理， 然后， 对得到的灰度图像进行二值化处理。 0070 又例如， 在另一种可以。

28、替代的示例中， 为了提高二值化处理的效率和精度， 结合图 3， 步骤S110可以包括步骤S111和步骤S113， 具体内容如下所述。 0071 步骤S111， 针对获取的目标视频流中的每一帧目标图像， 对该帧目标图像进行灰 度化处理， 并基于肤色分割算法对得到的每一帧灰度图像进行分割处理。 0072 在本实施例中， 所述电子设备10可以通过通信连接的图像拍摄设备(如网络摄像 机)或该电子设备10自身携带的图像拍摄设备(如手机等终端设备携带的摄像头)对目标对 象进行拍摄， 然后， 从该图像拍摄设备获取拍摄该目标对象得到的至少一帧目标图像。 0073 并且， 在得到该至少一帧目标图像之后， 可以先。

29、对每一帧目标图像进行灰度化处 理， 得到相应的灰度图像。 然后， 可以基于肤色分割算法对得到的每一帧灰度图像进行分割 处理， 以将每一帧灰度图像中的背景部分分离， 从而得到每一帧灰度图像中的前景部分(该 前景部分具有待识别的姿势信息)。 0074 步骤S113， 基于大津算法确定分割处理后的每一帧灰度图像的预设阈值， 并基于 该预设阈值对分割处理后的每一帧灰度图像进行二值化处理。 0075 在本实施例中， 在基于步骤S111得到分割处理后的灰度图像之后， 还可以先基于 大津算法确定每一帧灰度图像的预设阈值， 然后， 再基于该预设阈值对分割处理后的每一 帧灰度图像进行二值化处理， 得到相应的二值。

30、化图像。 0076 其中， 所述大津算法， 也称为otsu算法。 并且， 在确定所述预设阈值之后， 如0-255 之间的一个值， 可以将每一帧分割处理后的灰度图像的每一个像素点的像素值与该预设阈 值进行比较， 若该像素值小于该预设阈值， 可以将该像素值更新为0， 若该像素值不小于该 预设阈值， 可以将该像素值更新为255。 如此， 可以使得二值化后的图像中的像素点的像素 值为0或255， 从而得到二值化图像。 0077 可选地， 执行步骤S111对目标图像进行灰度化处理的具体方式不受限制， 可以根 据实际应用需求进行选择。 0078 例如， 在一种可以替代的示例中， 可以基于分量法对所述目标图。

31、像进行灰度化处 理。 又例如， 在另一种可以替代的示例中， 可以基于最大值法对所述目标图像进行灰度化处 理。 再例如， 在另一种可以替代的示例中， 还可以基于平均值法和加权平均法对所述目标图 像进行灰度化处理。 0079 其中， 执行步骤S111对灰度图像进行分割处理的具体方式不受限制， 例如， 可以采 用现有技术中的肤色分割算法， 如基于HSV(Hue Saturation Value， 色调饱和度明度)颜色 说明书 5/11 页 8 CN 111079613 A 8 空间的分割算法。 0080 第二方面， 对于步骤S120需要说明的是， 基于轮廓处理算法对二值化图像进行处 理的具体方式不受。

32、限制， 可以根据实际应用需求进行选择。 0081 例如， 在一种可以替代的示例中， 可以通过图像形态学操作对所述二值化图像进 行轮廓优化处理， 使得优化处理后的二值化图像中的轮廓信息具有更高的清晰度和可识别 度。 0082 又例如， 在另一种可以替代的示例中， 也可以通过高斯滤波对所述二值化图像进 行轮廓优化处理， 使得优化处理后的二值化图像中的轮廓信息具有更高的清晰度和可识别 度。 0083 再例如， 在另一种可以替代的示例中， 可以结合图像形态学操作和高斯滤波对所 述二值化图像进行轮廓优化处理。 基于此， 结合图4， 步骤S120可以包括步骤S121和步骤 S123， 具体内容如下所述。 。

33、0084 步骤S121， 对每一帧二值化图像分别进行图像形态学操作。 0085 在本实施例中， 在基于步骤S110得到二值化图像之后， 可以对每一帧二值化图像 分别进行图像形态学操作， 以对二值化图像中的多余的边界点或凸点进行消除处理， 使得 处理后的二值化图像中的轮廓更为平滑。 0086 步骤S123， 对图像形态学操作之后的每一帧二值化图像分别进行高斯滤波处理。 0087 在本实施例中， 在基于步骤S121进行图像形态学操作之后， 可以对图像形态学操 作之后的每一帧二值化图像分别进行高斯滤波处理,实现对二值化图像的降噪， 以使处理 后的二值化图像更为柔和。 0088 可选地， 执行步骤S1。

34、21进行图像形态学操作的具体方式不受限制， 可以根据实际 应用需求进行选择。 0089 例如， 在一种可以替代的示例中， 可以对每一帧二值化图像进行腐蚀操作， 以完成 所述图像形态学操作。 又例如， 在另一种可以替代的示例中， 可以对每一帧二值化图像进行 膨胀操作， 以完成所述图像形态学操作。 再例如， 在另一种可以替代的示例中， 可以先对每 一帧二值化图像进行腐蚀操作， 然后， 再对腐蚀操作后的每一帧二值化图像进行膨胀操作。 0090 可以理解的是， 上述的腐蚀操作可以是指， 将目标对象的边缘加以腐蚀， 如将边缘 的像素点的像素值从0更新为255。 上述的膨胀操作可以是指， 将目标对象的边缘。

35、加以膨胀， 如将边缘的像素点的像素值从255更新为0。 0091 可选地， 执行步骤S123进行高斯滤波处理的具体方式也不受限制， 可以根据实际 应用需求进行选择。 0092 例如， 在一种可以替代的示例中， 可以通过一个卷积核对图像形态学操作之后的 每一帧二值化图像分别进行卷积计算， 从而完成所述高斯滤波处理。 又例如， 在另一种可以 替代的示例中， 也可以通过多个不同的卷积核对图像形态学操作之后的每一帧二值化图像 分别都进行卷积计算， 从而完成所述高斯滤波处理。 0093 可以理解的是， 基于上述的示例可以知道， 再执行步骤S130之后， 为了提高匹配结 果的可靠度， 可能会再次执行步骤S。

36、120。 0094 也就是说， 在所述匹配结果不满足所述预设条件时， 步骤S120需要执行至少两次， 使得对所述二值化图像进行轮廓优化处理之后， 还会再次对处理后的二值化图像进行轮廓 说明书 6/11 页 9 CN 111079613 A 9 优化处理。 0095 但是， 经过本申请发明人的进一步研究发现， 在一些情况下， 所述匹配结果可能永 远不能满足所述预设条件， 也就是说， 导致所述匹配结果不能满足所述预设条件的原因， 并 不是所述二值化图像中的轮廓信息的清晰度和可识别度不高， 如所述目标视频流中的姿势 信息为手势信息， 所述参考视频流中的姿势信息为头部信息。 0096 因此， 为了避免。

37、在上述情况使得在执行上述步骤时， 会一直循环执行步骤S120和 步骤S130的问题， 还可以对执行步骤S120的次数进行限制， 如该次数小于预设值， 且该预设 值大于2， 以保证至少执行两次步骤S120。 0097 详细地， 在一种具体的应用示例中， 可以根据执行步骤S120时对轮廓进行优化处 理的效果， 设置执行步骤S120的次数。 例如， 若执行步骤S120时对轮廓进行优化处理的效果 较高， 可以设置一个较小的预设值。 反之， 若执行步骤S120时对轮廓进行优化处理的效果一 般， 可以设置一个较大的预设值。 0098 第三方面， 对于步骤S130需要说明的是， 基于预设的参考视频流进行姿势。

38、匹配处 理的具体方式不受限制， 可以根据实际应用需求进行处理。 0099 例如， 在一种可以替代的示例中， 可以针对更新后的每一帧二值化图像， 将该帧二 值化图像与所述参考视频流中的每一帧参考图像都进行姿势匹配处理。 0100 详细地， 在一种具体的应用示例中， 更新后的二值化图像为7帧， 分别为二值化图 像O、 二值化图像P、 二值化图像Q、 二值化图像R、 二值化图像S、 二值化图像T、 二值化图像X。 所述参考视频流包括4帧参考图像， 分别为参考图像a、 参考图像b、 参考图像c和参考图像d。 0101 如此， 可以将二值化图像O与参考图像a、 参考图像b、 参考图像c和参考图像d分别 。

39、进行姿势匹配处理， 将二值化图像P与参考图像a、 参考图像b、 参考图像c和参考图像d分别 进行姿势匹配处理， 将二值化图像Q与参考图像a、 参考图像b、 参考图像c和参考图像d分别 进行姿势匹配处理， 将二值化图像R与参考图像a、 参考图像b、 参考图像c和参考图像d分别 进行姿势匹配处理， 将二值化图像S与参考图像a、 参考图像b、 参考图像c和参考图像d分别 进行姿势匹配处理， 将二值化图像T与参考图像a、 参考图像b、 参考图像c和参考图像d分别 进行姿势匹配处理， 将二值化图像X与参考图像a、 参考图像b、 参考图像c和参考图像d分别 进行姿势匹配处理。 然后， 基于前述的28次姿势。

40、匹配处理的结果， 可以得到所述更新后的二 值化图像与所述参考视频流的匹配结果。 0102 又例如， 在另一种可以替代的示例中， 为了提高姿势匹配处理的效率， 结合图5， 步 骤S130可以包括步骤S131和步骤S133， 具体内容如下所述。 0103 步骤S131， 通过预设的时间规整化算法对预设的参考视频流和所述更新后的二值 化图像进行规整化处理。 0104 在本实施例中， 在基于步骤S120得到更新后的二值化图像之后， 可以先通过预设 的时间规整化算法对所述参考视频流和所述更新后的二值化图像进行规整化处理， 使得规 整化处理后的参考视频流和二值化图像具有相同的时间长度。 0105 步骤S1。

41、33， 基于规整化处理的结果将更新后的每一帧二值化图像与所述参考视频 流中对应的一帧参考图像进行姿势匹配处理。 0106 在本实施例中， 基于步骤S131得到具有相同时间长度的参考视频流和二值化图像 之后， 可以基于时间信息将更新后的每一帧二值化图像与所述参考视频流中对应的一帧参 说明书 7/11 页 10 CN 111079613 A 10 考图像进行姿势匹配处理。 0107 可选地， 执行步骤S131进行规整化处理的具体方式不受限制， 可以根据实际应用 需求进行选择。 0108 例如， 在一种可以替代的示例中， 若所述更新后的二值化图像的时间长度大于所 述参考视频流的时间长度， 可以对所述。

42、更新后的二值化图像进行压缩处理， 或对所述参考 视频流进行拉长处理， 使得处理后的二值化图像和参考视频流具有相同的时间长度。 0109 又例如， 若所述更新后的二值化图像的时间长度大于所述参考视频流的时间长 度， 可以对所述更新后的二值化图像进行压缩处理， 且同时对所述参考视频流进行拉长处 理， 使得处理后的二值化图像和参考视频流具有相同的时间长度。 0110 详细地， 在一种具体的应用示例中， 基于前述的示例， 所述更新后的二值化图像为 7帧， 所述参考视频流包括的参考图像为4帧， 且所述更新后的二值化图像的时间长度大于 所述参考视频流的时间长度。 为了使得7帧更新后的二值化图像的时间长度能。

43、够等于4帧参 考图像的时间长度， 结合图6， 可以对7帧更新后的二值化图像进行压缩。 0111 如此， 在执行步骤S133时， 基于时间上的对应关系， 可以将二值化图像O与参考图 像a进行姿势匹配处理， 将二值化图像Q与参考图像b进行姿势匹配处理， 将二值化图像S与 参考图像c进行姿势匹配处理， 将二值化图像X与参考图像d进行姿势匹配处理。 0112 第四方面， 对于步骤S140需要说明的是， 执行该步骤S140的前提是， 所述匹配结果 满足所述预设条件。 其中， 所述预设条件的具体内容不受限制， 可以根据实际应用需求进行 选择。 0113 例如， 在一种可以替代的示例中， 所述匹配结果可以是。

44、所述参考视频流与所述更 新后的二值化图像之间的匹配度或相似度， 因此， 所述预设条件可以预设匹配度或预设相 似度， 如此， 只有在所述参考视频流与所述更新后的二值化图像之间的匹配度或相似度达 到该预设匹配度或预设相似度时， 在执行步骤S140。 0114 其中， 所述预设匹配度或预设相似度的具体数值不受限制， 根据对精度的需求进 行选择即可。 例如， 可以为65、 70、 80等。 0115 并且， 执行步骤S140基于匹配结果得到识别结果的具体方式也不受限制， 可以根 据实际应用需求进行选择。 0116 例如， 在一种可以替代的示例中， 若所述参考视频流为一个， 可以直接将所述参考 视频流中。

45、的姿势信息作为所述目标视频流的姿势信息， 从而得到该目标视频流的识别结 果。 0117 又例如， 在另一种可以替代的示例中， 所述参考视频流为多个， 对应的， 所述匹配 结果为多个， 且为了实现动态姿势的识别， 结合图7， 步骤S140可以包括步骤S141和步骤 S143， 具体内容如下所述。 0118 步骤S141， 基于多个所述匹配结果的大小关系在多个所述参考视频流中确定至少 两个参考视频流。 0119 在本实施例中， 由于所述参考视频流为多个， 因而， 基于步骤S130的姿势匹配处理 可以得到多个匹配结果。 并且， 考虑到基于步骤S130的姿势匹配处理实际上是静态的匹配， 因而， 可能得。

46、到的多个匹配结果中具有相同大小或差值较小的至少两个参考视频流。 基于 此， 可以基于多个所述匹配结果的大小关系在多个所述参考视频流中确定至少两个参考视 说明书 8/11 页 11 CN 111079613 A 11 频流。 0120 例如， 若所述参考视频流为3个， 分别为参考视频流1、 参考视频流2和参考视频流 3， 对应的匹配结果也为3个， 分别为匹配结果1、 匹配结果2和匹配结果3。 其中， 匹配结果1等 于匹配结果2， 且大于匹配结果3， 如此， 可以对参考视频流1和参考视频流2进行确定。 0121 其中， 上述的示例， 在一种具体的应用场景下可以是， 所述目标视频流为拍摄手掌 的运动。

47、得到的视频流， 参考视频流1为手掌左右运动的视频流， 参考视频流2为手掌上下运 动的视频流， 参考视频流3为头部左右摇动的视频流。 0122 步骤S143， 基于所述更新后的二值化图像的第一轨迹信息和所述至少两个参考视 频流的第二轨迹信息， 在该至少两个参考视频流中确定目标参考视频流。 0123 在本实施例中， 基于步骤S141确定至少两个参考视频流(如前述的参考视频流1和 参考视频流2)之后， 还可以基于所述更新后的二值化图像的第一轨迹信息， 在所述至少两 个参考视频流的第二轨迹信息中确定一个第二轨迹信息。 然后， 可以基于确定的第二轨迹 信息在该至少两个参考视频流中确定目标参考视频流。 0。

48、124 如此， 在确定所述目标参考视频流之后， 可以将该目标参考视频流的姿势信息作 为所述目标视频流的姿势信息， 从而得到所述目标视频流的识别结果。 0125 可选地， 执行步骤S143基于轨迹信息确定目标参考视频流的具体方式不受限制， 可以根据实际应用需求进行选择。 0126 例如， 在一种可以替代的示例中， 所述第一轨迹信息和所述第二轨迹信息， 可以是 指相应图像中的目标对象的运动方向。 如此， 可以通过对运动方向进行比较， 从而确定目标 目标视频流。 0127 又例如， 在另一种可以替代的示例中， 为了提高确定目标参考视频流的确定性， 步 骤S143可以包括以下子步骤： 0128 首先，。

49、 可以获取所述更新后的二值化图像中每一帧二值化图像的质心位置信息， 并基于该质心位置信息确定该更新后的二值化图像的第一轨迹信息； 其次， 可以将所述第 一轨迹信息与所述至少两个参考视频流的第二轨迹信息分别进行比较处理， 并基于比较处 理的结果在所述至少两个参考视频流中确定目标参考视频流。 0129 其中， 所述第二轨迹信息的确定方式可以与所述第一轨迹信息的确定方式相同， 如都是基于质心位置信息确定。 下面以所述更新后的二值化图像为7帧为示例， 进行说明。 0130 结合图8， 7帧更新后的二值化图像分别可以为， 二值化图像O、 二值化图像P、 二值 化图像Q、 二值化图像R、 二值化图像S、 。

50、二值化图像T、 二值化图像X。 其中， 二值化图像O的质 心位置为O， 二值化图像P的质心位置为P， 二值化图像Q的质心位置为Q， 二值化图像R的质心 位置为R， 二值化图像S的质心位置为S， 二值化图像T的质心位置为T， 二值化图像X的质心位 置为X。 如此， 可以对上述的7个质心位置进行曲线拟合， 从而得到所述第一轨迹信息。 0131 结合图9， 本申请实施例还提供一种可应用于上述电子设备10的姿势识别装置 100。 其中， 所述姿势识别装置100可以包括图像获得模块110、 图像更新模块120、 图像匹配 模块130和姿势识别模块140。 0132 所述图像获得模块110， 用于对获取的。