基于OpenPose的人体摔倒识别方法及系统.pdf

《基于OpenPose的人体摔倒识别方法及系统.pdf》由会员分享，可在线阅读，更多相关《基于OpenPose的人体摔倒识别方法及系统.pdf（12页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010148742.4 (22)申请日 2020.03.05 (71)申请人 中国地质大学 （武汉） 地址 430000 湖北省武汉市洪山区鲁磨路 388号 (72)发明人 陈卫明蒋自杰李帆李长帆 高笑沂 (74)专利代理机构 武汉知产时代知识产权代理 有限公司 42238 代理人 易滨 (51)Int.Cl. G06K 9/00(2006.01) G08B 21/04(2006.01) (54)发明名称 一种基于OpenPose的人体摔倒识别方法及 系统 (57)摘要 本。

2、发明公开了一种基于OpenPose的人体摔 倒识别方法及系统， 先获取监控摄像头拍摄的监 控视频， 利用OpenPose对监控视频进行处理， 得 到视频中每一帧图像中人体骨架关节点数据； 然 后基于人体骨架关节点数据进行下述三个条件 的判断， 若是三个条件均满足， 则认为发生摔倒： (1)人体髋关节中心点下降的速度大于预设的临 界速度； (2)人体纵向中心线与地面的倾斜角小 于预设的临界倾斜角； (3)人体外接矩形宽高比 大于预设的临界比值。 本发明能够在不干扰人正 常活动的情况下， 及时准确的发现摔倒事件， 能 加快摔倒事件发生后的响应救援速度。 权利要求书2页 说明书6页 附图3页 CN 。

3、111460908 A 2020.07.28 CN 111460908 A 1.一种基于OpenPose的人体摔倒识别方法， 其特征在于， 包含如下步骤： S1、 获取监控摄像头拍摄的监控视频， 利用OpenPose对监控视频进行处理， 得到视频中 每一帧图像中人体骨架关节点数据； S2、 基于人体骨架关节点数据进行下述三个条件的判断， 若是三个条件均满足， 则认为 发生摔倒： (1)人体髋关节中心点下降的速度大于预设的临界速度； (2)人体纵向中心线与地面的倾斜角小于预设的临界倾斜角； (3)人体外接矩形宽高比大于预设的临界比值。 2.根据权利要求1所述的基于OpenPose的人体摔倒识别方。

4、法， 其特征在于， 还包括步 骤： S3、 判断摔倒的人在一段时间内是否重新站起， 若是未重新站起， 在进行根据预设规则 进行紧急处理； 其中， 判断重新站起的规则是： 人体在摔倒后， 如果在一段时间内， 人体纵向 中心线与地面的倾斜角不小于预设角度， 且外接矩形宽高比不大于预设比值， 只要均满足 这两个条件， 即为摔倒者重新站起， 否则为未重新站起。 3.根据权利要求1所述的基于OpenPose的人体摔倒识别方法， 其特征在于， 人体髋关节 中心点下降的速度根据下述方法得到： 确定人体骨架关节点数据中两髋关节的位置为s8(t)(xt8,yt8)以及s11(t)(xt11, yt11)， 假设。

5、t1时刻髋关节中点的纵坐标值t2时刻髋关节中点的纵坐标值 时间间隔为tt2-t1， 则人体髋关节中点下降速度其中t表 示时间。 4.根据权利要求1所述的基于OpenPose的人体摔倒识别方法， 其特征在于， 人体纵向中 心线与地面的倾斜角通过下述方法得到： 确定人体骨架关节点数据中头部关节点、 膝关节点、 与所述膝关节点处于同一条腿的 脚关节点的数据s0(t)(xt0,yt0)、 s12(t)(xt12,yt12)、 s13(t)(xt13,yt13)， 那么 即在t时 ， 人体纵向中 心线与地面所形成的 倾斜 角即为 其中t表示时间。 5.根据权利要求1所述的基于OpenPose的人体摔倒识。

6、别方法， 其特征在于， 所述临界倾 斜角45度， 所述临界比值1。 6.一种基于OpenPose的人体摔倒识别系统， 其特征在于， 包含如下模块： OpenPose处理模块， 用于获取监控摄像头拍摄的监控视频， 利用OpenPose对监控视频 进行处理， 得到视频中每一帧图像中人体骨架关节点数据； 摔倒判断模块， 用于基于人体骨架关节点数据进行下述三个条件的判断， 若是三个条 件均满足， 则认为发生摔倒： (1)人体髋关节中心点下降的速度大于预设的临界速度； 权利要求书 1/2 页 2 CN 111460908 A 2 (2)人体纵向中心线与地面的倾斜角小于预设的临界倾斜角； (3)人体外接矩。

7、形宽高比大于预设的临界比值。 7.根据权利要求6所述的基于OpenPose的人体摔倒识别系统， 其特征在于， 还包括： 紧急处理模块， 用于判断摔倒的人在一段时间内是否重新站起， 若是未重新站起， 在进 行根据预设规则进行紧急处理； 其中， 判断重新站起的规则是： 人体在摔倒后， 如果在一段 时间内， 人体纵向中心线与地面的倾斜角不小于预设角度， 且外接矩形高宽比不小于预设 比值， 只要均满足这两个条件， 即为摔倒者重新站起， 否则为未重新站起。 8.根据权利要求6所述的基于OpenPose的人体摔倒识别系统， 其特征在于， 人体髋关节 中心点下降的速度根据下述方法得到： 确定人体骨架关节点数。

8、据中两髋关节的位置为s8(t)(xt8,yt8)以及s11(t)(xt11, yt11)， 假设t1时刻髋关节中点的纵坐标值t2时刻髋关节中点的纵坐标值 时间间隔为tt2-t1， 则人体髋关节中点下降速度其中t表 示时间。 9.根据权利要求6所述的基于OpenPose的人体摔倒识别系统， 其特征在于， 人体纵向中 心线与地面的倾斜角通过下述方法得到： 确定人体骨架关节点数据中头部关节点、 膝关节点、 与所述膝关节点处于同一条腿的 脚关节点的数据s0(t)(xt0,yt0)、 s12(t)(xt12,yt12)、 s13(t)(xt13,yt13)， 那么 即在t时 ， 人体纵向中 心线与地面所。

9、形成的 倾斜 角即为 其中t表示时间。 10.根据权利要求6所述的基于OpenPose的人体摔倒识别系统， 其特征在于， 所述临界 倾斜角45度， 所述临界比值1。 权利要求书 2/2 页 3 CN 111460908 A 3 一种基于OpenPose的人体摔倒识别方法及系统 技术领域 0001 本发明涉及人体行为识别领域， 更具体地说， 涉及一种基于OpenPose的人体摔倒 识别方法及系统。 背景技术 0002 人们在行走和奔跑等情况下， 经常会发生摔倒的情况。 对于正常人而言， 在摔倒不 是特别严重的情况下， 人们可以立刻起来或者打电话报警或者通知家人， 然而对于一些特 殊的人群， 例如。

10、空巢老人等， 在摔倒时可能无法站立起来， 也无法及时电话报警或者通知家 人协助帮忙， 如此需要建立一种能够准确及时识别出摔倒并及时进行应对处理的方法。 发明内容 0003 为了解决上述技术问题， 本发明提供了一种基于OpenPose的人体摔倒识别方法及 系统， 其目的是建立一种能够准确及时识别出摔倒并及时进行应对处理的方法。 0004 根据本发明的第一方面， 本发明为解决其技术问题， 所提供的基于OpenPose的人 体摔倒识别方法包含如下步骤： 0005 S1、 获取监控摄像头拍摄的监控视频， 利用OpenPose对监控视频进行处理， 得到视 频中每一帧图像中人体骨架关节点数据； 0006 。

11、S2、 基于人体骨架关节点数据进行下述三个条件的判断， 若是三个条件均满足， 则 认为发生摔倒： 0007 (1)人体髋关节中心点下降的速度大于预设的临界速度； 0008 (2)人体纵向中心线与地面的倾斜角小于预设的临界倾斜角； 0009 (3)人体外接矩形宽高比大于预设的临界比值。 0010 进一步地， 在本发明的基于OpenPose的人体摔倒识别方法中， 还包括步骤： 0011 S3、 判断摔倒的人在一段时间内是否重新站起， 若是未重新站起， 在进行根据预设 规则进行紧急处理； 其中， 判断重新站起的规则是： 人体在摔倒后， 如果在一段时间内， 人体 纵向中心线与地面的倾斜角不小于预设角度。

12、， 且外接矩形宽高比不小于预设比值， 只要均 满足这两个条件， 即为摔倒者重新站起， 否则为未重新站起。 0012 进一步地， 在本发明的基于OpenPose的人体摔倒识别方法中， 人体髋关节中心点 下降的速度根据下述方法得到： 0013 确定人体骨架关节点数据中两髋关节的位置为s8(t)(xt8,yt8)以及s11(t) (xt11,yt11)， 假设t1时刻髋关节中点的纵坐标值t2时刻髋关节中点的纵坐标 值时间间隔为tt2-t1， 则人体髋关节中点下降速度其中t 表示时间。 0014 进一步地， 在本发明的基于OpenPose的人体摔倒识别方法中， 人体纵向中心线与 说明书 1/6 页 4。

13、 CN 111460908 A 4 地面的倾斜角通过下述方法得到： 0015 确定人体骨架关节点数据中头部关节点、 膝关节点、 与所述膝关节点处于同一条 腿的脚关节点的数据s0(t)(xt0,yt0)、 s12(t)(xt12,yt12)、 s13(t)(xt13,yt13)， 那么 即在t时 ， 人体纵向中心线与地面所形成的倾斜 角即为 其中t表示时间。 0016 进一步地， 在本发明的基于OpenPose的人体摔倒识别方法中， 所述临界倾斜角 45度， 所述临界比值1。 0017 根据本发明的另一方面， 本发明为解决其技术问题， 所提供的基于OpenPose的人 体摔倒识别系统， 包含如下。

14、模块： 0018 OpenPose处理模块， 用于获取监控摄像头拍摄的监控视频， 利用OpenPose对监控 视频进行处理， 得到视频中每一帧图像中人体骨架关节点数据； 0019 摔倒判断模块， 用于基于人体骨架关节点数据进行下述三个条件的判断， 若是三 个条件均满足， 则认为发生摔倒： 0020 (1)人体髋关节中心点下降的速度大于预设的临界速度； 0021 (2)人体纵向中心线与地面的倾斜角小于预设的临界倾斜角； 0022 (3)人体外接矩形宽高比大于预设的临界比值。 0023 进一步地， 基于OpenPose的人体摔倒识别系统， 其特征在于， 还包括： 0024 紧急处理模块， 用于判断。

15、摔倒的人在一段时间内是否重新站起， 若是未重新站起， 在进行根据预设规则进行紧急处理； 其中， 判断重新站起的规则是： 人体在摔倒后， 如果在 一段时间内， 人体纵向中心线与地面的倾斜角不小于预设角度， 且外接矩形宽高比不大于 预设比值， 只要均满足这两个条件， 即为摔倒者重新站起， 否则为未重新站起。 0025 进一步地， 在本发明的基于OpenPose的人体摔倒识别系统中， 人体髋关节中心点 下降的速度根据下述方法得到： 0026 确定人体骨架关节点数据中两髋关节的位置为s8(t)(xt8,yt8)以及s11(t) (xt11,yt11)， 假设t1时刻髋关节中点的纵坐标值t2时刻髋关节中。

16、点的纵坐标 值时间间隔为tt2-t1， 则人体髋关节中点下降速度其中t 表示时间。 0027 进一步地， 在本发明的基于OpenPose的人体摔倒识别系统中， 人体纵向中心线与 地面的倾斜角通过下述方法得到： 0028 确定人体骨架关节点数据中头部关节点、 膝关节点、 与所述膝关节点处于同一条 腿的脚关节点的数据s0(t)(xt0,yt0)、 s12(t)(xt12,yt12)、 s13(t)(xt13,yt13)， 那么 即在t时 ， 人体纵向中心线与地面所形成的倾斜 角即为 说明书 2/6 页 5 CN 111460908 A 5 其中t表示时间。 0029 进一步地， 在本发明的基于Op。

17、enPose的人体摔倒识别系统中， 所述临界倾斜角 45度， 所述临界比值1。 0030 实施本发明的基于OpenPose的人体摔倒识别方法及系统， 能够在不干扰人正常活 动的情况下， 及时准确的发现摔倒事件， 能加快摔倒事件发生后的响应救援速度。 附图说明 0031 下面将结合附图及实施例对本发明作进一步说明， 附图中： 0032 图1是本发明的OpenPose处理图片的示意图； 0033 图2是本发明的各关节点及其编号的示意图； 0034 图3是本发明的基于OpenPose的人体摔倒识别方法一实施例的流程图； 0035 图4是本发明的人体摔倒过程示意图； 0036 图5是人体纵向中心线与地。

18、面的倾斜角的示意图； 0037 图6是人体外接矩形框的示意图； 0038 图7是人摔倒后自行站起的示意图。 具体实施方式 0039 为了对本发明的技术特征、 目的和效果有更加清楚的理解， 现对照附图详细说明 本发明的具体实施方式。 0040 OpenPose人体姿势识别项目是由卡内基梅隆大学(CMU)开发的基于卷积神经网络 和监督学习开源库。 2017年， 卡内基梅隆大学的研究人员发布了OpenPose人体骨骼识别系 统的源代码， 实现了在视频监控下对目标的实时跟踪。 它可以在彩色视频中捕捉人体骨骼 信息， 并在场景中提供关节信息。 如图1所示， 视频中的一帧照片经过OpenPose处理后得到。

19、 人体骨架图。 0041 OpenPose处理后的视频不仅能得到人体骨架图， 也能够获取相应关节点的坐标位 置， 表1中给出了某一帧画面人体关节点所对应的坐标位置数据。 对于表中关节点编号对应 的具体关节如图2所示， 图2各关节点编号与对应的关节点名称如表2。 说明书 3/6 页 6 CN 111460908 A 6 0042 0043 表1获取的人体关节点数据 0044 为了表示的方便， 我们定义关节点坐标Joint Coordinates(JC)， Ss0,s1, s13表示关节点位置集合。 定义关节点j在第t时刻的表示方式为sj(t)(xtj,ytj),j0, 1,13。 0045 表2。

20、各关节点编号与对应的关节点名称 0046 0047 0048 参考图3， 其为本发明的基于OpenPose的人体摔倒识别方法一实施例的流程图， 包 含如下步骤： 0049 S1、 获取监控摄像头拍摄的监控视频， 利用OpenPose对监控视频进行处理， 得到视 频中每一帧图像中人体骨架关节点数据； 0050 S2、 基于人体骨架关节点数据进行下述三个条件的判断， 若是三个条件均满足， 则 认为发生摔倒： 0051 (1)人体髋关节中心点下降的速度大于预设的临界速度； 0052 (2)人体纵向中心线与地面的倾斜角小于预设的临界倾斜角； 说明书 4/6 页 7 CN 111460908 A 7 0。

21、053 (3)人体外接矩形宽高比大于预设的临界比值。 0054 下述将对步骤S2中的三个判定条件进行具体说明。 0055 人体髋关节中点下降速度(判定条件一) 0056 如图4所示， 人体在突然摔倒过程中， 人体的重心会在竖直方向上急剧变化， 人体 髋关节中心点可以近似代表人体重心反映出这一特征。 由于人从站立姿态到跌倒姿态是一 个非常短暂的过程， 所用时间也非常的短， 因此每相邻5帧检测一次， 时间间隔为0.25秒。 通 过OpenPose获取的人体人体骨架关节点数据， 两髋关节点分别为s8(t)(xt8,yt8)以及s11 (t)(xt11,yt11)， 假设t1时刻髋关节中点的纵坐标值t。

22、2时刻髋关节中点的 纵坐标值时间间隔为tt2-t1， 则髋关节中点下降速度 0057 0058当(是临界速度)时， M11， 则认为满足摔倒时间发生的判定条件一。 0059 人体中心线的倾斜角(判定条件二) 0060 在摔倒过程中， 最明显的特征就是人体发生倾斜， 人体与地面的倾斜角不断地减 小。 为了反映出这一特征， 设定一条人体中心线(设关节点s12与关节点s13的中点为与 关节点s0相连即为人体中心线L)。 0061 如图5所示， 即为人体纵向中心线与地面的倾斜角， 的计算方式如下： 通过 OpenPose得到的关节点0、 12、 13的数据s0(t)(xt0,yt0)、 s12(t)(。

23、xt12,yt12)、 s13(t) (xt13,yt13)。 那么即在t时， 人体中心线与地面所形成的夹角即 为 0062 0063 当 0(临界角度为45 )， M21即人体纵向中心线与地面的倾斜角小于临界角度 时， 就认为满足摔倒判定条件二。 0064 人体外接矩形宽高比(判定条件三) 0065 当人体摔倒时， 身体轮廓也会发生相应的变化， 简单地比较人体轮廓的高度和宽 度是不合理的， 因为人体轮廓的高度和宽度都会因距离相机的远近而发生变化， 但是采用 宽高比则可以解决这一问题。 于是， 通过检测人体高宽比值来判断人体是否摔倒。 0066 设定人体外接矩形的高宽比为PWidth/Heig。

24、ht， 如图6所示， 人体在站立行走与 摔倒过程中外接矩形框会发生明显的改变， 则P值也会不同。 0067 说明书 5/6 页 8 CN 111460908 A 8 0068 T表示宽高比的临界值(T1)， 根据的实际情况的考察， 人体在正常行走时宽高比 P值比1小， 发生摔倒情况时， 比值会比1大， 即M31时， 摔倒发生， 满足判定条件三。 0069 摔倒发生后， 如果人能够在较短的时间内自行站起， 则不需要进行紧急处理， 例如 进行报警。 大部分的摔倒识别都集中在对摔倒过程的分析上， 很少考虑到人体摔倒后自行 站立的过程。 如图7所示， 摔倒后站立的过程可视为摔倒的一个逆过程， 唯一不同。

25、的是， 该过 程要比摔倒发生的缓慢。 根据对前三个判别条件的分析， 人体在摔倒后， 如果在一段时间 内， 人体纵向中心线与地面的倾斜角不小于预设角度且外接矩形宽高比不大于预设比值， 只要同时满足这两个条件， 即可认为摔倒者重新站立， 预设角度可以与上述的临界角度相 同， 即为45 ， 也可以不相同， 预设比值可以与上述的临界比值相同， 即为1， ， 也可以不相同。 判断人摔倒后能否站起的关键是减少不必要的报警， 因为有时摔倒并不会对人体造成严重 伤害。 0070 上面结合附图对本发明的实施例进行了描述， 但是本发明并不局限于上述的具体 实施方式， 上述的具体实施方式仅仅是示意性的， 而不是限制性的， 本领域的普通技术人员 在本发明的启示下， 在不脱离本发明宗旨和权利要求所保护的范围情况下， 还可做出很多 形式， 这些均属于本发明的保护之内。 说明书 6/6 页 9 CN 111460908 A 9 图1 图2 说明书附图 1/3 页 10 CN 111460908 A 10 图3 图4 说明书附图 2/3 页 11 CN 111460908 A 11 图5 图6 图7 说明书附图 3/3 页 12 CN 111460908 A 12 。