基于可穿戴移动眼镜的安全帽及工作服智能识别方法.pdf

《基于可穿戴移动眼镜的安全帽及工作服智能识别方法.pdf》由会员分享，可在线阅读，更多相关《基于可穿戴移动眼镜的安全帽及工作服智能识别方法.pdf（9页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010033515.7 (22)申请日 2020.01.13 (71)申请人 厦门博海中天信息科技有限公司 地址 361000 福建省厦门市软件园三期诚 毅北大街62号109单元0466号 (72)发明人 余齐齐 (74)专利代理机构 厦门加减专利代理事务所 (普通合伙) 35234 代理人 张积峰 (51)Int.Cl. G06K 9/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于可穿戴移动眼。

2、镜的安全帽及工作 服智能识别方法 (57)摘要 本发明涉及识别安全帽及制服领域， 特别涉 及一种基于可穿戴移动眼镜的安全帽及工作服 智能识别方法。 本发明提供的基于可穿戴移动眼 镜的安全帽及工作服智能识别方法， 通过可穿戴 式移动智能眼镜监测施工现场人员是否按要求 佩戴安全帽和穿制服， 以达到全面、 有效管控作 业人员着装行为的目的。 使用可穿戴式移动智能 眼镜， 可以随时监测施工现场的每一个角落， 不 遗漏， 有效解决了固定监控设备不能流动监控以 及监控范围小等问题， 另外， 使用可穿戴式移动 智能眼镜去同时识别判断作业人员是否佩戴安 全帽和穿制服， 能多方面规范工作人员安全着装 行为， 确。

3、保安全生产。 权利要求书2页 说明书5页 附图1页 CN 111274888 A 2020.06.12 CN 111274888 A 1.一种基于可穿戴移动眼镜的安全帽及工作服智能识别方法， 其特征在于： 所述方法 步骤具体如下： S10、 在服务器加载轻量级网络BTBNet， 构建并训练形成识别模型； S20、 所述服务器与智能眼镜进行实时视频数据传输， 通过所述服务器对所述实时视频 数据进行抽帧， 获取图片； 将获取的图片输入所述BTBNet， 通过所述BTBNet输出识别目标的 label以及相对应的score和box； S30、 在所述获取图片上的一个制服目标上设置一个或多个矩形框； 。

4、在所述矩形框上， 取与长边平行的对称轴交矩形框的两点以及矩形框的中心点， 加入使用中心点形成的曲线 进行拟合， 若拟合优度， 即R20.85， 则判断为同一个制服目标； S40、 求取步骤S30中的矩形框认定的边长； S50、 通过IoOne检测制服规范情况， 得到该目标人员是否有穿制服的结果； S60、 识别和判断该目标人员是否佩戴安全帽， 得出该目标人员是否佩戴安全帽的结 果； S70、 根据获得的是否有穿制服的结果和是否佩戴安全帽的结果确认该目标人员的服 装和安全帽是否符合规范， 若不规范则进行告警处理。 2.根据权利要求1所述的基于可穿戴移动眼镜的安全帽及工作服智能识别方法， 其特 征。

5、在于： 所述步骤S10中的BTBNet.识别目标包括如下： 整体的人对象human、 上身制服up_uniform、 下身制服down_uniform、 没带安全帽的头 部head、 戴了安全帽的头部helmet_head ,、 球形或椭球形类似安全帽头部的干扰物品 helmet_head_like。 3.根据权利要求1所述的基于可穿戴移动眼镜的安全帽及工作服智能识别方法， 其特 征在于： 所述步骤S10中BTBNet初次训练完成后， 修改BTBNet的损失函数为TripletLoss函 数， helmet_head和head整体作为anchor和positive， helmet_head_l。

6、ike做为negative； 所 述TripletLoss函数具体如下： Lmax(d(a,p)-d(a,n)+margin,0)； 其中a为anchor， p为positive， n为negative， margin设为47， d(a,b)为1-范数。 4.根据权利要求3所述的基于可穿戴移动眼镜的安全帽及工作服智能识别方法， 其特 征在于： 所述d(a,b)为1-范数具体如下: d(a,b)|a-b|1。 5.根据权利要求1所述的基于可穿戴移动眼镜的安全帽及工作服智能识别方法， 其特 征在于： 所述步骤S40中的边长的求取公式如下： 其中final_width为拟合边长， rectangle。

7、_width为检测框的边长， n为同一检测目标上 矩形框的数量； 该拟合边长为最终边长。 6.根据权利要求1所述的基于可穿戴移动眼镜的安全帽及工作服智能识别方法， 其特 征在于： 所述步骤S50中的IoOne具体如下： 权利要求书 1/2 页 2 CN 111274888 A 2 其中A和B为检测出来的目标； 当A为人， B1为上身制服,B2为下身制服时： 若IoOne(A， B1)0.6认定人下半被遮挡， 且制服规范； 若IoOne(A,B2)0.6认定人上半身被遮挡， 1且制服规范； 若IoOne(A,B1)0.3IoOne(A,B2)0.3认定人未被遮挡， 且制服规范； 其他情况， 认定。

8、制服不与目标人匹配， 若所有的制服都不与目标人匹配， 则认定制服不 规范； 制服不规范时， 储存被矩形框圈出制服不规范人的此帧图片； 前端接收返回值， 显示图 片并报警。 权利要求书 2/2 页 3 CN 111274888 A 3 一种基于可穿戴移动眼镜的安全帽及工作服智能识别方法 技术领域 0001 本发明涉及识别安全帽及制服领域， 特别涉及一种基于可穿戴移动眼镜的安全帽 及工作服智能识别方法。 背景技术 0002 目前， 许多工地、 矿区、 建筑地等工人作业场所都有佩戴安全帽及穿制服的警告标 识， 也会利用监控设备进行在线监管， 但是依旧难以做到全面管控， 全靠作业人员的自主意 识。 市。

9、场上出现了一些智能识别设备， 但现有的人工智能模型是基于固定的监控设备， 一般 只识别是否佩戴安全帽或是否穿制服其中的一种行为， 局限性大， 无法做到全面、 有效的管 控作业人员着装行为。 发明内容 0003 为解决上述背景技术中提到的现有的人工智能模型是基于固定的监控设备导致 的局限性大， 无法做到全面、 有效的管控作业人员着装行为的问题， 本发明提供一种基于可 穿戴移动眼镜的安全帽及工作服智能识别方法， 所述方法步骤具体如下： 0004 S10、 在服务器加载轻量级网络BTBNet， 构建并训练形成识别模型； 0005 S20、 所述服务器与智能眼镜进行实时视频数据传输， 通过所述服务器对。

10、所述实时 视频数据进行抽帧， 获取图片； 将获取的图片输入所述BTBNet， 通过所述BTBNet输出识别目 标的label以及相对应的score和box； 0006 S30、 在所述获取图片上的一个制服目标上设置一个或多个矩形框； 在所述矩形框 上， 取与长边平行的对称轴交矩形框的两点以及矩形框的中心点， 加入使用中心点形成的 曲线进行拟合， 若拟合优度， 即R20.85， 则判断为同一个制服目标； 0007 S40、 求取步骤S30中的矩形框认定的边长； 0008 S50、 通过IoOne检测制服规范情况， 得到该目标人员是否有穿制服的结果； 0009 S60、 识别和判断该目标人员是否佩。

11、戴安全帽， 得出该目标人员是否佩戴安全帽的 结果； 0010 S70、 根据获得的是否有穿制服的结果和是否佩戴安全帽的结果确认该目标人员 的服装和安全帽是否符合规范， 若不规范则进行告警处理。 0011 进一步地， 所述步骤S10中的BTBNet.识别目标包括如下： 0012 整体的人对象human、 上身制服up_uniform、 下身制服down_uniform、 没带安全帽 的头部head、 戴了安全帽的头部helmet_head,、 球形或椭球形类似安全帽头部的干扰物品 helmet_head_like。 0013 进一步地， 所述步骤S10中BTBNet初次训练完成后， 修改BTBN。

12、et的损失函数为 TripletLoss函数， helmet_head和head整体作为anchor和positive， helmet_head_like做 为negative； 所述TripletLoss函数具体如下： 0014 Lmax(d(a,p)-d(a,n)+margin,0)； 说明书 1/5 页 4 CN 111274888 A 4 0015 其中a为anchor， p为positive， n为negative， margin设为47， d(a,b)为1-范数。 0016 进一步地， 所述d(a,b)为1-范数具体如下: 0017 d(a,b)|a-b|1。 0018 进一步地，。

13、 所述步骤S40中的边长的求取公式如下： 0019 0020 其中final_width为拟合边长， rectangle_width为检测框的边长， n为同一检测目 标上矩形框的数量； 该拟合边长为最终边长。 0021 进一步地， 所述步骤S50中的IoOne具体如下： 0022其中A和B为检测出来的目标； 0023 当A为人， B1为上身制服,B2为下身制服时： 0024 若IoOne(A， B1)0.6认定人下半被遮挡， 且制服规范； 0025 若IoOne(A,B2)0.6认定人上半身被遮挡， 1且制服规范； 0026 若IoOne(A,B1)0.3IoOne(A,B2)0.3认定人未被。

14、遮挡， 且制服规范； 0027 其他情况， 认定制服不与目标人匹配， 若所有的制服都不与目标人匹配， 则认定制 服不规范； 0028 制服不规范时， 储存被矩形框圈出制服不规范人的此帧图片； 前端接收返回值， 显 示图片并报警。 0029 本发明提供的基于可穿戴移动眼镜的安全帽及工作服智能识别方法， 通过可穿戴 式移动智能眼镜监测施工现场人员是否按要求佩戴安全帽和穿制服， 以达到全面、 有效管 控作业人员着装行为的目的。 使用可穿戴式移动智能眼镜， 可以随时监测施工现场的每一 个角落， 不遗漏， 有效解决了固定监控设备不能流动监控以及监控范围小等问题， 另外， 使 用可穿戴式移动智能眼镜去同时。

15、识别判断作业人员是否佩戴安全帽和穿制服， 能多方面规 范工作人员安全着装行为， 确保安全生产。 附图说明 0030 为了更清楚地说明本发明实施例或现有技术中的技术方案， 下面将对实施例或现 有技术描述中所需要使用的附图作一简单地介绍， 显而易见地， 下面描述中的附图是本发 明的一些实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下， 还可以根 据这些附图获得其他的附图。 0031 图1为本发明提供的基于可穿戴移动眼镜的安全帽及工作服智能识别方法框图。 具体实施方式 0032 为使本发明实施例的目的、 技术方案和优点更加清楚， 下面将结合本发明实施例 中的附图， 对本发明实施例中。

16、的技术方案进行清楚、 完整地描述， 显然， 所描述的实施例是 本发明一部分实施例， 而不是全部的实施例。 基于本发明中的实施例， 本领域普通技术人员 在没有作出创造性劳动前提下所获得的所有其他实施例， 都属于本发明保护的范围。 0033 具体实施时， 一种基于可穿戴移动眼镜的安全帽及工作服智能识别方法， 所述方 说明书 2/5 页 5 CN 111274888 A 5 法步骤具体如下： 0034 S10、 服务器加载一个轻量级网络BTBNet， 为了保证设备识别的实时性， 制服识别 的网络不会采用相对沉重的网络.识别目标分为六类， 一是整体的人对象human， 二是上身 制服up_unifor。

17、m， 三是下身制服down_uniform， 四是没带安全帽的头部head， 五是戴了安全 帽的头部helmet_head,六是球形或椭球形类似安全帽头部的干扰物品helmet_head_like。 0035 特别指出， BTBNet初次训练完成后， 我们修改BTBNet的损失函数为TripletLoss函 数， 进行少量数据集的二次训练， helmet_head和head整体作为anchor和positive， helmet_ head_like做为negative， 以加大安全帽头部， 头部和干扰物品的区分度， 提高识别准确率。 Tripletloss(1)如下： 0036 Lmax(d(。

18、a,p)-d(a,n)+margin,0)(1) 0037 其中a为anchor， p为positive， n为negative， margin设为47， d(a,b)为1-范数， 见 公式(2)： 0038 d(a,b)|a-b|1(2)； 0039 由于人的姿态繁多， 在不同姿态下， 制服的语义特征比较复杂， BTBNet恰好可以识 别这个高层次的特征。 BTBNet这个网络是一个全卷积网络， 大量使用残差的跳层连接， 残差 中的1*1卷积， 使用networkinnetwork的想法， 大量的减少了每次卷积的channel， 一方面减 少了参数量， 另一方面在一定程度上减少了计算量。 B。

19、TBNet输出了3个不同尺度的 featuremap,这个借鉴了FPN(featurepyramidnetworks)， 采用多尺度来对不同size的目标 进行检测， 越精细的gridcell就可以检测出越精细的物体。 同时BTBNet加入了旋转anchor 的ssp,确保了当设备的视角改变时仍然可以得出同样的识别结果。 网络主要利用分组卷积 和点卷积(分组卷积和点卷积都是指卷积层， 是网络中的结构。 其中点卷积又称空洞卷积， 扩张卷积)替换了原来标准卷积， 我们采用的分组卷积的组数为4， 点卷积的扩展率dilated rate2， 可以极大的消减主干网络中卷积运算的部分， 使得网络的整体计算。

20、量大大减少。 训练好的模型可以比较准确地且快速地识别对象； 0040 S20、 智能眼镜上配有高清摄像头， 实时传输视频信息给服务器。 开启BTBNet网络 模块后， 服务器存储视频信息的同时， 使用opencv对视频进行抽帧， 获取图片， 将图片输入 训练好的BTBNet网络， 网络输出识别目标的label以及相对应的score和box。 然后我们提取 目标， 干扰物不需要提取， 故不设定阈值， 目标人的提取阈值r10.5,上身制服的提取阈值 r20.4， 下身制服的提取阈值r30.35， 没戴安全帽头部的提取阀值r40.65,戴了安全 帽的头部提取阀值r50.65,以筛选可信度较高的目标，。

21、 目标为一次提取， 以减少处理器的 开销； 0041 S30、 鉴于制服在识别时因穿着上下身同色， 难易区分分界点， 可能产生一个制服 目标有多个框， 在上步获取到的矩形框(该步骤获取的矩形框来自S20中筛选过的box)上， 取与长边平行的对称轴交矩形框的两点以及矩形框的中心点， 加入使用中心点形成的曲线 进行拟合， 若拟合优度(GoodnessofFit)， 即R20.85， 则判断为同一个制服目标。 该步骤中， 矩形框由左上角横坐标x1,左上角纵坐标y1,右下角横坐标x2,纵坐标y2表示。 一个矩形框 的四个参数在BTBNet的网络中的表示其实就是最后网络输出的的若干特征向量中一个特 征向。

22、量的4个参数， 特征向量中还有其他参数， 有点表示置信度， 有的表示类别等。 这些数值 由框架(我们采用的框架是mxnet)相关代码提取转换， 最后输出为多维数组label， score和 说明书 3/5 页 6 CN 111274888 A 6 box。 其中矩形框的四个数值就是来自box。 0042 S40、 利用公式(3)求取矩形框的认定的边长(长宽同理)， 其中final_width为拟合 边长， rectangle_width为检测框的边长， n为同一检测目标上矩形框的数量。 0043 0044 该拟合边长为最终边长。 同理对于框的左上角的位置定点的x,y也是如此计算； 0045 该。

23、步骤中， 取矩形框的边以及x,y的目的是用于计算人的识别框和上身制服、 下身 制服的识别框的相交面积所占人识别框面积的比例。 0046 因为视频中工人的上身或者下身时常会有遮挡的情况， 如果简单判断有没有检测 到上身制服或下身制服， 容易将被遮挡部分的工人误判为没穿制服。 0047 假设人的下身被遮挡时， 人的检测框会变小， 而上身制服因为未被遮挡， 制服检测 框几乎不变， 此时制服检测框的大小所占人检测框的比例会变大许多。 所以通过计算制服 检测框占人检测框的比例就可以判断人是否被遮挡。 排除了因工人被遮挡而导致的误判， 误报警的可能。 0048 S50、 利用公式(4)， 计算IoOne,。

24、其中A和B为检测出来的目标。 0049 0050 当A为人， B1为上身制服,B2为下身制服时： 0051 若IoOne(A， B1)0.6认定人下半被遮挡， 且制服规范； 0052 若IoOne(A,B2)0.6认定人上半身被遮挡， 且制服规范； 0053 若IoOne(A,B1)0.3IoOne(A,B2)0.3认定人未被遮挡， 且制服规范； 0054 其他情况， 认定制服不与目标人匹配， 若所有的制服都不与目标人匹配， 则认定制 服不规范。 0055 制服不规范时， 返回0， 并且返回并储存被矩形框圈出制服不规范人的此帧图片。 前端接收返回值， 显示图片并报警； 0056 上述公式(3)。

25、用于计算准确的检测框的位置和大小信息， 而本专利申请设计的公 式(4)， 正是利用检测框的位置和大小关系来计算人的识别框和上身制服、 下身制服的识别 框的相交面积所占人识别框面积的比例， 提高了检测精度。 0057 S60、 因为S10使用了TripletLoss对模型进行了二次训练， 网络对head和helmet_ head的识别率较高， 故不需特殊处理： 0058 检测到head则认定该人没戴安全帽； 0059 检测到helmet_head,则认定该人戴了安全帽； 0060 当判定该人没有带安全帽时， 返回0， 并且返回并储存被矩形框圈出没戴安全帽人 头的此帧图片； 前端接收返回值， 显示。

26、图片并报警。 0061 具体地， 智能移动眼镜装置含训练成熟BTBNe的服务器(S10)； 施工现场人员佩戴 智能移动眼镜， 识别目标人后， 从视频流中对图片进行抽帧处理(S20)； 对人员是否穿规定 制服进行识别和判断， 得到该目标人是否有穿制服结果(S30、 S40、 S50)； 对人员是否佩戴安 全帽进行识别和判断， 得到该目标人是否有穿制服结果(S60)； 最后， 根据设定的阈值情况， 发送返回值至前端， 前端接收返回值， 显示返回图片的同时进行告警处理。 说明书 4/5 页 7 CN 111274888 A 7 0062 为检验本发明提供的基于可穿戴移动眼镜的安全帽及工作服智能识别方。

27、法在实 际中的应用， 现提供如下测试： 0063 测试过程中， 识别了658位施工人员， 根据人员着装情况， 我们设定不穿制服或者 不戴安全帽均输出告警参数后， 测试技术人员佩戴智能移动眼镜到施工现场进行随机测 试， 对施工目标人员进行智能识别， 判断目标人员是否穿制服或者是否佩戴安全帽。 测试结 果如下： 0064 (1)识别不佩戴安全帽人员有11位， 实际不佩戴安全帽有12位， 得出通过智能移动 眼镜识别不佩戴安全帽准确率为91.7； 0065 (2)识别不穿制服人员有10位， 实际不穿制服有11位， 得出通过智能移动眼镜识别 不穿制服的准确率为90.9。 0066 通过智能移动眼镜对施工。

28、现场的安全帽佩戴及制服进行实时分析， 对未按要求着 装的作业人员进行实时截图告警， 降低进入工地等危险区域的人员不带安全帽、 不穿工作 服的可能性， 极大的提高个体的安全规范意识。 0067 本发明提供的基于可穿戴移动眼镜的安全帽及工作服智能识别方法， 通过智能移 动眼镜对施工现场的安全帽佩戴及制服进行实时分析， 对未按要求着装的作业人员进行实 时截图告警， 降低进入工地等危险区域的人员不带安全帽、 不穿工作服的可能性， 极大的提 高个体的安全规范意识。 0068 本发明提供的基于可穿戴移动眼镜的安全帽及工作服智能识别方法， 通过可穿戴 式移动智能眼镜监测施工现场人员是否按要求佩戴安全帽和穿制。

29、服， 以达到全面、 有效管 控作业人员着装行为的目的。 使用可穿戴式移动智能眼镜， 可以随时监测施工现场的每一 个角落， 不遗漏， 有效解决了固定监控设备不能流动监控以及监控范围小等问题， 另外， 使 用可穿戴式移动智能眼镜去同时识别判断作业人员是否佩戴安全帽和穿制服， 能多方面规 范工作人员安全着装行为， 确保安全生产。 0069 最后应说明的是： 以上各实施例仅用以说明本发明的技术方案， 而非对其限制； 尽 管参照前述各实施例对本发明进行了详细的说明， 本领域的普通技术人员应当理解： 其依 然可以对前述各实施例所记载的技术方案进行修改， 或者对其中部分或者全部技术特征进 行等同替换； 而这些修改或者替换， 并不使相应技术方案的本质脱离本发明各实施例技术 方案的范围。 说明书 5/5 页 8 CN 111274888 A 8 图1 说明书附图 1/1 页 9 CN 111274888 A 9 。