基于监控视频时序动作定位和异常检测的变电站人员行为识别方法.pdf

《基于监控视频时序动作定位和异常检测的变电站人员行为识别方法.pdf》由会员分享，可在线阅读，更多相关《基于监控视频时序动作定位和异常检测的变电站人员行为识别方法.pdf（17页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010103140.7 (22)申请日 2020.02.19 (71)申请人 山东大学 地址 250000 山东省济南市历城区山大南 路27号 申请人 智洋创新科技股份有限公司 国网浙江省电力有限公司衢州供电 公司 国网浙江省电力有限公司 (72)发明人 聂礼强战新刚郑晓云姚一杨 徐万龙尉寅玮 (74)专利代理机构 济南竹森知识产权代理事务 所(普通合伙) 37270 代理人 吕利敏孙宪维 (51)Int.Cl. G06K 9/00(2006.01) G06K 9/62(2。

2、006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06Q 50/06(2012.01) G06Q 50/26(2012.01) (54)发明名称 基于监控视频时序动作定位和异常检测的 变电站人员行为识别方法 (57)摘要 一种基于监控视频时序动作定位和异常检 测的变电站人员行为识别方法， 利用先验知识进 行了变电站人员异常行为监控视频数据集的自 主采集、 处理和构建， 引入了新的变电站异常行 为检测视频数据集； 本发明通过基于迁移学习的 视频动作检测模型对时序信息进行获取， 可以实 现精确的监控视频时序动作定位， 从而在一段未 剪辑的视频中找到工作人。

3、员动作开始和结束的 时间， 并对动作进行分类。 同时， 对于视频动作检 测得到的人员特定行为视频片段。 本发明利用视 频异常检测技术， 通过采用多示例学习在弱监督 下进行训练， 得到的模型可以判断片段中是否存 在异常行为， 实现了准确检测异常行为及发生的 时序位置， 提高了变电站视频监控的利用价值和 异常检测准确性。 权利要求书3页 说明书10页 附图3页 CN 111291699 A 2020.06.16 CN 111291699 A 1.一种基于监控视频时序动作定位和异常检测的变电站人员行为识别方法,其特征在 于， 该方法包括以下步骤: S1： 利用先验知识自主采集、 处理和构建变电站人员。

4、异常行为监控视频数据集； S2： 构建3D卷积特征提取网络： 对于输入的未分割变电站监控长视频进行特征提取， 抽 取监控视频序列的特征信息； S3： 构建时序候选区域提取网络： 用来提取可能存在变电站人员异常行为的候选时序 片段； S4： 构建时序行为分类网络： 对提取到的变电站人员行为视频段进行分类和回归操作； S5： 构建异常行为检测网络： 对经步骤S4时序行为分类网络得到候选时序片段进行异 常行为检测； S6： 采用迁移学习对由S2-S4组成的结构进行端到端的联合训练， 利用训练得到的模型 可以处理监控长视频， 以截取简单分类的行为类别视频片段； S7： 设计一种基于时空连续性的帧聚类算。

5、法对视频进行分割， 采用基于多示例学习的 异常行为检测网络对视频片段中内容进行评估， 从而识别视频片段中是否存在异常行为， 并确定异常行为类型及精确位置。 2.根据权利要求1所述的一种基于监控视频时序动作定位和异常检测的变电站人员行 为识别方法,其特征在于， 所述步骤S1中数据集的构建方法包括： S11： 采集不同拍摄角度、 背景环境下的变电站人员行为监控视频； S12： 对典型行为类别进行时序行为标注， 以构建用于时序动作检测任务的视频数据 集； 时序动作检测任务是基于变电站监控长视频进行人员行为的时间定位和行为类别分类 的； S13： 对视频进行标签， 通过标注视频片段是否存在异常行为， 。

6、构建异常行为识别视频 数据集； 异常行为识别任务是基于时序动作检测模块分割得到的视频片段按所分类别进行 异常行为检测的。 3.根据权利要求1所述的一种基于监控视频时序动作定位和异常检测的变电站人员行 为识别方法,其特征在于， 所述步骤S2中构建3D卷积特征提取网络的方法包括： S21： 对C3D特征提取网络进行改进： 利用深度可分离卷积替换普通的卷积操作； S22： 采用改进的C3D特征提取网络提取变电站监控视频序列帧的特征： 输入监控视频的帧序列经过由多层深度可分离3D卷积层构成的特征提 取网络处理， 得到的特征图。 4.根据权利要求3所述的一种基于监控视频时序动作定位和异常检测的变电站人员。

7、行 为识别方法,其特征在于， 所述步骤S3构建候选时序提取网络的方法包括： S31： 首先将S2得到的Cconv5b特征图作为输入进行候选时序生成； S32： 利用一个3x3x3的3D卷积过滤器来扩展时序感受野， 再用大小为的3D最 大池化对其进行下采样， 将空间维度降至得到获得了时间位置特征的特征图 权利要求书 1/3 页 2 CN 111291699 A 2 每个时序位置上的512维的特征向量用来预测中心位置的相对偏移 ci, li和每个Anchor的长度ci,li， i1,K； S33： 在特征图Ctl上增加两个1x1x1的卷积， 预测候选时序片段为背景或存在行为活动 的置信度得分。 5。

8、.根据权利要求4所述的一种基于监控视频时序动作定位和异常检测的变电站人员行 为识别方法,其特征在于， 所述步骤S4中构建时序行为分类网络的方法为： S41： 以0.6为阈值， 对步骤S3得到的候选时序片段进行非极大值抑制操作， 得到候选时 序片段； S42： 将RoI映射到步骤S2得到的Cconv5b特征图中， 通过3D RoI池化操作得到512x1x4x4 的输出特征； S43： 将输出特征首先送入一个大的全连接层进行特征综合， 再用两个全连接层分别进 行分类和回归： 通过分类层进行变电站人员行为类别分类， 通过回归层调整这些行为片段 的开始和结束时间。 6.根据权利要求3所述的一种基于监控。

9、视频时序动作定位和异常检测的变电站人员行 为识别方法,其特征在于， 所述步骤S5异常行为检测网络构建的方法为： S51： 将时序动作检测部分截取到的特定视频片段画面尺寸； S52： 将每个视频片段划分为一组固定长度1帧的单位视频段， 通过基于时空连续性的 K-means帧聚类算法对单位视频段进行聚类， 每一个聚类结果代表一个完整的动作； S53： 使用步骤S2构建的3D卷积特征提取网络对视频片段进行特征提取， 提取每16帧的 Cconv5b特征均值， 并添加一个全连接层得到4096维的特征； S54： 将提取到的特征输入到由3个连续全连接层构成的多层感知器为每一个段打分， 视频中异常分数最大段。

10、的分数作为异常分数， 获得最后的预测异常值。 7.根据权利要求6所述的一种基于监控视频时序动作定位和异常检测的变电站人员行 为识别方法,其特征在于， 所述的步骤S53中， MLP中第一个全连接层共512个神经元， 使用线 性整流函数(Rectified Linear Unit,ReLU)激活； 第二个全连接层为32个神经元， 第三个 全连接层为1个神经元， 使用Sigmoid函数激活。 8.根据权利要求5所述的一种基于监控视频时序动作定位和异常检测的变电站人员行 为识别方法,其特征在于， 所述步骤S6时序动作检测模型训练和运行的过程具体为： S61： 所述迁移学习是先用THUMOS2014数据。

11、集联合训练步骤S2-S4中分别对应的网络模 块， 固定步骤S2特征提取网络的前四层的参数， 再在步骤S1构造的数据集上进行训练， 得到 后面网络结构的参数； S62： 按正负样本1:3的比例， 对步骤S4得到的RoI采样训练； S63： 对于步骤S3的候选时序提取网络和步骤S4的时序行为分类网络， 同时优化分类任 务和回归任务： 分类任务Lcls采用softmax损失， 回归任务Lreg采用smooth L1损失： 其中， Ncls和Nreg代表一次训练所选取的样本数和进行回归的候选时序片段数量， 是损 权利要求书 2/3 页 3 CN 111291699 A 3 失平衡参数， i是一个批处理。

12、中候选时序片段的下标， i是将候选时序段预测为人员行为的 可能性， 是ground truth，是预测的时序片段对于候选时序片段的相对偏移 量 ，是ground truth与候选时序片段的坐标变换 ， 其计算公式为 ： S64： 基于步骤S2-S4构建的时序动作检测网络模块， 利用S61-S63训练得到的模型参 数， 对变电站监控长视频进行处理， 以截取简单分类的行为类别视频片段。 9.根据权利要求7所述的一种基于监控视频时序动作定位和异常检测的变电站人员行 为识别方法,其特征在于， 所述步骤S7中对异常行为检测模型训练和运行的过程包括： S71： 采用基于时空连续性的K-means帧聚类算法。

13、将视频片段分为32组包含单个完整动 作的视频段； S72： 利用步骤S71的视频段分割算法， 将每个训练视频分割为32个包含单一完整动作 的片段,所述片段为MIL中的示例,而每个视频则为MIL中的包： 训练时， 随机选取10个正例 包和10个负例包作为mini-batch进行训练； S73： 使用步骤S2构建的3D卷积特征提取网络提取每个示例片段的时空特征， 并进行一 个全连接操作得到4096维的特征， 作为后续多示例学习所需的特征图； S74： 使用步骤S54构造的MLP对每一个段打分， 然后从正例包中挑一个异常得分最大的 段作为潜在异常样本， 从负例包中挑一个异常得分最大的段作为非异常样本。

14、， 用上述两个 样本来训练MLP的模型参数， 目标函数为： 其中， a表示正例包， va为异常样本； n表示负例包， vn为非异常样本， f为模型预测函数； 采用Hinge-loss损失函数拉大正例和负例的得分差距， 训练的效果就是模型对异常样 本输出高的分， 对非异常样本输出低得分； Hinge-loss损失函数为: 添加时序平滑约束， 损失函数变为： 为了防止模型过拟合， 最后再添加l2正则， 得到最终的损失函数： L(w)l( a, n)+|w|F 其中， w代表模型权重； S75： 基于步骤S5构建的异常行为检测网络， 利用步骤S72-S74训练得到的模型参数， 对 步骤S64处理得到。

15、的行为类别视频片段进行检测， 以识别出特定行为片段是否存在异常行 为以及异常行为的类别和发生的精确时序位置。 权利要求书 3/3 页 4 CN 111291699 A 4 基于监控视频时序动作定位和异常检测的变电站人员行为识 别方法 技术领域 0001 本发明公开一种基于监控视频时序动作定位和异常检测的变电站人员行为识别 方法， 属于电网智能管理的技术领域。 背景技术 0002 在当前电力系统中， 输变电的运行和维护尤为重要， 直接关系到电力系统的正常 运转和社会的生产生活用电。 在电力系统的运转过程中， 一些设备出现运行故障会造成电 力系统崩溃， 而相关工作人员的失误也会产生电力系统的问题。。

16、 在很多的变电场景中， 经常 会出现因为工作人员异常操作而造成的安全事故， 这些事故的发生不仅给操作人员带来了 极大的危险， 而且严重危害社会生产生活秩序。 因此， 变电工作环境的安全管理和安全监控 越来越受到重视和关注。 0003 视频安全监控能够实现实时监控、 集中管理， 是保障变电站工作人员生命安全和 输变电设备正常运行的一种重要方式。 其覆盖率高、 稳定性好， 可以做到全方位、 全天候地 记录变电工作场景的情况。 虽然视频监控技术目前已经取得长足发展， 并且被广泛使用于 变电场景， 但是依然存在着各种不足。 通常视频监控只是单纯记录变电工作场景状况的视 频信息， 只有拍摄和保存的功能，。

17、 后续判断和处理需要设置专人24小时不间断监视， 造成人 力资源的浪费。 并且变电房全日监控， 数据信息量大、 无用信息多， 只依靠监控人员轮班肉 眼监控识别效率极低。 因此研究基于视频监控的变电场景人员异常行为检测方法是非常必 要的。 0004 中国专利文献CN110084151A公开了一种基于非局部网络深度学习的视频异常行 为判别方法， 属于计算机视觉与智能、 多媒体信号处理领域。 本发明使用多示例学习的思路 构建训练集合， 定义和标注视频数据的正负包和示例。 采用非局部网络进行视频样本的特 征提取， 残差结构的I3D网络作为提取时空信息的卷积滤波器， 非局部网络块融合长距离依 赖信息， 。

18、以满足视频特征提取的时序和空间需求。 获取特征后， 通过弱监督的学习方法建立 回归任务， 训练模型。 本发明对可对未标注的类别进行判别， 适用于异常检测任务正样本稀 少并且类内多样性高的状况。 0005 上述专利文献CN110084151A采用基于非局部网络深度学习进行视频异常行为判 别， 相比于专利文献， 本发明采用改进的C3D特征提取网络提取变电站监控视频序列帧的特 征； 构建时序候选区域提取网络， 从监控长视频中提取可能存在变电站人员异常行为的候 选时序片段； 构建行为分类网络， 对提取到的变电站人员行为视频段进行分类； 构建异常行 为检测网络， 对时序行为分类网络得到的候选时序片段进行。

19、异常行为检测。 0006 专利文献CN110084151A的方法无法适用于变电场景监控长视频， 相比之下， 但是 本发明可基于3D特征提取网络构建多网络融合模型， 对监控长视频采用先时序候选区域提 取， 再视频段时序行为分类， 最后异常行为检测的方式完成变电场景监控视频异常行为判 别。 说明书 1/10 页 5 CN 111291699 A 5 0007 专利文献CN110084151A的通过将视频平均截成8段的方法获取多示例学习所需示 例， 但是本发明设计一种基于时空连续性的帧聚类算法对视频进行分割， 将每个训练视频 分割为32个包含单一完整动作的片段,这些片段作为MIL中的示例， 能够实现。

20、精确的视频片 段切割和内容评估。 0008 综上， 现有技术领域依然存在诸多技术不足， 难以被应用至变电站场景中以识别 工作人员的具体行为。 发明内容 0009 针对现有技术的不足， 本发明公开一种基于监控视频时序动作定位和异常检测的 变电站人员行为识别方法。 0010 本发明所要解决的技术问题如下： 0011 (1)由于当前网络上无开源的变电站监控视频数据， 需要进行数据集的自主收集， 并通过对人员动作的时序分类和异常行为进行标注， 构建新的变电站异常行为检测视频数 据集。 在变电站异常行为发生频率低， 数据的收集和标注比较困难的情况下， 如何构建合适 的变电站人员异常行为检测训练数据集是当。

21、前需要解决的重要问题。 0012 (2)由于变电站异常事件发生的频率很低， 变电站人员异常行为监控视频数据不 易收集， 导致自主构建的行为检测数据集样本数有限。 在数据不充分的情况下， 如何构建高 效的3D卷积特征提取网络， 使模型可以通过少量变电站监控视频数据充分挖掘视频序列帧 的特征是需要研究的重点问题。 0013 (3)由于时序动作检测需要将帧图像结合时序信息， 变电站监控场景下的人员行 为动作时间跨度比较大， 时序动作边界比较模糊。 如何实现高质量的时序片段切割和准确 的动作分类是另一个重点问题。 0014 (4)在异常行为检测过程中， 要精确标注每个异常行为在视频中时间位置是非常 耗。

22、费时间的， 同时异常事件的稀少导致训练中的正样本远少于负样本， 并且在变电站监控 场景中， 不管是正常还是异常事件都是复杂多样的， 类别内的多样性很高。 如何解决上述问 题实现精准的变电站人员异常行为检测是本发明的关键问题。 0015 发明概述： 0016 本发明旨在利用变电站的监控视频信息， 通过基于3D卷积的视频时序动作定位和 异常检测技术， 实现变电站人员的异常行为自动识别。 0017 针对变电站视频监控下的人员异常行为特点， 本发明利用先验知识进行了变电站 人员异常行为监控视频数据集的自主采集、 处理和构建， 引入了新的变电站异常行为检测 视频数据集。 本发明还对于监控拍摄得到的视频数。

23、据， 通过基于迁移学习的视频动作检测 模型对时序信息进行获取， 可以实现精确的监控视频时序动作定位， 从而在一段未剪辑的 视频中找到工作人员动作开始和结束的时间， 并对动作进行分类。 同时， 对于视频动作检测 得到的人员特定行为视频片段， 本发明利用视频异常检测技术， 通过采用多示例学习 (Multiple Instance Learning,MIL)在弱监督下进行训练， 得到的模型可以判断片段中是 否存在异常行为， 实现了准确检测异常行为及发生的时序位置， 提高了变电站视频监控的 利用价值和异常检测准确性。 0018 本发明的技术方案如下： 说明书 2/10 页 6 CN 111291699。

24、 A 6 0019 一种基于监控视频时序动作定位和异常检测的变电站人员行为识别方法,其特征 在于， 该方法包括以下步骤: 0020 S1： 利用先验知识自主采集、 处理和构建变电站人员异常行为监控视频数据集； 0021 S2： 构建3D卷积特征提取网络： 对于输入的未分割变电站监控长视频进行特征提 取， 抽取监控视频序列的特征信息； 0022 S3： 构建时序候选区域提取网络： 用来提取可能存在变电站人员异常行为的候选 时序片段； 0023 S4： 构建时序行为分类网络： 对提取到的变电站人员行为视频段进行分类和回归 操作； 0024 S5： 构建异常行为检测网络： 对经步骤S4时序行为分类网。

25、络得到候选时序片段进 行异常行为检测； 0025 S6： 采用迁移学习对由S2-S4组成的结构进行端到端的联合训练， 利用训练得到的 模型可以处理监控长视频， 以截取简单分类的行为类别视频片段； 0026 S7： 设计一种基于时空连续性的帧聚类算法对视频进行分割， 采用基于多示例学 习的异常行为检测网络对视频片段中内容进行评估， 从而识别视频片段中是否存在异常行 为， 并确定异常行为类型及精确位置。 0027 根据本发明优选的， 所述步骤S1中数据集的构建方法包括： 0028 S11： 利用架设在变电站中的视频监控设备， 采集不同拍摄角度、 背景环境下的变 电站人员行为监控视频； 0029 S。

26、12： 对典型行为类别进行时序行为标注， 以构建用于时序动作检测任务的视频数 据集； 时序动作检测任务是基于变电站监控长视频进行人员行为的时间定位和行为类别分 类的； 其中所述的典型行为包括但不限于： 运动、 操作仪器、 监测数据等； 0030 S13： 对视频进行标签， 通过标注视频片段是否存在异常行为， 构建异常行为识别 视频数据集； 异常行为识别任务是基于时序动作检测模块分割得到的视频片段按所分类别 进行异常行为检测的； 其中， 所述异常行为包括但不限于违规操作、 室内疾跑、 躯干倒地等。 0031 根据本发明优选的， 所述步骤S2中构建3D卷积特征提取网络的方法包括： 0032 S21。

27、： 对C3D(3D Convolution)特征提取网络进行改进： 利用深度可分离卷积替换 普通的卷积操作； 此改进用于在保证精度的前提下大幅减少计算量和模型大小； 0033 S22： 采用改进的C3D特征提取网络提取变电站监控视频序列帧的特征： 0034输入监控视频的帧序列经过由多层深度可分离3D卷积层构成的特 征提取网络处理， 得到的特征图。 0035 根据本发明优选的， 所述步骤S3构建候选时序提取网络的方法包括： 0036 S31： 首先将S2得到的Cconv5b特征图作为输入进行候选时序生成， 假设时序片段均 匀分布在的时间域上， 并且时间域上每个位置生成K个不同长度的候选时序， 则。

28、产生总共 有个候选时序片段； 说明书 3/10 页 7 CN 111291699 A 7 0037S32： 利用一个3x3x3的3D卷积过滤器来扩展时序感受野， 再用大小为的 3D最大池化对其进行下采样， 将空间维度降至得到获得了时间位置特征的特征图 每个时序位置上的512维的特征向量用来预测中心位置的相对偏移 ci, li和每个Anchor的长度ci,li， i1,K； 0038 S33： 在特征图Ctl上增加两个1x1x1的卷积， 预测候选时序片段为背景或存在行为 活动的置信度得分。 0039 根据本发明优选的， 所述步骤S4中构建时序行为分类网络的方法为： 0040 S41： 以0 .6。

29、为阈值， 对步骤S3得到的候选时序片段进行非极大值抑制(Non- maximum Suppression,NMS)操作， 得到质量较高的兴趣区域(Region of interest,RoI)候 选时序片段； 0041 S42： 将RoI映射到步骤S2得到的Cconv5b特征图中， 通过3D RoI池化操作得到 512x1x4x4的输出特征； 0042 S43： 将输出特征首先送入一个大的全连接层进行特征综合， 再用两个全连接层分 别进行分类和回归： 通过分类层进行变电站人员行为类别分类， 通过回归层调整这些行为 片段的开始和结束时间。 所述两个全连接层分别指分类层和回归层， 分类层进行行为类。

30、别 分类， 回归层进行行为时间回归。 0043 根据本发明优选的， 所述步骤S5异常行为检测网络构建的方法为： 0044 S51： 将时序动作检测部分截取到的特定视频片段画面尺寸； 尺寸和帧率选择可以 根据应用场景的变化进行调整， 例如调整为360 x480， 帧率固定为32fps； 0045 S52： 将每个视频片段划分为一组固定长度1帧的单位视频段， 通过基于时空连续 性的K-means帧聚类算法对单位视频段进行聚类， 每一个聚类结果代表一个完整的动作； 最 终将视频分割为32组包含单个完整动作的视频段； 0046 S53： 使用步骤S2构建的3D卷积特征提取网络对视频片段进行特征提取， 。

31、提取每16 帧的Cconv5b特征均值， 并添加一个全连接层得到4096维的特征； 0047 S54： 将提取到的特征输入到由3个连续全连接层构成的多层感知器(Multi-Layer Perceptron， MLP)为每一个段打分， 视频中异常分数最大段的分数作为异常分数， 获得最后 的预测异常值。 0048 根据本发明优选的， 所述的步骤S53中， MLP中第一个全连接层共512个神经元， 使 用线性整流函数(Rectified Linear Unit,ReLU)激活； 第二个全连接层为32个神经元， 第 三个全连接层为1个神经元， 使用Sigmoid函数激活。 0049 根据本发明优选的，。

32、 所述步骤S6时序动作检测模型训练和运行的过程具体为： 0050 S61： 所述迁移学习是先用THUMOS2014数据集联合训练步骤S2-S4中分别对应的网 络模块， 固定步骤S2特征提取网络的前四层的参数， 再在步骤S1构造的数据集上进行训练， 得到后面网络结构的参数； 此设计是由于S1得到的变电站人员行为视频数据集不大， 为了 提高检测的精度和模型的泛化能力， 采用迁移学习的方式； 所述THUMOS2014数据集是开源 的动作识别及时序动作检测数据集； 说明书 4/10 页 8 CN 111291699 A 8 0051 S62： 按正负样本1:3的比例， 对步骤S4得到的RoI采样训练；。

33、 具体为将与真值 (ground truth)的IoU大于0.5的RoI作为正样本， 小于0.5的为负样本； 0052 S63： 对于步骤S3的候选时序提取网络和步骤S4的时序行为分类网络， 同时优化分 类任务和回归任务： 0053 分类任务Lcls采用softmax损失， 回归任务Lreg采用smooth L1损失： 0054 0055 其中， Ncls和Nreg代表一次训练所选取的样本数和进行回归的候选时序片段数量， 是损失平衡参数， 这里被设置为1， i是一个批处理中候选时序片段的下标， i是将候选时序 段预测为人员行为的可能性， 是ground truth，是预测的时序片段对于候选 时。

34、序片段的相对偏移量，是ground truth与候选时序片段的坐标变换， 其计算 公式为： 0056 0057 在步骤S3的候选时序提取子网络(是指时序候选区域提取网络)中， Lcls预测候选 时序片段中是否包含人员行为， 与具体的行为类别无关， Lreg优化候选时序段与ground truth之间的相对位移； 0058 在步骤S4的时序行为分类子网络(是指行为分类网络)中， Lcls预测RoI的具体人员 行为类别， 优化了RoI与ground truth之间的相对位移； 两个子网的四种损失都是联合优化 的； 0059 S64： 基于步骤S2-S4构建的时序动作检测网络模块， 利用S61-S6。

35、3训练得到的模型 参数， 对变电站监控长视频进行处理， 以截取简单分类的行为类别视频片段。 0060 根据本发明优选的， 所述步骤S7中对异常行为检测模型训练和运行的过程包括： 0061 S71： 采用基于时空连续性的K-means帧聚类算法将视频片段分为32组包含单个完 整动作的视频段： 首先将视频片段切分为单位帧数据集合， 从单位帧数据集中随机选择32 个视频帧作为质心； 对数据集中的每一帧， 计算其与时序位置前后质心的相似性欧式距离， 将其划分到距离较近质心所属的集合； 把所有数据归好集合后， 重新计算每个集合的质心， 直至新计算出来的质心和原来的质心之间的时序距离小于8帧； 0062 。

36、S72： 利用步骤S71的视频段分割算法， 将每个训练视频分割为32个包含单一完整 动作的片段,所述片段为MIL中的示例,而每个视频则为MIL中的包： 训练时， 随机选取10个 正例包(异常行为视频)和10个负例包(正常行为视频)作为mini-batch进行训练； 0063 S73： 使用步骤S2构建的3D卷积特征提取网络提取每个示例片段的时空特征， 并进 行一个全连接操作得到4096维的特征， 作为后续多示例学习所需的特征图； 0064 S74： 使用步骤S54构造的MLP对每一个段打分， 然后从正例包中挑一个异常得分最 大的段作为潜在异常样本， 从负例包中挑一个异常得分最大的段作为非异常样。

37、本， 用上述 两个样本来训练MLP的模型参数， 目标函数为： 说明书 5/10 页 9 CN 111291699 A 9 0065 0066 其中， a表示正例包， va为异常样本； n表示负例包， vn为非异常样本， f为模型预测 函数； 0067 采用Hinge-loss损失函数拉大正例和负例的得分差距， 训练的效果就是模型对异 常样本输出高的分， 对非异常样本输出低得分； Hinge-loss损失函数为: 0068 0069 由于在变电站现实场景中， 异常行为通常只占很小的一段时间， 即正包中的正样 本(异常行为)比例很低， 所以正包里面的分数应该是稀疏的， 因此添加稀疏约束； 同时， 。

38、考 虑到视频的时序结构， 由于视频片段是连续的， 所以视频序列相邻段的异常分数也应该是 相对平滑的， 因此添加时序平滑约束， 损失函数变为： 0070 0071 为了防止模型过拟合， 最后再添加l2正则， 得到最终的损失函数： 0072 L(w)l( a, n)+|w|F 0073 其中， w代表模型权重； 0074 S75： 基于步骤S5构建的异常行为检测网络， 利用步骤S72-S74训练得到的模型参 数， 对步骤S64处理得到的行为类别视频片段进行检测， 以识别出特定行为片段是否存在异 常行为以及异常行为的类别和发生的精确时序位置。 0075 本发明的有益效果： 0076 本发明针对变电站。

39、视频监控下的人员异常行为特点， 利用先验知识进行了变电站 人员异常行为监控视频数据集的自主收集、 处理和构建， 填补了变电站异常行为检测领域 视频数据的空白； 本发明使用了基于迁移学习的3D卷积特征提取网络， 使模型可以在变电 站人员行为监控视频数据量有限的情况下， 充分挖掘视频序列帧的特征， 提高了算法运行 效率， 增强了模型的精度和泛化能力； 本发明采用了端到端的联合训练方式对时序动作检 测模块进行训练， 通过对特征提取、 时序检测、 行为分类等不同网络结构的充分融合利用， 实现了高质量的时序片段切割和准确的动作分类； 同时， 本发明使用了弱监督的多示例学 习对异常检测网络进行训练， 得到。

40、的模型可以准确判断视频片段是否存在异常行为， 同时 精确检测异常行为类别及发生的时序位置， 提高了变电站视频监控的利用价值， 实现了高 效高质量的变电站人员异常行为检测。 附图说明 0077 图1是本发明的整体流程图； 0078 图2是本发明异常行为识别结果的示意图； 0079 图3是本发明正常行为识别结果的示意图。 具体实施方式 0080 下面结合实施例和说明书附图对本发明做详细的说明， 但不限于此。 说明书 6/10 页 10 CN 111291699 A 10 0081 实施例、 0082 如图1所示。 0083 一种基于监控视频时序动作定位和异常检测的变电站人员行为识别方法,该方法 包。

41、括以下步骤: 0084 S1： 利用先验知识自主采集、 处理和构建变电站人员异常行为监控视频数据集； 0085 S2： 构建3D卷积特征提取网络： 对于输入的未分割变电站监控长视频进行特征提 取， 抽取监控视频序列的特征信息； 0086 S3： 构建时序候选区域提取网络： 用来提取可能存在变电站人员异常行为的候选 时序片段； 0087 S4： 构建时序行为分类网络： 对提取到的变电站人员行为视频段进行分类和回归 操作； 0088 S5： 构建异常行为检测网络： 对经步骤S4时序行为分类网络得到候选时序片段进 行异常行为检测； 0089 S6： 采用迁移学习对由S2-S4组成的结构进行端到端的联。

42、合训练， 利用训练得到的 模型可以处理监控长视频， 以截取简单分类的行为类别视频片段； 0090 S7： 设计一种基于时空连续性的帧聚类算法对视频进行分割， 采用基于多示例学 习的异常行为检测网络对视频片段中内容进行评估， 从而识别视频片段中是否存在异常行 为， 并确定异常行为类型及精确位置。 0091 所述步骤S1中数据集的构建方法包括： 0092 S11： 利用架设在变电站中的视频监控设备， 采集不同拍摄角度、 背景环境下的变 电站人员行为监控视频； 0093 S12： 对典型行为类别进行时序行为标注， 以构建用于时序动作检测任务的视频数 据集； 时序动作检测任务是基于变电站监控长视频进行。

43、人员行为的时间定位和行为类别分 类的； 其中所述的典型行为包括但不限于： 运动、 操作仪器、 监测数据等； 0094 S13： 对视频进行标签， 通过标注视频片段是否存在异常行为， 构建异常行为识别 视频数据集； 异常行为识别任务是基于时序动作检测模块分割得到的视频片段按所分类别 进行异常行为检测的； 其中， 所述异常行为包括但不限于违规操作、 室内疾跑、 躯干倒地等。 0095 所述步骤S2中构建3D卷积特征提取网络的方法包括： 0096 S21： 对C3D(3D Convolution)特征提取网络进行改进： 利用深度可分离卷积替换 普通的卷积操作； 此改进用于在保证精度的前提下大幅减少计。

44、算量和模型大小； 0097 S22： 采用改进的C3D特征提取网络提取变电站监控视频序列帧的特征： 0098输入监控视频的帧序列经过由多层深度可分离3D卷积层构成的特 征提取网络处理， 得到的特征图。 0099 所述步骤S3构建候选时序提取网络的方法包括： 0100 S31： 首先将S2得到的Cconv5b特征图作为输入进行候选时序生成， 假设时序片段均 匀分布在的时间域上， 并且时间域上每个位置生成K个不同长度的候选时序， 则产生总共 说明书 7/10 页 11 CN 111291699 A 11 有个候选时序片段； 0101S32： 利用一个3x3x3的3D卷积过滤器来扩展时序感受野， 再。

45、用大小为的 3D最大池化对其进行下采样， 将空间维度降至得到获得了时间位置特征的特征图 每个时序位置上的512维的特征向量用来预测中心位置的相对偏移 ci, li和每个Anchor的长度ci,li， i1,K； 0102 S33： 在特征图Ctl上增加两个1x1x1的卷积， 预测候选时序片段为背景或存在行为 活动的置信度得分。 0103 所述步骤S4中构建时序行为分类网络的方法为： 0104 S41： 以0 .6为阈值， 对步骤S3得到的候选时序片段进行非极大值抑制(Non- maximum Suppression,NMS)操作， 得到质量较高的兴趣区域(Region of interest,。

46、RoI)候 选时序片段； 0105 S42： 将RoI映射到步骤S2得到的Cconv5b特征图中， 通过3D RoI池化操作得到 512x1x4x4的输出特征； 0106 S43： 将输出特征首先送入一个大的全连接层进行特征综合， 再用两个全连接层分 别进行分类和回归： 通过分类层进行变电站人员行为类别分类， 通过回归层调整这些行为 片段的开始和结束时间。 所述两个全连接层分别指分类层和回归层， 分类层进行行为类别 分类， 回归层进行行为时间回归。 0107 所述步骤S5异常行为检测网络构建的方法为： 0108 S51： 将时序动作检测部分截取到的特定视频片段画面尺寸； 尺寸和帧率选择可以 根。

47、据应用场景的变化进行调整， 例如调整为360 x480， 帧率固定为32fps； 0109 S52： 将每个视频片段划分为一组固定长度1帧的单位视频段， 通过基于时空连续 性的K-means帧聚类算法对单位视频段进行聚类， 每一个聚类结果代表一个完整的动作； 最 终将视频分割为32组包含单个完整动作的视频段； 0110 S53： 使用步骤S2构建的3D卷积特征提取网络对视频片段进行特征提取， 提取每16 帧的Cconv5b特征均值， 并添加一个全连接层得到4096维的特征； 0111 S54： 将提取到的特征输入到由3个连续全连接层构成的多层感知器(Multi-Layer Perceptron。

48、， MLP)为每一个段打分， 视频中异常分数最大段的分数作为异常分数， 获得最后 的预测异常值。 0112 所述的步骤S53中， MLP中第一个全连接层共512个神经元， 使用线性整流函数 (Rectified Linear Unit,ReLU)激活； 第二个全连接层为32个神经元， 第三个全连接层为1 个神经元， 使用Sigmoid函数激活。 0113 所述步骤S6时序动作检测模型训练和运行的过程具体为： 0114 S61： 所述迁移学习是先用THUMOS2014数据集联合训练步骤S2-S4中分别对应的网 络模块， 固定步骤S2特征提取网络的前四层的参数， 再在步骤S1构造的数据集上进行训练。

49、， 得到后面网络结构的参数； 此设计是由于S1得到的变电站人员行为视频数据集不大， 为了 说明书 8/10 页 12 CN 111291699 A 12 提高检测的精度和模型的泛化能力， 采用迁移学习的方式； 所述THUMOS2014数据集是开源 的动作识别及时序动作检测数据集； 0115 S62： 按正负样本1:3的比例， 对步骤S4得到的RoI采样训练； 具体为将与真值 (ground truth)的IoU大于0.5的RoI作为正样本， 小于0.5的为负样本； 0116 S63： 对于步骤S3的候选时序提取网络和步骤S4的时序行为分类网络， 同时优化分 类任务和回归任务： 0117 分类任。

50、务Lcls采用softmax损失， 回归任务Lreg采用smooth L1损失： 0118 0119 其中， Ncls和Nreg代表一次训练所选取的样本数和进行回归的候选时序片段数量， 是损失平衡参数， 这里被设置为1， i是一个批处理中候选时序片段的下标， i是将候选时序 段预测为人员行为的可能性， 是ground truth，是预测的时序片段对于候选 时序片段的相对偏移量，是ground truth与候选时序片段的坐标变换， 其计算 公式为： 0120 0121 在步骤S3的候选时序提取子网络(是指时序候选区域提取网络)中， Lcls预测候选 时序片段中是否包含人员行为， 与具体的行为类别。