基于人工智能视频分析的混凝土浇筑中浇筑量估计方法.pdf

《基于人工智能视频分析的混凝土浇筑中浇筑量估计方法.pdf》由会员分享，可在线阅读，更多相关《基于人工智能视频分析的混凝土浇筑中浇筑量估计方法.pdf（9页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010394168.0 (22)申请日 2020.05.11 (71)申请人 广东创成建设监理咨询有限公司 地址 510470 广东省广州市越秀区水荫路2 号恒鑫大厦西座10楼 (72)发明人 李佳祺李永忠高来先张永炘 吴国爱黄伟文邓先亮何东城 贾云博 (74)专利代理机构 北京智沃律师事务所 11620 代理人 吴志宏 (51)Int.Cl. G06K 9/00(2006.01) G06K 9/32(2006.01) G06K 9/62(2006.01) G06N 3/0。

2、4(2006.01) G06N 3/08(2006.01) (54)发明名称 基于人工智能视频分析的混凝土浇筑中浇 筑量估计方法 (57)摘要 本发明提供一种基于人工智能视频分析的 混凝土浇筑中浇筑量估计方法， 该方法通过深度 学习方法CoViAR-Mobile-V3算法对实时上传的 视频流进行高效的事件分割判断， 分析时间窗口 视频的场景、 事件类型， 分别完成商用预拌混凝 土浇筑、 自拌混凝土浇筑场景下， 当前浇筑量的 估计， 浇筑完成后， 估算整体浇筑量， 输出的信息 与设定的标准值进行对比， 对存在风险的事件发 出预警， 对某些特定时刻下的浇筑量进行估计， 为对应的相关监理项目提供依据。

3、， 进行必须的浇 筑量估计， 完成该环节的风险预警。 本发明采用 全流程的智能化旁站监理， 避免了监理员人为因 素导致的潜在风险， 在线实时风险预警， 只需少 量监理专家， 远程分析系统预警的风险并判定， 使旁站监督管理的人效得到提高。 权利要求书2页 说明书5页 附图1页 CN 111582191 A 2020.08.25 CN 111582191 A 1.基于人工智能视频分析的混凝土浇筑中浇筑量估计方法， 其特征在于， 该方法包括： a1.通过深度学习方法CoViAR-Mobile-V3算法对实时上传的视频流进行高效的事件分 割判断， 分析时间窗口视频的场景、 事件类型， 分别包括商用预拌。

4、混凝土浇筑场景、 自拌混 凝土浇筑场景； a2.基于CoViAR-resnet算法， 针对商用预拌混凝土浇筑场景下的视频段进行分割， 并 针对各环节进行相关分析任务， 完成商用预拌混凝土浇筑场景下， 当前浇筑量的估计； a3.基于CoViAR-resnet算法， 对自拌混凝土浇筑场景下的视频段进行分割， 并针对各 环节进行相关分析任务， 完成自拌混凝土浇筑场景下， 当前浇筑量的估计； a4.浇筑完成后， 估算整体浇筑量， 输出的信息与设定的标准值进行对比， 对存在风险 的事件发出预警； a5.对某些特定时刻下的浇筑量进行估计， 为对应的相关监理项目提供依据， 进行必须 的浇筑量估计， 完成该环。

5、节的风险预警； a6.对全部视频流基于输出信息， 进行结构化存储。 2.根据权利要求1所述的基于人工智能视频分析的混凝土浇筑中浇筑量估计方法， 其 特征在于， 所述商用预拌混凝土浇筑场景中， 基于CoViAR-resnet算法， 对视频段进行分割， 针对各环节进行相关分析任务包括： c1.针对 “罐装车发货信息单” 视频录入环节， 利用SSD算法检测定位单据以及定位各个 文本， 再利用OCR识别算法进行文本识别， 获取 “发货单” 上相关信息， 提取出当前车的混凝 土方量信息； c2.针对浇筑环节， 利用SSD算法、 OCR识别算法， 持续检测识别车牌号码， 通过车牌的信 息， 记录完成浇筑的。

6、车数； c3.记录单车车牌号的持续时长， 并利用SSD算法， 同时持续检测： 浇筑导管末端， 浇筑 的状态， 去掉非浇筑时长， 得到浇筑完一车的有效时长， 结合方量信息， 动态估算出当前工 地环境下， 罐装车的单位时间的浇筑量平均值； c4.利用c2中的车数， 结合每车的方量， 计算浇筑量信息； c5.利用c3中的单位时间浇筑量和当前车的车牌持续出现时长， 以及浇筑状态判定， 推 断当前车的有效浇筑时长， 进一步修正浇筑量估计值。 3.根据权利要求1所述的基于人工智能视频分析的混凝土浇筑中浇筑量估计方法， 其 特征在于， 所述自拌混凝土浇筑场景中， 基于CoViAR-resnet算法， 对视频。

7、段进行分割， 针对 各环节进行相关分析任务包括： d1.基于已知的自伴相关重量信息， 换算估计单次搅拌方量： 单车石子、 砂子重量， 单包 水泥重量， 单桶水的重量、 搅拌入料口加入各材质的次数； d2.通过CoViAR-resnet算法对搅拌桶的转动行为进行判定， 并结合SSD算法对搅拌桶 的出料口， 是否有出料进行检测判定， 判定分割出一次完整的搅拌过程行为， 统计当前时刻 的搅拌且出料的次数； d3.利用d1、 d2的信息， 对当前浇筑量进行范围估计。 4.根据权利要求1所述的基于人工智能视频分析的混凝土浇筑中浇筑量估计方法， 其 特征在于， 所述视频行为分析算法CoViAR步骤： b1。

8、： CoViAR的输入是 “压缩视频流” ； 权利要求书 1/2 页 2 CN 111582191 A 2 b2： 对压缩视频流的P序列帧中的M信号即MotionVector运动信号、 R值即Residual P帧 +M信号后相对于视频中的原始图像I帧的残值信号， 进行累积解耦变换得到 “解耦后的累积 M信号” 、“解耦后的累积R信号” ， 形成 “解耦压缩视频流” ； b3： 构建3个子模型： 对原始信息 “I帧” 构建一个resnet152大分类器、 对 “解耦后的累积 M信号” 构建小分类器resnet18-0、 对 “解耦后的累积R信号” 构建小分类器resnet18-1； b4： 基。

9、于融合3个子模型对视频进行动作行为分类。 5.根据权利要求1所述的基于人工智能视频分析的混凝土浇筑中浇筑量估计方法， 其 特征在于， 所述SSD的算法是通过在不同层级的CNN特征层上， 选用不同尺寸、 不同比例的侯 选框， 找到与目标匹配最好的候选框来对目标的位置进行预测， 使不同层级的目标达到较 高的检测速度和精度。 6.根据权利要求1所述的基于人工智能视频分析的混凝土浇筑中浇筑量估计方法， 其 特征在于， 所述OCR文本内容识别算法是结合CNN与RNN,由CNN提取图像特征， 进而对特征图 进行列切片， 采用RNN结构进行推理文本,最后采用CTC损失函数计算预测字符串与标注的 差距， 完成。

10、端到端的训练， 预测阶段无需计算CTC， 直接对每个cell进行文字预测， 并最终合 并出文本串。 7.根据权利要求1所述的基于人工智能视频分析的混凝土浇筑中浇筑量估计方法， 其 特征在于， 所述步骤(a4)中预警的方式包括语音预警、 灯光信号预警、 预设的手机短信预 警。 权利要求书 2/2 页 3 CN 111582191 A 3 基于人工智能视频分析的混凝土浇筑中浇筑量估计方法 技术领域 0001 本发明涉及建筑工程技术领域， 具体来说， 涉及一种基于人工智能视频分析的混 凝土浇筑中浇筑量估计方法。 背景技术 0002 混凝土浇筑质量管理是工地旁站监理工作的一个重要部分， 在浇筑质量管理。

11、过程 中， 对整体浇筑量， 以及某些环节下， 需要通过浇筑量对相关项目的监理提供必要的信息支 持， 如拔管深度监理过程中， 需要利用当前浇筑量信息来估算， 当前终孔中的混凝土深度。 现阶段人工监理过程中， 专业的监理人员， 在现场基于相关信息， 对当前浇筑量进行估计， 具体的： 采用商用混凝土场景下， 利用现场关注信息， 浇筑的搅拌车的单车装载方量和浇筑 车数， 进而基于经验估计浇筑量大致范围。 自伴混凝土场景下， 利用搅拌机的单次搅拌过程 中， 加入的材料信息， 估算单次制作混凝土的方量， 并同时记录混凝土制作的次数， 进而基 于经验估计浇筑量大致范围。 0003 现有人工现场监督管理的模式。

12、下， 其缺点较为明显， 具体展开有一下几点： 旁站监 督管理的质量存在如下一些高风险问题： 旁站监理人员素质参差不齐， 不能全面掌握旁站 监理的关键要点， 易导致旁站过程失控； 监理人员自由裁量权大， 旁站过程及旁站管理结果 缺少影像资料支撑， 容易导致监理收受利益而放松管理； 旁站监理过程中， 由于对旁站监理 人员缺少约束， 常发生只旁站不作为， 或少作为的情况； 旁站监理记录不认真， 无可追溯性； 旁站过程中对发现有安全、 质量隐患或违反工程建设强制性标准要求的行为， 停留在整改 建议或口头通知， 对整改情况不跟踪封闭 0004 基于上述缺点， 急需一种基于人工智能视频分析的混凝土浇筑中浇。

13、筑量估计方法 出现。 0005 针对相关技术中的问题， 目前尚未提出有效的解决方案。 发明内容 0006 本发明的目的在于提供一种基于人工智能视频分析的混凝土浇筑中浇筑量估计 方法， 以解决上述背景技术中提出的问题。 0007 为实现上述目的， 本发明提供如下技术方案： 0008 基于人工智能视频分析的混凝土浇筑中浇筑量估计方法， 该方法包括： 0009 a1.通过深度学习方法CoViAR-Mobile-V3算法对实时上传的视频流进行高效的事 件分割判断， 分析时间窗口视频的场景、 事件类型， 分别包括商用预拌混凝土浇筑场景、 自 拌混凝土浇筑场景； 0010 a2.基于CoViAR-resn。

14、et算法， 针对商用预拌混凝土浇筑场景下的视频段进行分 割， 并针对各环节进行相关分析任务， 完成商用预拌混凝土浇筑场景下， 当前浇筑量的估 计； 0011 a3.基于CoViAR-resnet算法， 对自拌混凝土浇筑场景下的视频段进行分割， 并针 说明书 1/5 页 4 CN 111582191 A 4 对各环节进行相关分析任务， 完成自拌混凝土浇筑场景下， 当前浇筑量的估计； 0012 a4.浇筑完成后， 估算整体浇筑量， 输出的信息与设定的标准值进行对比， 对存在 风险的事件发出预警； 0013 a5.对某些特定时刻下的浇筑量进行估计， 为对应的相关监理项目提供依据， 进行 浇筑量估计，。

15、 完成该环节的风险预警； 0014 a6.对全部视频流基于输出信息， 进行结构化存储。 0015 进一步地， 所述商用预拌混凝土浇筑场景中， 基于CoViAR-resnet算法， 对视频段 进行分割， 针对各环节进行相关分析任务包括： 0016 c1.针对 “罐装车发货信息单” 视频录入环节， 利用SSD算法检测定位单据以及定位 各个文本， 再利用OCR识别算法进行文本识别， 获取 “发货单” 上相关信息， 提取出当前车的 混凝土方量信息； 0017 c2.针对浇筑环节， 利用SSD算法、 OCR识别算法， 持续检测识别车牌号码， 通过车牌 的信息， 记录完成浇筑的车数； 0018 c3.记录。

16、单车车牌号的持续时长， 并利用SSD算法， 同时持续检测： 浇筑导管末端， 浇筑的状态， 去掉非浇筑时长， 得到浇筑完一车的有效时长， 结合方量信息， 动态估算出当 前工地环境下， 罐装车的单位时间的浇筑量平均值； 0019 c4.利用c2中的车数， 结合每车的方量， 计算浇筑量信息； 0020 c5.利用c3中的单位时间浇筑量和当前车的车牌持续出现时长， 以及浇筑状态判 定， 推断当前车的有效浇筑时长， 进一步修正浇筑量估计值。 0021 进一步地， 所述自拌混凝土浇筑场景中， 基于CoViAR-resnet算法， 对视频段进行 分割， 针对各环节进行相关分析任务包括： 0022 d1.基于。

17、已知的自伴相关重量信息， 换算估计单次搅拌方量： 单车石子、 砂子重量， 单包水泥重量， 单桶水的重量、 搅拌入料口加入各材质的次数； 0023 d2.通过CoViAR-resnet算法对搅拌桶的转动行为进行判定， 并结合SSD算法对搅 拌桶的出料口， 是否有出料进行检测判定， 判定分割出一次完整的搅拌过程行为， 统计当前 时刻的搅拌且出料的次数； 0024 d3.利用d1、 d2的信息， 对当前浇筑量进行范围估计。 0025 进一步地， 所述视频行为分析算法CoViAR步骤： 0026 b1： CoViAR的输入是 “压缩视频流” ； 0027 b2： 对压缩视频流的P序列帧中的M信号即Mo。

18、tionVector运动信号、 R值即Residual P帧+M信号后相对于视频中的原始图像I帧的残值信号， 进行累积解耦变换得到 “解耦后的 累积M信号” 、“解耦后的累积R信号” ， 形成 “解耦压缩视频流” ； 0028 b3： 构建3个子模型： 对原始信息 “I帧” 构建一个resnet152大分类器、 对 “解耦后的 累积M信号” 构建小分类器resnet18-0、 对 “解耦后的累积R信号” 构建小分类器resnet18-1； 0029 b4： 基于融合3个子模型对视频进行动作行为分类。 0030 进一步地， 所述SSD的算法是通过在不同层级的CNN特征层上， 选用不同尺寸、 不同。

19、 比例的侯选框， 找到与目标匹配最好的候选框来对目标的位置进行预测， 使不同层级的目 标达到较高的检测速度和精度。 0031 进一步地， 所述OCR文本内容识别算法是结合CNN与RNN,由CNN提取图像特征， 进而 说明书 2/5 页 5 CN 111582191 A 5 对特征图进行列切片， 采用RNN结构进行推理文本,最后采用CTC损失函数计算预测字符串 与标注的差距， 完成端到端的训练， 预测阶段无需计算CTC， 直接对每个cell进行文字预测， 并最终合并出文本串。 0032 进一步地， 所述步骤a4中预警的方式包括语音预警、 灯光信号预警、 预设的手机短 信预警。 0033 本发明工。

20、作原理： 通过固定或移动设备对混凝土生产、 混凝土浇筑现场核心操作 区域进行持续的、 有效的、 实时的视频数据采集， 并上传服务器进行存储， 对于浇筑量估计 分为两种场景， 场景一： 商用预拌混凝土浇筑场景； 场景二： 自伴混凝土浇筑场景， 对采集的 视频数据进行智能分析， 对混凝土罐装车车次进行分析， 估计特定时刻下的混凝土的浇筑 量； 混凝土现场实时生产， 并通过相连接的滑槽进行终孔浇筑， 因而通过对混凝土的搅拌量 和出料次数分析得到混凝土生产量， 进一步直接估计浇筑量。 0034 与现有技术相比， 本发明具有以下有益效果： 1.本发明采用全流程的智能化旁站 监理， 避免了监理员人为的因素。

21、导致的种种潜在风险； 2.本发明采用在线实时风险预警， 只 需要少量的监理专家， 远程分析系统预警的风险， 进行判定， 从而使得旁站监督管理的人效 得到提高； 3.本发明采用结构化视频存储， 有利于事件的检索与回溯。 附图说明 0035 为了更清楚地说明本发明实施例或现有技术中的技术方案， 下面将对实施例中所 需要使用的附图作简单地介绍， 显而易见地， 下面描述中的附图仅仅是本发明的一些实施 例， 对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下， 还可以根据这些附图获 得其他的附图. 0036 图1是本发明一种基于人工智能视频分析的混凝土浇筑中浇筑量估计方法的步骤 示意图。 具体实施。

22、方式 0037 下面， 结合附图以及具体实施方式， 对发明做出进一步的描述： 0038 一种基于人工智能视频分析的混凝土浇筑中浇筑量估计方法， 该方法包括： 0039 a1.通过深度学习方法CoViAR-Mobile-V3算法对实时上传的视频流进行高效的事 件分割判断， 分析时间窗口视频的场景、 事件类型， 分别包括商用预拌混凝土浇筑场景、 自 拌混凝土浇筑场景； 0040 a2.基于CoViAR-resnet算法， 针对商用预拌混凝土浇筑场景下的视频段进行分 割， 并针对各环节进行相关分析任务， 完成商用预拌混凝土浇筑场景下， 当前浇筑量的估 计； 0041 a3.基于CoViAR-resn。

23、et算法， 对自拌混凝土浇筑场景下的视频段进行分割， 并针 对各环节进行相关分析任务， 完成自拌混凝土浇筑场景下， 当前浇筑量的估计； 0042 a4.浇筑完成后， 估算整体浇筑量， 输出的信息与设定的标准值进行对比， 对存在 风险的事件发出预警； 0043 a5.对某些特定时刻下的浇筑量进行估计， 为对应的相关监理项目提供依据， 进行 浇筑量估计， 完成该环节的风险预警； 说明书 3/5 页 6 CN 111582191 A 6 0044 a6.对全部视频流基于输出信息， 进行结构化存储。 0045 根据上述内容， 所述商用预拌混凝土浇筑场景中， 基于CoViAR-resnet算法， 对视 。

24、频段进行分割， 针对各环节进行相关分析任务包括： 0046 c1.针对 “罐装车发货信息单” 视频录入环节， 利用SSD算法检测定位单据以及定位 各个文本， 再利用OCR识别算法进行文本识别， 获取 “发货单” 上相关信息， 提取出当前车的 混凝土方量信息； 0047 c2.针对浇筑环节， 利用SSD算法、 OCR识别算法， 持续检测识别车牌号码， 通过车牌 的信息， 记录完成浇筑的车数； 0048 c3.记录单车车牌号的持续时长， 并利用SSD算法， 同时持续检测： 浇筑导管末端， 浇筑的状态， 去掉非浇筑时长， 得到浇筑完一车的有效时长， 结合方量信息， 动态估算出当 前工地环境下， 罐装。

25、车的单位时间的浇筑量平均值； 0049 c4.利用c2中的车数， 结合每车的方量， 计算浇筑量信息； 0050 c5.利用c3中的单位时间浇筑量和当前车的车牌持续出现时长， 以及浇筑状态判 定， 推断当前车的有效浇筑时长， 进一步修正浇筑量估计值。 0051 根据上述内容， 所述自拌混凝土浇筑场景中， 基于CoViAR-resnet算法， 对视频段 进行分割， 针对各环节进行相关分析任务包括： 0052 d1.基于已知的自伴相关重量信息， 换算估计单次搅拌方量： 单车石子、 砂子重量， 单包水泥重量， 单桶水的重量、 搅拌入料口加入各材质的次数； 0053 d2.通过CoViAR-resnet。

26、算法对搅拌桶的转动行为进行判定， 并结合SSD算法对搅 拌桶的出料口， 是否有出料进行检测判定， 判定分割出一次完整的搅拌过程行为， 统计当前 时刻的搅拌且出料的次数； 0054 d3.利用d1、 d2的信息， 对当前浇筑量进行范围估计。 0055 其中CoViAR-Mobile-V3算法、 CoViAR-resnet算法均属于视频行为分析算法 CoViAR的不同阶段， CoViAR-Mobile-V3算法耗时低， CoViAR-resnet算法精度高。 0056 通过智能分析， 保证混凝土浇筑过程中核心视频数据被有效采集， 被有效存储， 通 过智能视频分析对 “混凝土浇筑量进行估计分析” ，。

27、 从而对不符合或疑似不符合规范的事件 进行信息支撑， 达到预警效果， 从而极大程度上避免了上述人工现场监督管理的相关缺陷。 0057 通过固定或移动设备对混凝土生产、 混凝土浇筑现场核心操作区域进行持续的、 有效的、 实时的视频数据采集， 并上传服务器进行存储， 对于浇筑量估计分为两种场景， 场 景一： 商用预拌混凝土浇筑场景； 场景二： 自伴混凝土浇筑场景， 对采集的视频数据进行智 能分析， 对混凝土罐装车车次进行分析， 估计特定时刻下的混凝土的浇筑量； 混凝土现场实 时生产， 并通过相连接的滑槽进行终孔浇筑， 因而通过对混凝土的搅拌量和出料次数分析 得到混凝土生产量， 进一步直接估计浇筑量。

28、。 0058 根据上述内容， 所述视频行为分析算法CoViAR步骤： 0059 b1： CoViAR的输入是 “压缩视频流” ； 0060 b2： 对压缩视频流的P序列帧中的M信号即MotionVector运动信号、 R值即Residual P帧+M信号后相对于视频中的原始图像I帧的残值信号， 进行累积解耦变换得到 “解耦后的 累积M信号” 、“解耦后的累积R信号” ， 形成 “解耦压缩视频流” ； 0061 b3： 构建3个子模型： 对原始信息 “I帧” 构建一个resnet152大分类器、 对 “解耦后的 说明书 4/5 页 7 CN 111582191 A 7 累积M信号” 构建小分类器。

29、resnet18-0、 对 “解耦后的累积R信号” 构建小分类器resnet18-1； 0062 b4： 基于融合3个子模型对视频进行动作行为分类。 0063 CoViAR算法的核心优势是： 不用解压压缩视频得到原始信息， 直接构建基于压缩 视频进行行为分析， 较大的降低了耗时； 对I、 P-M、 P-R分开建模， 在P-M序列， P-R序列中的丰 富的运动信息对行为分析重要性极高， 在传统的原始视频流的算法框架下， 从RGB图像信号 序列中挖掘这些信息， 难度较大， 即便是计算量大的大型网络往往难以胜任； CoViAR算法在 达到精度较高的情况下， 视频处理速度相比其他方法得到极大提升 00。

30、64 根据上述内容， 所述SSD的算法是通过在不同层级的CNN特征层上， 选用不同尺寸、 不同比例的侯选框， 找到与目标匹配最好的候选框来对目标的位置进行预测， 使不同层级 的目标达到较高的检测速度和精度。 在混凝土搅拌场景下， 存在较大的目标-如搅拌机， 也 存在较小的目标-如一袋水泥等的检测定位需求， 因而SSD效果较好。 0065 根据上述内容， 所述OCR文本内容识别算法是结合CNN与RNN,由CNN提取图像特征， 进而对特征图进行列切片， 采用RNN结构如典型的LSTM循环网络进行推理文本,最后采用 CTC损失函数计算预测字符串与标注的差距， 完成端到端的训练， 预测阶段无需计算CT。

31、C， 直 接对每个cell进行文字预测， 并最终合并出文本串。 0066 根据上述内容， 所述步骤a4预警的方式包括语音预警、 灯光信号预警、 预设的手机 短信预警。 0067 最后应说明的是： 以上所述仅为本发明的优选实施例而已， 并不用于限定本发明， 尽管参照前述实施例对本发明进行了详细的说明， 对于本领域的技术人员来说， 其依然可 以对前述各实施例所记载的技术方案进行修改， 或者对其中部分技术特征进行等同替换。 凡在本发明的精神和原则之内， 所作的任何修改、 等同替换、 改进等， 均应包含在本发明的 保护范围之内。 说明书 5/5 页 8 CN 111582191 A 8 图1 说明书附图 1/1 页 9 CN 111582191 A 9 。