基于神经网络的建筑结构多源异构数据智能分析系统及方法.pdf

《基于神经网络的建筑结构多源异构数据智能分析系统及方法.pdf》由会员分享，可在线阅读，更多相关《基于神经网络的建筑结构多源异构数据智能分析系统及方法.pdf（18页完成版）》请在专利查询网上搜索。

1、(19)国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 202410026224.3(22)申请日 2024.01.09(71)申请人 江苏省建筑工程质量检测中心有限公司地址 210033 江苏省南京市栖霞区元化路8号49幢,50幢,51幢1-4层(72)发明人 钮慧娟汤东婴魏晓斌陆斌汪晟王若晨(74)专利代理机构 南京材智汇知识产权代理事务所(特殊普通合伙)32449专利代理师 眭鹏涛(51)Int.Cl.G06F 18/20(2023.01)G06F 18/15(2023.01)G06F 18/214(2023.01)G06F 18/24(2023。

2、.01)G06F 18/25(2023.01)G06F 18/213(2023.01)G06F 17/16(2006.01)G06V 20/10(2022.01)G06V 10/52(2022.01)G06V 10/764(2022.01)G06V 10/80(2022.01)G06V 10/82(2022.01)G06N 3/0464(2023.01)G06Q 10/0635(2023.01)G06Q 50/08(2012.01)(54)发明名称基于神经网络的建筑结构多源异构数据智能分析系统及方法(57)摘要本发明公开了一种基于神经网络的建筑结构多源异构数据智能分析系统及方法，确定待检测建筑。

3、，获取待检测建筑的超矩阵和至少两种不同模态的监测数据；逐一对监测数据进行预处理；针对多模态的监测数据，构建多通道数据处理模块，每个模态至少包括两个通道；输出训练完成的多通道数据处理模块作为建筑多模态数据分析单元；采集待检测建筑的预定时间内的监测数据，并采用建筑多模态数据分析单元对监测数据进行处理，获得每个通道输出的建筑风险信息和建筑风险融合结果，并更新待检测建筑的超矩阵；基于更新后的超矩阵给出建筑风险分析结果。本发明通过物理模型与神经网络的结合，给出了更为准确的分析结果，提高了计算效率和准确率。权利要求书3页 说明书11页 附图3页CN 117540174 A2024.02.09CN 1175。

4、40174 A1.基于神经网络的建筑结构多源异构数据智能分析方法，其特征在于，包括如下步骤：步骤S1、确定待检测建筑，获取待检测建筑的超矩阵和至少两种不同模态的监测数据；逐一对监测数据进行预处理，使其达到预定的输入标准，形成训练集和测试集；步骤S2、针对多模态的监测数据，构建多通道数据处理模块，每个模态至少包括两个通道；采用训练集对多通道数据处理模块进行训练，并采用测试集进行测试，输出训练完成的多通道数据处理模块作为建筑多模态数据分析单元；步骤S3、采集待检测建筑的预定时间内的监测数据，并采用建筑多模态数据分析单元对监测数据进行处理，获得每个通道输出的建筑风险信息和建筑风险融合结果，并更新待检。

5、测建筑的超矩阵；步骤S4、基于更新后的超矩阵给出建筑风险分析结果，并与建筑风险融合结果，给出最终风险提示和建议。2.根据权利要求1所述的基于神经网络的建筑结构多源异构数据智能分析方法，其特征在于，所述步骤S1进一步为：步骤S11、根据监测目标确定待检测建筑和影响待检测建筑的外围建筑，根据预配置的超矩阵参数，构建待检测建筑和外围建筑的超矩阵；超矩阵由超椭圆矩阵、位姿变换矩阵、物化参数矩阵和风险系数矩阵做哈达玛相乘运算得到；步骤S12、采集监测仪器的监测数据，并按照监测数据的类型进行分类，形成至少两个模态的监测数据，监测数据包括震动、应力、变形、腐蚀和温度；监测数据至少来源于力学传感器和摄像头；步。

6、骤S13、针对每类模态的监测数据，逐一监测数据进行预处理，使其达到预定的输入标准，形成训练集和测试集，所述预处理包括去噪、时频变换和特征提取；步骤S14、将作为训练集和测试集的监测数据配置于存储器中。3.根据权利要求2所述的基于神经网络的建筑结构多源异构数据智能分析方法，其特征在于，所述步骤S2进一步为：步骤S21、针对每一模态的监测数据，构建数据处理通道，每个模态的监测数据包括至少两个通道，形成多模态多通道数据处理模块；其中针对来源于摄像头的图像数据，设置裂纹区域提取通道和腐蚀纹理提取通道；针对来源于力学传感器的时序数据，设置应力提取通道和震动提取通道；步骤S22、根据通道数量构若干个建跨模。

7、态注意力模块，形成多通道数据处理模块；步骤S23、调用存储器中的训练集和测试集对多通道数据处理模块进行训练和测试，并输出符合预期性能标准的多通道数据处理模块作为建筑多模态数据分析单元。4.根据权利要求3所述的基于神经网络的建筑结构多源异构数据智能分析方法，其特征在于，所述步骤S3进一步为：步骤S31、根据待检测建筑的风险等级和监测需求，确定监测的时间间隔和持续时长，定时采集建筑的多模态监测数据；步骤S32、将采集的监测数据输入建筑多模态数据分析单元，得到每个模态的风险识别通道的输出，即获得每个模态的建筑风险信息；步骤S33、结合跨模态注意力模块对每个模态的建筑风险信息进行融合，得到建筑风险融合。

8、结果，反映建筑的整体风险状况；权利要求书1/3 页2CN 117540174 A2步骤S34、根据每个模态的建筑风险信息，更新待检测建筑的超矩阵中的物化参数矩阵和风险系数矩阵，调整建筑的结构特征、环境因素和风险等级。5.根据权利要求4所述的基于神经网络的建筑结构多源异构数据智能分析方法，其特征在于，所述步骤S4进一步为：步骤S41、基于更新后的超矩阵，调用预配置的有限元仿真计算模块计算建筑风险，给出建筑风险分析结果；步骤S42、将建筑风险融合结果和风险分析结果进行比较，检验两者的一致性，判断误差是否在预定范围内，若不在，则进行数据分析与核查；步骤S43、根据风险分析结果和风险融合结果，给出最终。

9、的风险提示以及相应的建议，风险提示包括无风险、低风险、中风险和高风险；建议包括继续监测、加强检查和紧急修复。6.根据权利要求5所述的基于神经网络的建筑结构多源异构数据智能分析方法，其特征在于，所述步骤S13进一步包括：步骤S131、读取每类模态的监测数据，将力学传感器和摄像头的数据进行时间对齐；步骤S132、获取至少两个力学传感器的监测数据并进行突变点提取，根据突变点提取至少两段预定长度的监测数据，形成风险时段监测数据；步骤S133、将风险时段监测数据与对应摄像头的数据进行预处理，形成训练集和测试集。7.根据权利要求5所述的基于神经网络的建筑结构多源异构数据智能分析方法，其特征在于，所述步骤S。

10、21中，通过裂纹区域提取通道和腐蚀纹理提取通道的处理过程具体包括：步骤S211、获取经过特征提取后的至少两个尺度的特征图；步骤S212、根据预设的尺度数量，构建裂纹区域提取通道和腐蚀纹理提取通道的不同尺度的子通道；步骤S213、构建裂纹区域提取通道和腐蚀纹理提取通道的融合单元，各自包括上采样单元、融合单元和分类单元，其中，上采样单元使用双线性插值法将低分辨率的特征图上采样到高分辨率的特征图的大小；融合单元使用加权平均法将不同尺度的特征图进行加权融合，得到一个综合的特征图；分类单元使用一个11的卷积层和一个softmax层对综合的特征图进行像素级分类，各自得到二值的裂缝分割图和腐蚀纹理图；步骤S。

11、214、使用后处理技术对裂缝分割图进行优化操作，得到最终的裂缝分割和腐蚀纹理划分结果，优化操作包括去除小区域、填充空洞和平滑边缘。8.根据权利要求5所述的基于神经网络的建筑结构多源异构数据智能分析方法，其特征在于，所述步骤S34进一步包括：步骤S341、按照超矩阵中物化参数矩阵和风险系数矩阵的特点，构造同型的物化参数更新矩阵和风险系数更新矩阵；步骤S342、获取每个模态的建筑风险信息，生成物化参数更新矩阵和风险系数更新矩阵；步骤S343、采用物化参数更新矩阵和风险系数更新矩阵替换各自原矩阵，完成更新过程。9.根据权利要求5所述的基于神经网络的建筑结构多源异构数据智能分析方法，其特权利要求书2/。

12、3 页3CN 117540174 A3征在于，所述步骤S41进一步为：步骤S411、获取更新后的超矩阵，并与更新前的超矩阵进行比较，提取超矩阵中物化参数和风险系数变化大于阈值的超椭圆矩阵的列，构建风险建筑构件集合；步骤S412、基于位姿变换矩阵对风险建筑构件集合进行聚类，形成至少一个风险区域建筑构件图结构；步骤S413、针对每个风险区域建筑构件图结构，按照风险系数变化百分比降序排列，获得建筑构件风险衰减链；步骤S414、基于建筑构件风险衰减链提取建筑构件，并形成区域建筑构件超矩阵，调用预配置的有限元仿真计算模块计算建筑风险，给出建筑风险分析结果。10.一种基于神经网络的建筑结构多源异构数据智能。

13、分析系统，其特征在于，包括：至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现权利要求1至9任一项所述的基于神经网络的建筑结构多源异构数据智能分析方法。权利要求书3/3 页4CN 117540174 A4基于神经网络的建筑结构多源异构数据智能分析系统及方法技术领域0001本发明涉及建筑质量监测技术，尤其是基于大数据分析和神经网络的建筑结构多源异构数据智能分析系统和方法。背景技术0002建筑结构是人类生活和工作的重要场所，其安全性和可靠性直接关系到人们的生命财产安全。因此，对建筑结构的监测和评估是一项重要的。

14、工程任务，旨在及时发现和预防建筑结构的病害和风险，保障建筑结构的正常运行和使用。0003然而，传统的建筑结构监测和评估方法存在诸多问题和挑战，如：建筑结构的形态和尺寸复杂多样，需要采用多种传感器和设备进行数据采集，如图像、声音、振动、温度、湿度等，这些数据的获取需要大量的人力物力和时间成本，且容易受到环境和设备的干扰和误差。由于各种数据来源不一，格式差别很大，因此数据的清洗、融合、分析、挖掘等，这些数据的特点是量大、维高、质差、动态、非结构化等，因此数据的处理需要大量的计算资源和算法支持，且难以保证数据的有效性和准确性。建筑结构的监测和评估的目的是为了提供有价值的信息和知识，如建筑结构的状态、。

15、性能、病害、风险等，这些信息和知识的提取和表达需要结合专业的领域知识和经验，如结构力学、材料科学、规范标准等，这些知识和经验的获取和应用需要大量的专家参与和人工干预，耗时费力。0004为了解决上述问题，技术人员开发了一些方法，比如本申请人申请的发明专利CN116596321A。但是建筑监测数据量大和耦合关系复杂的特点，导致神经网络预测结果的可解释性差、物理模型需要巨量的计算资源等问题，影响建筑监测的效率和质量。发明内容0005发明目的，提供一种基于神经网络的建筑结构多源异构数据智能分析系统及方法，以解决现有技术存在的至少一个技术问题。0006技术方案，根据本申请的一个方面，基于神经网络的建筑结。

16、构多源异构数据智能分析方法，包括如下步骤：步骤S1、确定待检测建筑，获取待检测建筑的超矩阵和至少两种不同模态的监测数据；逐一对监测数据进行预处理，使其达到预定的输入标准，形成训练集和测试集；步骤S2、针对多模态的监测数据，构建多通道数据处理模块，每个模态至少包括两个通道；采用训练集对多通道数据处理模块进行训练，并采用测试集进行测试，输出训练完成的多通道数据处理模块作为建筑多模态数据分析单元；步骤S3、采集待检测建筑的预定时间内的监测数据，并采用建筑多模态数据分析单元对监测数据进行处理，获得每个通道输出的建筑风险信息和建筑风险融合结果，并更新待检测建筑的超矩阵；步骤S4、基于更新后的超矩阵给出建。

17、筑风险分析结果，并与建筑风险融合结果，给出最终风险提示和建议。说明书1/11 页5CN 117540174 A50007根据本申请的一个方面，所述步骤S1进一步为：步骤S11、根据监测目标确定待检测建筑和影响待检测建筑的外围建筑，根据预配置的超矩阵参数，构建待检测建筑和外围建筑的超矩阵；超矩阵由超椭圆矩阵、位姿变换矩阵、物化参数矩阵和风险系数矩阵做哈达玛相乘运算得到；步骤S12、采集监测仪器的监测数据，并按照监测数据的类型进行分类，形成至少两个模态的监测数据，监测数据包括震动、应力、变形、腐蚀和温度；监测数据至少来源于力学传感器和摄像头；步骤S13、针对每类模态的监测数据，逐一监测数据进行预处。

18、理，使其达到预定的输入标准，形成训练集和测试集，所述预处理包括去噪、时频变换和特征提取；步骤S14、将作为训练集和测试集的监测数据配置于存储器中。0008根据本申请的一个方面，所述步骤S2进一步为：步骤S21、针对每一模态的监测数据，构建数据处理通道，每个模态的监测数据包括至少两个通道，形成多模态多通道数据处理模块；其中针对来源于摄像头的图像数据，设置裂纹区域提取通道和腐蚀纹理提取通道；针对来源于力学传感器的时序数据，设置应力提取通道和震动提取通道；步骤S22、根据通道数量构若干个建跨模态注意力模块，形成多通道数据处理模块；步骤S23、调用存储器中的训练集和测试集对多通道数据处理模块进行训练和。

19、测试，并输出符合预期性能标准的多通道数据处理模块作为建筑多模态数据分析单元。0009根据本申请的一个方面，所述步骤S3进一步为：步骤S31、根据待检测建筑的风险等级和监测需求，确定监测的时间间隔和持续时长，定时采集建筑的多模态监测数据；步骤S32、将采集的监测数据输入建筑多模态数据分析单元，得到每个模态的风险识别通道的输出，即获得每个模态的建筑风险信息；步骤S33、结合跨模态注意力模块对每个模态的建筑风险信息进行融合，得到建筑风险融合结果，反映建筑的整体风险状况；步骤S34、根据每个模态的建筑风险信息，更新待检测建筑的超矩阵中的物化参数矩阵和风险系数矩阵，调整建筑的结构特征、环境因素和风险等级。

20、。0010根据本申请的一个方面，所述步骤S4进一步为：步骤S41、基于更新后的超矩阵，调用预配置的有限元仿真计算模块计算建筑风险，给出建筑风险分析结果；步骤S42、将建筑风险融合结果和风险分析结果进行比较，检验两者的一致性，判断误差是否在预定范围内，若不在，则进行数据分析与核查；步骤S43、根据风险分析结果和风险融合结果，给出最终的风险提示以及相应的建议，风险提示包括如无风险、低风险、中风险和高风险；建议包括继续监测、加强检查和紧急修复。0011根据本申请的一个方面，所述步骤S13进一步包括：步骤S131、读取每类模态的监测数据，将力学传感器和摄像头的数据进行时间对齐；说明书2/11 页6CN。

21、 117540174 A6步骤S132、获取至少两个力学传感器的监测数据并进行突变点提取，根据突变点提取至少两段预定长度的监测数据，形成风险时段监测数据；步骤S133、将风险时段监测数据与对应摄像头的数据进行预处理，形成训练集和测试集。0012根据本申请的一个方面，所述步骤S21中，通过裂纹区域提取通道和腐蚀纹理提取通道的处理过程具体包括：步骤S211、获取经过特征提取后的至少两个尺度的特征图；步骤S212、根据预设的尺度数量，构建裂纹区域提取通道和腐蚀纹理提取通道的不同尺度的子通道；步骤S213、构建裂纹区域提取通道和腐蚀纹理提取通道的融合单元，各自包括上采样单元、融合单元和分类单元，其中，。

22、上采样单元使用双线性插值法将低分辨率的特征图上采样到高分辨率的特征图的大小；融合单元使用加权平均法将不同尺度的特征图进行加权融合，得到一个综合的特征图；分类单元使用一个11的卷积层和一个softmax层对综合的特征图进行像素级分类，各自得到二值的裂缝分割图和腐蚀纹理图；步骤S214、使用后处理技术对裂缝分割图进行优化操作，得到最终的裂缝分割和腐蚀纹理划分结果，优化操作包括去除小区域、填充空洞和平滑边缘。0013根据本申请的一个方面，所述步骤S34进一步包括：步骤S341、按照超矩阵中物化参数矩阵和风险系数矩阵的特点，构造同型的物化参数更新矩阵和风险系数更新矩阵；步骤S342、获取每个模态的建筑。

23、风险信息，生成物化参数更新矩阵和风险系数更新矩阵；步骤S343、采用物化参数更新矩阵和风险系数更新矩阵替换各自原矩阵，完成更新过程。0014根据本申请的一个方面，所述步骤S41进一步为：步骤S411、获取更新后的超矩阵，并与更新前的超矩阵进行比较，提取超矩阵中物化参数和风险系数变化大于阈值的超椭圆矩阵的列，构建风险建筑构件集合；步骤S412、基于位姿变换矩阵对风险建筑构件集合进行聚类，形成至少一个风险区域建筑构件图结构；步骤S413、针对每个风险区域建筑构件图结构，按照风险系数变化百分比降序排列，获得建筑构件风险衰减链；步骤S414、基于建筑构件风险衰减链提取建筑构件，并形成区域建筑构件超矩阵。

24、，调用预配置的有限元仿真计算模块计算建筑风险，给出建筑风险分析结果。0015根据本申请的另一个方面，一种基于神经网络的建筑结构多源异构数据智能分析系统，其特征在于，包括：至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述任一项技术方案所述的基于神经网络的建筑结构多源异构数据智能分析方法。0016有益效果，通过不同模态的监测数据，提高建筑风险识别的准确性和鲁棒性；通过说明书3/11 页7CN 117540174 A7超矩阵的更新，动态反映建筑的结构状态和风险变化，提高建筑风险分析的时效性和灵敏性；通过神。

25、经网络给出风险分析结果，以及神经网络结合物理仿真模型给出风险分析结果，可以解决神经网络可解释性差的问题。其他技术优势将在下文结合具体实施方式进行描述。附图说明0017图1是本发明的流程图。0018图2是本发明步骤S1的流程图。0019图3是本发明步骤S2的流程图。0020图4是本发明步骤S3的流程图。0021图5是本发明步骤S4的流程图。具体实施方式0022由于方案相对复杂，为了突出本申请的内容，属于本领域技术人员知晓或能够知晓的现有知识没有记载在本申请中，可以参考本申请人或合作方在先申请的专利，比如CN116596321A。为了解决现有技术存在的数据量大，处理消耗资源多。采用人工来分析和处理。

26、上述数据，耗时费力，采用物理模型，比如基于数字模型的仿真计算单元来计算，对于体积较大的建筑模型，需要很大的计算资源，仿真计算速度慢。而采用神经网络来进行处理，由于神经网络属于黑箱模型，可解释性比较差，无法进行溯源和理论分析。基于此，提供了本申请的技术方案。以期通过新的技术方案来解决数据处理量大，以及分析计算可解释性差的问题，具体如下。0023如图1所示，根据本申请的一个方面，基于神经网络的建筑结构多源异构数据智能分析方法，包括如下步骤：步骤S1、确定待检测建筑，获取待检测建筑的超矩阵和至少两种不同模态的监测数据；逐一对监测数据进行预处理，使其达到预定的输入标准，形成训练集和测试集；步骤S2、针。

27、对多模态的监测数据，构建多通道数据处理模块，每个模态至少包括两个通道；采用训练集对多通道数据处理模块进行训练，并采用测试集进行测试，输出训练完成的多通道数据处理模块作为建筑多模态数据分析单元；步骤S3、采集待检测建筑的预定时间内的监测数据，并采用建筑多模态数据分析单元对监测数据进行处理，获得每个通道输出的建筑风险信息和建筑风险融合结果，并更新待检测建筑的超矩阵；步骤S4、基于更新后的超矩阵给出建筑风险分析结果，并与建筑风险融合结果，给出最终风险提示和建议。0024针对现有技术建筑风险分析方法依赖于单一模态数据和人工分析的局限性，利用不同模态的监测数据，提高了建筑风险分析的效率和可靠性；解决了建。

28、筑风险分析的实时性和动态性问题，通过超矩阵的快速更新，实现了对建筑风险的实时监测和动态评估；换句话说，通过基于超椭圆模型的超矩阵，可以对局部进行更新，而无需读取超矩阵的所有信息，动态反映建筑的结构状态和风险变化，提高建筑风险分析的时效性和灵敏性。大大提高了超矩阵的计算和更新效率，为更高效和准确的风险分析提供了新的解决方案。说明书4/11 页8CN 117540174 A80025在本实施例中，借助于本申请人在先申请的专利技术，以超椭圆模型作为基础，对模型和数据进行解耦，然后建立风险与理化数据的自动化提取模块，即通过神经网络来提取建筑的物化参数和风险参数，然后对超矩阵中的部分矩阵进行更新，无需调。

29、整整个模型信息。因此，大大加快了信息处理的速度。在这个基础上，可以并行计算，一个数据处理路径是通过神经网络多通道多模态的计算，在物化参数和风险信息的基础上，给出建筑总体风险信息。第二个是基于中间计算结果修正建筑的超矩阵模型，然后通过有限元计算的方式，基于物理模型来给出建筑的风险信息，因此可解释性更好，能够发现中间环节可能出现的问题，然后对输入数据、中间计算结果和部分建筑构件模块等环节进行分析和追溯。因此，本申请在原专利的基础上，给出了模型优化和加速计算的新思路，为建筑结构多源异构数据智能分析提供了一种新的方法。通过分析上述多源异构数据，不仅能够给出风险分析结果，也能够修正建筑的数字模型。基于在。

30、先专利可知，更新后的建筑超椭圆模型可以转换为cad、sw等通用的数字模型，从而便于通过现有的有限元计算模块进行仿真计算，为多源异构数据提供了两种智能分析路径，而且这两种路径可以相互印证和比较，从而分析问题产生的原因。0026如图2所示，根据本申请的一个方面，所述步骤S1进一步为：步骤S11、根据监测目标确定待检测建筑和影响待检测建筑的外围建筑，根据预配置的超矩阵参数，构建待检测建筑和外围建筑的超矩阵；超矩阵由超椭圆矩阵、位姿变换矩阵、物化参数矩阵和风险系数矩阵做哈达玛相乘运算得到；超矩阵用以综合反映建筑的结构特征和风险状态，为后续的数据分析和风险评估提供基础。0027步骤S12、采集监测仪器的。

31、监测数据，并按照监测数据的类型进行分类，形成至少两个模态的监测数据，监测数据包括震动、应力、变形、腐蚀和温度；监测数据至少来源于力学传感器和摄像头；从不同的角度和维度，反映建筑的健康状况和风险因素，为后续的数据分析和风险评估提供数据支持。0028步骤S13、针对每类模态的监测数据，逐一监测数据进行预处理，使其达到预定的输入标准，形成训练集和测试集，所述预处理包括去噪、时频变换和特征提取；实现对监测数据的自动特征提取和融合，为后续的数据分析和风险评估提供有效的输入。0029步骤S14、将作为训练集和测试集的监测数据配置于存储器中。方便调用和更新监测数据，为后续的数据分析和风险评估提供数据源。00。

32、30总之，在本实施例中，能够利用不同模态的监测数据，如声波、图像、视频、应力、红外、电磁等，提高建筑风险识别的准确性和鲁棒性；通过超矩阵的构建，实现对建筑的统一表示和计算，反映建筑的结构特征和风险状态；通过对监测数据进行预处理，使其达到预定的输入标准，提高数据的质量和可用性；最后将预处理后的监测数据进行存储和管理，提高数据的安全性和可访问性。0031在本实施例中，上述分析仅为示例，在不同的建筑监测中，通过布设不同类型的传感器，可以获得预期的各种模态的数据，从而提供更多维度的输入数据，进行相互验证，对于无人机等装置拍摄的建筑图像和视频等数据，通过这些图像视频数据提取建筑物的形变和腐蚀信息，已经在。

33、前述专利中进行了描述，在此不再详述。在其他实施例中，还可以是三个、四个或者更多个模态的监测数据。0032如图3所示，根据本申请的一个方面，所述步骤S2进一步为：说明书5/11 页9CN 117540174 A9步骤S21、针对每一模态的监测数据，构建数据处理通道，每个模态的监测数据包括至少两个通道，形成多模态多通道数据处理模块；其中针对来源于摄像头的图像数据，设置裂纹区域提取通道和腐蚀纹理提取通道；针对来源于力学传感器的时序数据，设置应力提取通道和震动提取通道；数据处理通道是指对每一模态的监测数据进行特定的处理和转换的模块，可以提取和增强监测数据中的有效信息，抑制和消除监测数据中的无效信息，为。

34、后续的数据融合和分析提供优化的输入。可以检测和定位图像中的裂纹区域和腐蚀纹理，提取裂纹的长度、宽度、深度、方向、分布等特征，提取腐蚀的颜色、形状、密度、范围等特征。针对来源于力学传感器的时序数据，设置应力提取通道和震动提取通道，分别用于计算和分析时序数据中的应力值和震动频率，提取应力的大小、变化、极值、趋势等特征，提取震动的幅度、周期、波形、能量等特征。0033步骤S22、根据通道数量构若干个建跨模态注意力模块，形成多通道数据处理模块；跨模态注意力模块用于实现不同模态数据之间的相互学习和融合的神经网络模块，可以利用注意力机制，自动地分配不同模态数据的权重，突出重要的信息，抑制冗余的信息，提高数。

35、据的表达能力和语义一致性。每个跨模态注意力模块可以接收两个或多个模态的数据作为输入，输出一个或多个模态的数据作为输出，实现数据的融合和转换。比如裂纹应力跨模态注意力模块：接收裂纹区域提取通道和应力提取通道的数据作为输入，输出裂纹应力融合数据作为输出，实现裂纹和应力之间的相互学习和融合，提高裂纹的检测精度和应力的分析效果。腐蚀震动跨模态注意力模块：接收腐蚀纹理提取通道和震动提取通道的数据作为输入，输出腐蚀震动融合数据作为输出，实现腐蚀和震动之间的相互学习和融合，提高腐蚀的识别准确率和震动的评估效果。0034步骤S23、调用存储器中的训练集和测试集对多通道数据处理模块进行训练和测试，并输出符合预期。

36、性能标准的多通道数据处理模块作为建筑多模态数据分析单元。利用存储器中的训练集和测试集，分别用于调整和验证多通道数据处理模块的权重、偏置、激活函数等参数，使其能够有效地提取和融合不同模态数据的特征，输出高质量的数据，满足预期的性能标准，如准确率、召回率、F1值等。训练和测试的结果可以输出符合预期性能标准的多通道数据处理模块作为建筑多模态数据分析单元，可以作为后续的数据分析和风险评估的核心模块，实现对建筑风险的多维度、多层次、多角度的分析总之，在本实施例中，针对不同模态的监测数据，设置不同的数据处理通道，实现对裂纹、应力、腐蚀、震动等建筑风险指标的有效提取。利用注意力机制，自动地分配不同模态数据的。

37、权重，突出重要的信息，抑制冗余的信息，提高数据的表达能力和语义一致性。0035需要说明的是，跨模态注意模块可以独立配置，即获取上述中间结果后，输入一个并行的模块中，对于各个模态之间的耦合关系进行提取，从而获取跨模态的数据分析结果。对于神经网络的系统架构，由于具有多种设计方式，可以形成多种拓扑架构，在此不做具体的限制，只要能够实现上述功能即可，本领域的技术人员可以根据实际情况来进行组合和配置，从而实现上述功能。0036如图4所示，根据本申请的一个方面，所述步骤S3进一步为：步骤S31、根据待检测建筑的风险等级和监测需求，确定监测的时间间隔和持续时长，定时采集建筑的多模态监测数据；监测的时间间隔和。

38、持续时长是指对待检测建筑进行多模态监测的频率和范围，可说明书6/11 页10CN 117540174 A10以根据待检测建筑的风险等级和监测需求进行确定，以保证监测数据的有效性和充分性。风险等级是指待检测建筑的风险水平，可以根据超矩阵中的风险系数矩阵进行评估，风险等级越高，监测的时间间隔和持续时长应该越短和越长，以及时发现和预防风险。监测需求是指待检测建筑的监测目的和要求，可以根据建筑的类型、功能、位置、环境等因素进行确定，监测需求越复杂和严格，监测的时间间隔和持续时长应该越短和越长，以全面和准确地监测建筑的状态和风险。定时采集建筑的多模态监测数据是指按照确定的时间间隔和持续时长，使用不同类型。

39、的监测仪器，对待检测建筑进行多模态监测，即同时或依次采集应力、震动、图像、声波、红外、电磁等不同模态的监测数据，形成多模态监测数据集，为后续的数据处理和分析提供数据源。0037比如，根据超矩阵中的风险系数矩阵，评估待检测建筑的风险等级，假设风险等级为中等，那么可以设置监测的时间间隔为每天一次，持续时长为一小时，以保证监测数据的有效性和充分性。根据建筑的类型、功能、位置、环境等因素，确定监测需求，假设监测需求为检测建筑的结构完整性和稳定性，那么可以设置监测的时间间隔为每天一次，持续时长为一小时，以全面和准确地监测建筑的状态和风险。按照确定的时间间隔和持续时长，使用不同类型的监测仪器，对待检测建筑。

40、进行多模态监测，即同时或依次采集应力、图像、声波、红外、电磁等不同模态的监测数据，形成多模态监测数据集，例如，可以使用以下的监测仪器和方法：使用声波传感器，发射和接收声波信号，采集声波模态的监测数据，反映建筑的内部缺陷，如空洞、裂纹、脱层等。使用电磁传感器，测量建筑的电磁场，采集电磁模态的监测数据，反映建筑的金属腐蚀，如锈蚀、电位、电阻等。采用图像数据，提取腐蚀和变形等情况。0038步骤S32、将采集的监测数据输入建筑多模态数据分析单元，得到每个模态的风险识别通道的输出，即获得每个模态的建筑风险信息；建筑多模态数据分析单元由多通道数据处理模块构成的神经网络模块，可以对多模态的监测数据进行自动特。

41、征提取和融合，输出高质量的数据，实现对建筑风险的多维度、多层次、多角度的分析。建筑的各种风险指标包括裂纹、应力、腐蚀、震动等。0039步骤S33、结合跨模态注意力模块对每个模态的建筑风险信息进行融合，得到建筑风险融合结果，反映建筑的整体风险状况；利用注意力机制，自动地分配不同模态数据的权重，突出重要的信息，抑制冗余的信息，提高数据的表达能力和语义一致性。建筑风险融合结果，反映建筑的整体风险状况，如裂纹应力融合结果和腐蚀震动融合结果。0040步骤S34、根据每个模态的建筑风险信息，更新待检测建筑的超矩阵中的物化参数矩阵和风险系数矩阵，调整建筑的结构特征、环境因素和风险等级。物化参数矩阵是指反映建。

42、筑的物理属性和环境条件的矩阵，如密度、弹性模量、温度、湿度等。风险系数矩阵是指反映建筑的风险水平和风险因素的矩阵，如裂纹、应力、腐蚀、震动等。根据每个模态的建筑风险信息，对物化参数矩阵和风险系数矩阵进行修改和调整，使其能够动态地反映建筑的结构状态和风险变化，调整建筑的结构特征、环境因素和风险等级。0041在训练完成后，将其配置在服务器或者边缘服务器中，根据新采集的数据进行处理运算，从而给出具体的分析结果。0042如图5所示，根据本申请的一个方面，所述步骤S4进一步为：步骤S41、基于更新后的超矩阵，调用预配置的有限元仿真计算模块计算建筑风说明书7/11 页11CN 117540174 A11险。

43、，给出建筑风险分析结果；有限元仿真计算模块能够根据超矩阵中的物化参数矩阵和风险系数矩阵，对建筑的结构性能和风险水平进行数值模拟和计算的模块，可以利用有限元法，将建筑划分为若干个有限元，建立有限元方程组，求解方程组，得到建筑的应力、变形、破坏等状态，评估建筑的风险程度。根据更新后的超矩阵中的物化参数矩阵和风险系数矩阵，作为有限元仿真计算模块的输入，调用预配置的有限元仿真计算模块，进行有限元仿真计算，得到建筑风险分析结果，反映建筑的结构性能和风险水平，如应力、变形、破坏等。0043步骤S42、将建筑风险融合结果和风险分析结果进行比较，检验两者的一致性，判断误差是否在预定范围内，若不在，则进行数据分。

44、析与核查；建筑风险融合结果是建筑多模态数据分析单元输出的数据，反映建筑的整体风险状况，如裂纹应力融合结果和腐蚀震动融合结果。风险分析结果是指由有限元仿真计算模块输出的数据，反映建筑的结构性能和风险水平，如应力、变形、破坏等。然后对数据的来源、处理、输出等过程进行检查和分析，找出数据的异常和错误，进行修正和优化。0044将建筑风险融合结果和风险分析结果进行比较，分析两者的数据是否一致，如裂纹的位置、大小、形状、深度、应力的大小、变化、极值、趋势等，腐蚀的颜色、形状、密度、范围、震动的幅度、周期、波形、能量等。0045检验两者的一致性，判断误差是否在预定范围内，例如，设定误差的阈值，如5%，计算两。

45、者的数据的差异和比例，如裂纹的长度、应力的大小等，判断是否在误差的阈值内，若在，则认为两者的数据是一致的，若不在，则认为两者的数据是不一致的，需要进行数据分析与核查。0046进行数据分析与核查，找出数据的异常和错误，进行修正和优化，例如，检查数据的来源，如监测仪器的准确性、稳定性、校准情况等，检查数据的处理，如数据处理通道的参数、算法、逻辑等，检查数据的输出，如数据的格式、范围、单位等，找出数据的异常和错误，如数据的噪声、缺失、异常值、错误值等，进行修正和优化，如数据的滤波、插补、剔除、转换等。0047步骤S43、根据风险分析结果和风险融合结果，给出最终的风险提示以及相应的建议，风险提示包括如。

46、无风险、低风险、中风险和高风险；建议包括继续监测、加强检查和紧急修复。0048根据神经网络的分析结果，以及神经网络结合物理模型的仿真结果，进行比较，给出更加准确的分析结果，提高了分析的准确性。0049根据本申请的一个方面，所述步骤S13进一步包括：步骤S131、读取每类模态的监测数据，将力学传感器和摄像头的数据进行时间对齐；每类模态的监测数据是由不同类型的监测仪器采集的不同模态的数据，如声波、红外、电磁等。力学传感器和摄像头的数据是指由力学传感器和摄像头采集的力学模态和视觉模态的数据，如应力、变形、图像等。同步后，每一对力学传感器和摄像头的数据具有相同或相近的时间戳，以便于后续的数据处理和分析。

47、。0050步骤S132、获取至少两个力学传感器的监测数据并进行突变点提取，根据突变点提取至少两段预定长度的监测数据，形成风险时段监测数据；力学传感器的监测数据是力学传感器采集的力学模态的数据，如应力、变形等。突变点是监测数据中出现的突然变化的说明书8/11 页12CN 117540174 A12点，如峰值、谷值、跳变等。突变点提取是指利用一定的算法和阈值，从监测数据中检测和提取出突变点，如小波变换、卡尔曼滤波、阈值判断等。根据突变点提取至少两段预定长度的监测数据，是指根据突变点的位置，从监测数据中截取出至少两段具有预定长度的数据，如1秒、10小时等，作为风险时段监测数据，反映建筑的风险状态，如。

48、裂纹、破坏等。0051步骤S133、将风险时段监测数据与对应摄像头的数据进行预处理，形成训练集和测试集。险时段监测数据是指由步骤S132提取的至少两段预定长度的监测数据，反映建筑的风险状态，如裂纹、破坏等。对应摄像头的数据是指由步骤S131时间对齐的视觉模态的数据，如图像视频等将预处理后的数据按照一定的比例，如8:2，随机分为训练集和测试集，训练集用于训练多通道数据处理模块，测试集用于测试多通道数据处理模块的性能，如准确率、召回率、F1值等。0052根据本申请的一个方面，所述步骤S21中，通过裂纹区域提取通道和腐蚀纹理提取通道的处理过程具体包括：步骤S211、获取经过特征提取后的至少两个尺度的。

49、特征图；特征包括边缘、纹理、颜色等。不同尺度可以是不同分辨率的特征图，如高分辨率的特征图和低分辨率的特征图。例如，使用一定的方法和参数，从原始的监测数据中获取不同分辨率的特征图，如使用卷积神经网络的不同层的输出作为不同尺度的特征图。0053步骤S212、根据预设的尺度数量，构建裂纹区域提取通道和腐蚀纹理提取通道的不同尺度的子通道；使用一定的方法和参数，将不同尺度的特征图作为不同尺度的子通道的输入，如使用卷积层、池化层、激活层等。例如，使用卷积层、池化层、激活层等，将高分辨率的特征图作为高分辨率的子通道的输入，将低分辨率的特征图作为低分辨率的子通道的输入，分别对裂缝和腐蚀纹理的特征进行进一步的提。

50、取和压缩。0054步骤S213、构建裂纹区域提取通道和腐蚀纹理提取通道的融合单元，各自包括上采样单元、融合单元和分类单元，其中，上采样单元使用双线性插值法将低分辨率的特征图上采样到高分辨率的特征图的大小；融合单元使用加权平均法将不同尺度的特征图进行加权融合，得到一个综合的特征图；分类单元使用一个11的卷积层和一个softmax层对综合的特征图进行像素级分类，各自得到二值的裂缝分割图和腐蚀纹理图；步骤S214、使用后处理技术对裂缝分割图进行优化操作，得到最终的裂缝分割和腐蚀纹理划分结果，优化操作包括去除小区域、填充空洞和平滑边缘。0055通过多通道来提取图像信息，分别获取不同的特征，不仅有利于提。