样本数据的处理方法、系统及装置.pdf

《样本数据的处理方法、系统及装置.pdf》由会员分享，可在线阅读，更多相关《样本数据的处理方法、系统及装置.pdf（23页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910128534.5 (22)申请日 2019.02.21 (71)申请人 烽火通信科技股份有限公司 地址 430000 湖北省武汉市东湖高新技术 开发区高新四路6号 (72)发明人 匡立伟 (74)专利代理机构 武汉智权专利代理事务所 (特殊普通合伙) 42225 代理人 许小静 (51)Int.Cl. H04L 12/24(2006.01) G06N 20/00(2019.01) (54)发明名称 一种样本数据的处理方法、 系统及装置 (57)摘要 本发明公开了一种样。

2、本数据的处理方法、 系 统及装置， 涉及通信技术领域。 样本数据的处理 方法包括： 从数据库中获取至少一个目标网络在 多个时间点的告警数据、 故障数据和配置数据， 并分别转换为相应的向量； 为至少一个目标网络 构建一个多层高维空间， 包括每个目标网络的告 警数据层、 故障数据层和配置数据层； 其中， 每一 层均为具有相同维度的二维矩阵， 用于根据时间 点的先后顺序按行存储所述转换得到的向量。 本 发明将面向运维专家的光网络的配置数据、 告警 数据和故障数据转换为面向机器学习的样本数 据， 并提高样本数据的存储效率， 实现异厂商的 跨域样本数据的互通和共享。 权利要求书2页 说明书11页 附图9。

3、页 CN 111600735 A 2020.08.28 CN 111600735 A 1.一种样本数据的处理方法， 其特征在于， 其包括： 从数据库中获取至少一个目标网络在多个时间点的告警数据、 故障数据和配置数据， 并分别转换为相应的向量； 为至少一个目标网络构建一个多层高维空间， 包括每个目标网络的告警数据层、 故障 数据层和配置数据层； 其中， 每一层均为具有相同维度的二维矩阵， 用于根据所述时间点的 先后顺序按行存储所述转换得到的向量。 2.如权利要求1所述的样本数据的处理方法， 其特征在于， 所述方法还包括： 从所述告 警数据层和故障数据层提取机器学习模型的输入向量， 从所述配置数据。

4、层提取机器学习模 型的输出向量。 3.如权利要求2所述的样本数据的处理方法， 其特征在于： 对所述告警数据层和故障数据层依次进行模展开和按行向量展开， 得到所述输入向 量； 对所述配置数据层依次进行模展开和按行向量展开， 得到所述输出向量。 4.如权利要求2所述的样本数据的处理方法， 其特征在于： 从所述多层高维空间中提取包括目标数据的子空间， 子空间包括所述告警数据层、 故 障数据层和配置数据层中的至少一个子矩阵； 对所述子空间依次进行模展开和按行向量展开， 得到所述输入向量和/或输出向量。 5.如权利要求4所述的样本数据的处理方法， 其特征在于： 通过子空间切分算子对所述多层高维空间进行切。

5、分后得到所述子空间； 通过第一模展开操作算子对所述模展开矩阵按行向量展开得到所述输入向量； 和/或， 通过第二模展开操作算子对所述模展开矩阵按行向量展开得到所述输出向量。 6.如权利要求1所述的样本数据的处理方法， 其特征在于： 根据所述时间点的先后顺序， 在二维的空矩阵中按行存储所述转换得到的向量， 以分 别得到每个所述目标网络的告警矩阵、 故障矩阵和配置矩阵； 将所述告警矩阵、 故障矩阵和配置矩阵分别存储在所述多层高维空间的告警数据层、 故障数据层和配置数据层， 每一层中没有存储数值的矩阵元素填充零值。 7.如权利要求1所述的样本数据的处理方法， 其特征在于： 所述转换得到的向量为基础向量。

6、与量纲扩展向量的hadamard积， 其中， 基础向量的每 个元素为一个所述时间点的告警数据、 故障数据或者配置数据中一个字段的数值， 量纲扩 展向量的元素为所述基础向量的相应元素的扩大或者缩小倍数。 8.一种样本数据的处理系统， 其特征在于， 其包括： 转换模块， 其用于从数据库中获取至少一个目标网络在多个时间点的告警数据、 故障 数据和配置数据， 并分别转换为相应的向量； 空间构建模块， 其用于为至少一个目标网络构建一个多层高维空间， 包括每个目标网 络的告警数据层、 故障数据层和配置数据层； 其中， 每一层均为具有相同维度的二维矩阵， 用于根据所述时间点的先后顺序按行存储所述转换得到的向。

7、量。 9.如权利要求8所述的样本数据的处理系统， 其特征在于， 所述系统还包括： 提取模块， 其用于从所述告警数据层和故障数据层提取机器学习模型的输入向量， 从 所述配置数据层提取机器学习模型的输出向量。 10.如权利要求9所述的样本数据的处理系统， 其特征在于， 所述提取模块包括： 权利要求书 1/2 页 2 CN 111600735 A 2 子矩阵处理单元， 其用于从所述多层高维空间中提取出包括目标数据的子空间， 子空 间包括所述告警数据层、 故障数据层和配置数据层的至少一个子矩阵； 矩阵运算单元， 其用于对所述告警数据层和故障数据层依次进行模展开和按行向量展 开， 得到所述输入向量； 对。

8、所述配置数据层依次进行模展开和按行向量展开， 得到所述输出 向量； 以及对所述子空间依次进行模展开和按行向量展开， 得到所述输入向量和/或输出向 量。 11.如权利要求8所述的样本数据的处理系统， 其特征在于， 所述构建模块包括： 矩阵预处理单元， 其用于根据所述时间点的先后顺序， 在二维的空矩阵中按行存储数 据来源相同的所述转换得到的向量， 以分别得到每个所述目标网络的告警矩阵、 故障矩阵 和配置矩阵； 矩阵构建单元， 其用于将所述告警矩阵、 故障矩阵和配置矩阵分别存储在所述多层高 维空间的告警数据层、 故障数据层和配置数据层， 每一层中没有存储数值的矩阵元素填充 零值。 12.一种基于机器。

9、学习模型的网络故障处理装置， 其特征在于： 所述装置包括故障诊断 系统以及如权利要求7至11任一所述的样本数据的处理系统； 所述故障诊断系统包括模型构建模块和输入输出控制模块， 所述模型构建模块用于从 所述处理系统获取输入向量和输出向量， 以构建所述机器学习模型， 其中， 输入向量是从所 述告警数据层和故障数据层提取的， 输出向量是从所述配置数据层提取的； 所述输入输出控制模块用于获取目标网络的告警数据和故障数据， 并分别转换为相应 的向量后输入所述模型构建模块， 将所述模型构建模块的输出向量下发给目标网络。 权利要求书 2/2 页 3 CN 111600735 A 3 一种样本数据的处理方法。

10、、 系统及装置 技术领域 0001 本发明涉及通信技术领域， 具体是涉及一种样本数据的处理方法、 系统及装置。 背景技术 0002 光网络设备的当前性能指标越限或者一些潜在性能正在劣化时， 会产生一系列的 告警数据并上报给网管平台。 当光网络设备出现故障时， 则会同时产生告警数据和故障数 据并上报。 目前， 运维专家通过分析告警数据和故障数据， 定位故障发生位置， 制定故障修 复策略， 然后通过管理平台和控制平台下发相应的配置数据到故障发生位置进行修复， 必 要时触发保护倒换以保证光网络的正常运行。 0003 随着光网络规模日益增大， 光网络设备不断增多， 光网络产生的告警数据和故障 数据数量。

11、越来越多， 网络故障的定位和修复日趋复杂和费力， 传统的故障处理模式面监巨 大挑战， 难以满足实际需要。 特别是随着通信业务的飞速发展， 通信技术的不断演进和变 革， 传统紧耦合、 刚性网络架构转型为松耦合、 灵活的云化网络架构是大势所趋。 云化网络 底层由光网络设备实现数据转发， 中上层通过控制平台、 管理平台、 编排平台实现资源和业 务的管理控制， 系统运营和维护过程更加复杂， 需要实现网络数据融合表示， 高效提取数据 操作和运算， 以解决云化网络出现故障后难以及时恢复的问题。 0004 采用人工智能技术对网络故障进行分析和修复是应对这些挑战的有效方案。 但 是， 一方面， 现有的面向运维。

12、专家的告警数据、 故障数据和配置数据均包括各种类型的字 段， 例如告警开始时间、 网元类型和中央处理器(Central Processing Unit， CPU)的内核数 量等。 这些异构数据不能直接用作面向机器学习的样本数据； 另一方面， 由于网络数据数量 巨大以及各种类型网络具有差异等因素， 导致无法根据机器学习的需求灵活地提取所需的 样本数据。 因此， 迫切需要灵活、 有效的样本数据处理方法， 以满足机器学习模型测试和分 析的需要。 发明内容 0005 本发明实施例的目的在于提供一种样本数据的处理方法、 系统及装置， 将面向运 维专家的光网络的配置数据、 告警数据和故障数据转换为面向机器。

13、学习的样本数据， 并提 高样本数据的存储效率， 实现异厂商的跨域样本数据的互通和共享。 0006 第一方面， 本发明实施例提供一种样本数据的处理方法， 其包括： 0007 从数据库中获取至少一个目标网络在多个时间点的告警数据、 故障数据和配置数 据， 并分别转换为相应的向量； 0008 为至少一个目标网络构建一个多层高维空间， 包括每个目标网络的告警数据层、 故障数据层和配置数据层； 其中， 每一层均为具有相同维度的二维矩阵， 用于根据所述时间 点的先后顺序按行存储所述转换得到的向量。 0009 结合第一方面， 在第一种可选的实现方式中， 所述方法还包括： 从所述告警数据层 和故障数据层提取机。

14、器学习模型的输入向量， 从所述配置数据层提取机器学习模型的输出 说明书 1/11 页 4 CN 111600735 A 4 向量。 0010 在第一方面的第一种可选的实现方式中， 对所述告警数据层和故障数据层依次进 行模展开和按行向量展开， 得到所述输入向量； 对所述配置数据层依次进行模展开和按行 向量展开， 得到所述输出向量。 0011 在第一方面的第二种可选的实现方式中， 从所述多层高维空间中提取包括目标数 据的子空间， 子空间包括所述告警数据层、 故障数据层和配置数据层中的至少一个子矩阵； 0012 对所述子空间依次进行模展开和按行向量展开， 得到所述输入向量和/或输出向 量。 0013。

15、 其中， 一种可选的实现方式中， 通过子空间切分算子对所述多层高维空间进行切 分后得到所述子空间； 0014 通过第一模展开操作算子对所述模展开矩阵按行向量展开得到所述输入向量； 和/或， 通过第二模展开操作算子对所述模展开矩阵按行向量展开得到所述输出向量。 0015 结合第一方面第三种可选的实现方式， 根据所述时间点的先后顺序， 在二维的空 矩阵中按行存储所述转换得到的向量， 以分别得到每个所述目标网络的告警矩阵、 故障矩 阵和配置矩阵； 0016 将所述告警矩阵、 故障矩阵和配置矩阵分别存储在所述多层高维空间的告警数据 层、 故障数据层和配置数据层， 每一层中没有存储数值的矩阵元素填充零值。

16、。 0017 结合第一方面第四种可选的实现方式， 所述转换得到的向量为基础向量与量纲扩 展向量的hadamard积， 其中， 基础向量的每个元素为一个所述时间点的告警数据、 故障数据 或者配置数据中一个字段的数值， 量纲扩展向量的元素为所述基础向量的相应元素的扩大 或者缩小倍数。 0018 第二方面， 本发明实施例提供一种样本数据的处理系统， 其包括： 0019 转换模块， 其用于从数据库中获取至少一个目标网络在多个时间点的告警数据、 故障数据和配置数据， 并分别转换为相应的向量； 0020 空间构建模块， 其用于为至少一个目标网络构建一个多层高维空间， 包括每个目 标网络的告警数据层、 故障。

17、数据层和配置数据层； 其中， 每一层均为具有相同维度的二维矩 阵， 用于根据所述时间点的先后顺序按行存储所述转换得到的向量。 0021 结合第二方面， 在第一种可选的实现方式中， 所述系统还包括： 0022 提取模块， 其用于从所述告警数据层和故障数据层提取机器学习模型的输入向 量， 从所述配置数据层提取机器学习模型的输出向量。 0023 在第二方面的第一种可选的实现方式中， 所述提取模块包括： 0024 子矩阵处理单元， 其用于从所述多层高维空间中提取出包括目标数据的子空间， 子空间包括所述告警数据层、 故障数据层和配置数据层的至少一个子矩阵； 0025 矩阵运算单元， 其用于对所述告警数据。

18、层和故障数据层依次进行模展开和按行向 量展开， 得到所述输入向量； 对所述配置数据层依次进行模展开和按行向量展开， 得到所述 输出向量； 以及对所述子空间依次进行模展开和按行向量展开， 得到所述输入向量和/或输 出向量。 0026 结合第二方面， 在第二种可选的实现方式中， 所述构建模块包括： 0027 矩阵预处理单元， 其用于根据所述时间点的先后顺序， 在二维的空矩阵中按行存 说明书 2/11 页 5 CN 111600735 A 5 储数据来源相同的所述转换得到的向量， 以分别得到每个所述目标网络的告警矩阵、 故障 矩阵和配置矩阵； 0028 矩阵构建单元， 其用于将所述告警矩阵、 故障矩。

19、阵和配置矩阵分别存储在所述多 层高维空间的告警数据层、 故障数据层和配置数据层， 每一层中没有存储数值的矩阵元素 填充零值。 0029 第三方面， 本发明实施例提供一种基于机器学习模型的网络故障处理装置， 所述 装置包括故障诊断系统以及第二方面所述的样本数据的处理系统； 0030 所述故障诊断系统包括模型构建模块和输入输出控制模块， 所述模型构建模块用 于从所述处理系统获取输入向量和输出向量， 以构建所述机器学习模型， 其中， 输入向量是 从所述告警数据层和故障数据层提取的， 输出向量是从所述配置数据层提取的； 0031 所述输入输出控制模块用于获取目标网络的告警数据和故障数据， 并分别转换为。

20、 相应的向量后输入所述模型构建模块， 将所述模型构建模块的输出向量下发给目标网络。 0032 相对于现有技术， 本发明实施例通过从数据库中获取至少一个目标网络在多个时 间点的告警数据、 故障数据和配置数据， 并分别转换为相应的向量， 为至少一个目标网络构 建一个多层高维空间， 为用于光网络故障处理的机器学习模型提供样本数据， 将面向运维 专家的光网络的配置数据、 告警数据和故障数据转换为面向机器学习的样本数据， 并提高 样本数据的存储效率， 实现异厂商的跨域样本数据的互通和共享。 附图说明 0033 为了更清楚地说明本发明实施例中的技术方案， 下面将对实施例描述中所需要使 用的附图作简单地介绍。

21、， 显而易见地， 下面描述中的附图仅仅是本发明的一些实施例， 对于 本领域技术人员来讲， 在不付出创造性劳动的前提下， 还可以根据这些附图获得其他的附 图。 0034 图1是一种云化网络架构示意图； 0035 图2是本发明实施例样本数据的处理方法流程图； 0036 图3是从数据库获取数据并进行向量化和矩阵化的示意图； 0037 图4本发明另一实施例样本数据的处理方法流程图； 0038 图5是多层高维空间的一个示例； 0039 图6是本发明再一实施例样本数据的处理方法中， 对多层高维空间进行模展开和 按行向量展开的示意图； 0040 图7是本发明再一实施例样本数据的处理方法中， 对多层高维空间的。

22、子空间进行 模展开和按行向量展开的流程图； 0041 图8是对多层高维空间进行子空间切分的实施方式示意图； 0042 图9是对多层高维空间进行子空间切分的另一实施方式示意图； 0043 图10是子空间进行模展开和按行向量展开的示意图； 0044 图11是多层高维空间的模展开和子空间切分流程图； 0045 图12是本发明实施例样本数据的处理系统示意图； 0046 图13是本发明实施例网络故障处理装置示意图。 说明书 3/11 页 6 CN 111600735 A 6 具体实施方式 0047 下面将结合本发明实施例中的附图， 对本发明实施例中的技术方案进行清楚、 完 整地描述， 显然， 所描述的实。

23、施例仅仅是本发明一部分实施例， 而不是全部的实施例。 基于 本发明中的实施例， 本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施 例， 都属于本发明保护的范围。 0048 本发明实施例提供一种样本数据的处理方法， 为用于光网络故障处理的机器学习 模型提供样本数据， 将面向运维专家的光网络配置数据、 告警数据和故障数据转换为面向 机器学习的样本数据， 并提高样本数据的存储效率， 方便对样本数据的提取和比较等操作， 有利于高效地构造机器学习模型。 0049 本发明实施例涉及的光网络既可以是(Optical Transport Network， OTN)、 分组 传送网(Packet T。

24、ransport Network， PTN)和分组光传送网络(Packet Optical Transport Network， POTN)等传统的光传送网， 还可以是云化网络。 0050 作为一个示例， 图1是一种云化网络架构示意图， 图1左下部分是云化网络基站， 包 括有源天线单元(Active Antenna Unit， AAU)、 集中单元(Centralized Unit， CU)和分布式 单元(Distributed Unit， DU)， 其中， CU支持非实时无线高层协议以及部分核心网下沉功能 和边缘应用功能， DU支持物理层功能和实时功能。 图1下部是云化网络接入环、 汇聚环和。

25、核 心环， 这些环形网络中的网络设备的告警数据、 故障数据和配置数据通过网络管理平台或 者控制器平台分别上报至图1上部的边缘数据中心、 区域数据中心和核心数据中心， 基站和 边缘应用的告警数据、 故障数据和配置数据通过本地网上报至边缘数据中心。 5G核心网络 的核心网功能分为用户面(User Plane， UP)功能与控制面(Control Plane， CP)功能。 这些 数据中心一方面承担着云化网络的管理、 编排和控制等功能， 另一方面部署云化网络的智 能化平台， 基于海量网络数据和强大的计算能力， 构建云化网络运维管理知识库， 担任云化 网络的大脑。 0051 在本发明实施例中， 每个目。

26、标网络可以是图1中的接入环、 汇聚环或者核心环， 但 并不局限于此。 在其他的实施例中， 每个目标网络还可以是传统光网络(OTN、 PTN和POTN)中 的接入网、 汇聚网或者核心网。 0052 在本发明实施例中， 光网络设备将告警数据和相关的故障数据上报网络管理平 台， 由网络管理平台提交至数据中心。 光网络设备产生的告警包括根源告警和衍生告警， 根 源告警和衍生告警之间相关联。 光网络设备出现故障时， 同时产生告警数据和故障数据并 上报， 并需要通过下发的配置数据对故障进行修复。 0053 因为海量的光网络告警数据、 故障数据和配置数据中包含大量重复冗余、 不完备 和不一致的数据， 数据中。

27、心首先对数据进行清洗， 去除重复冗余、 低质量数据， 得到高质量 的告警数据集、 故障数据集和配置数据集， 并分别保存在数据库中。 0054 图2所示为本发明实施例样本数据的处理方法流程图， 样本数据的处理方法包括： 0055 S110从数据库中获取一个目标网络在多个时间点的告警数据、 故障数据和配置数 据， 并转换为相应的向量。 0056 S120为该目标网络构建一个多层高维空间， 其中， 每一层均为具有相同维度的二 维矩阵， 用于根据时间点的先后顺序按行存储转换得到的向量， 以分别得到每个目标网络 的告警数据层、 故障数据层和配置数据层。 说明书 4/11 页 7 CN 111600735。

28、 A 7 0057 在步骤S110中， 基于告警数据、 故障数据和配置数据在产生的时间上具有相关性， 可以从数据库中获取设定的时间段内目标网络的所有告警数据、 故障数据和配置数据， 也 可以按天、 周或者月等周期性地从数据库中获取目标网络的所有告警数据、 故障数据和配 置数据。 设定的时间段或者周期内包括多个时间点的告警数据， 多个时间点的故障数据以 及多个时间点的配置数据。 0058 告警数据、 故障数据和配置数据不仅是异构数据， 而且这些数据包括各种类型的 字段， 而且不同的字段有不同的量纲。 对不同量纲的异构数据的向量化表示方法包括： 0059 首先， 每条告警数据、 故障数据或者配置数。

29、据都被转换为一个基础向量Vb， 基础向 量Vb的每个元素为每条告警数据、 故障数据或者配置数据中一个字段的数值。 0060 例如， 获取的所有告警数据所构成的样本集有Ma条告警数据， 其中， 在一个时间点 上产生的告警数据可以是一条或者多条， 每条告警数据有Na个字段。 0061 作为一个示例， 图3中所示的一条告警数据包括八个字段， 分别是： 告警数据的序 列号Seq.No.、 地址Addr.、 线路号Line、 告警类型AlarmType、 告警开始时间BeginTime、 告警 结束时间EndTime、 板类型BoardType和网元类型NetType， 其中， 告警开始时间BeginT。

30、ime和 告警结束时间EndTime精确到秒， 地址Addr.和告警类型AlarmType为字符号， 网元类型 NetType为整型值。 0062 将图3所示告警数据的所有字段的值转换为实数， 从而表示为向量的元素。 在告警 数据的向量化过程中， 这些字段的整型值作为元素值表示在向量中。 可以将所有告警开始 时间BeginTime和告警结束时间EndTime中的最小值对应为数值1， 其他时间与最小时间相 差的秒数加到数值1上， 分别得到告警开始时间BeginTime和告警结束时间EndTime的对应 值。 例如， 告警开始时间BeginTime比最小时间多10秒， 则告警开始时间BeginTi。

31、me对应数值 11， 将这两个字段按字典序进行排列， 然后从1进行编号， 将字符串转换为数值后作为向量 的元素。 0063 其次， 对基础向量Vb进行量纲转换， 转换得到的向量V为基础向量Vb与量纲扩展向 量Vs的hadamard积， 即VVb Vs， 量纲扩展向量Vs的元素为基础向量Vb的相应元素的扩大或 者缩小倍数， 例如将带宽单位兆M扩大为千兆G， 则量纲扩展向量Vs的元素为1024。 0064 根据机器学习模型训练的要求， 可以将基础向量与量纲扩展向量的对应元素相 乘， 生成适合训练要求的样本数据。 同理， 图3左下部分的配置数据和故障数据也转换为相 应的向量， 配置数据包括Num_C。

32、PUs： 4， 即CPU的内核数量， 作为示例， 图3下部的向量组显示 了两个向量， 分别由告警数据和配置数据转换得到。 0065 对于光网络中保存在半结构化XML文档中的故障数据和配置数据， 同样可以利用 上述方法构建数据基础向量和量纲扩展向量， XML中键值对(Key/Value)的个数对应向量的 维度， 向量元素的值对应XML文档中的Value值。 0066 在步骤S110中， 为一个目标网络构建三对向量组， 分别为告警数据基础向量组与 量纲扩展向量组、 故障数据基础向量组与量纲扩展向量组、 以及配置数据基础向量组与量 纲扩展向量组， 得到的告警数据向量组包括由Ma条告警数据转换得到的M。

33、a个告警数据向量， 每个告警数据向量具有Na个元素； 故障数据向量组包括由Mf条故障数据转换得到的Mf个故 障数据向量， 每个故障数据向量具有Nf个元素； 配置数据向量组包括由Mc条配置数据转换得 到的Mc个配置数据向量， 每个配置数据向量具有Nc个元素。 说明书 5/11 页 8 CN 111600735 A 8 0067 对不同量纲的异构数据的向量化表示后， 步骤S120进行矩阵化表示， 多层高维空 间的二维矩阵的行数为告警数据向量组、 故障数据向量组和配置数据向量组的向量总数的 最大值， 即Ma、 Mf和Mc中的最大值， 多层高维空间的二维矩阵的列数为告警数据向量组、 故障 数据向量组和。

34、配置数据向量组的向量元素总数的最大值， 即Na、 Nf和Nc中的最大值。 0068 根据Ma个告警数据向量的时间点的先后顺序， 将告警数据向量组按行存储在多层 高维空间的一层中， 得到告警数据层。 同样地， 可以得到故障数据层和配置数据层。 0069 多层高维空间表示为DR(I1， I2， I3)， R表示多层高维空间在实数域上取值， I1表 示层数， I2表示该层矩阵的行数， I3表示该层矩阵的列数。 例如， R(I1， :， :)表示第I1层矩阵 元素， R(I1， I2， :)表示第I1层第I2行向量所有元素。 R(2， :， :)表示第2层矩阵元素， R(2， 3， :) 表示第2层第。

35、3行向量的所有元素。 0070 在本发明实施例中， 多维高层空间的层数、 行数和列数是确定的， 也就是说， DR (I1， I2， I3)中I1， I2和I3的值， 以及矩阵、 向量和元素的位置都是确定的。 在后续机器学习模 型的构建和分析过程中， 便于计算告警数据、 故障数据和配置数据的交集和差集， 以及进行 关联分析处理等操作。 0071 上述样本数据的处理方法中， 步骤S110的另一种实施方式是步骤S110 。 0072 在步骤S110 中， 还可以根据时间点的先后顺序， 在二维的空矩阵中按行存储转换 得到的向量， 以分别得到每个目标网络的告警矩阵、 故障矩阵和配置矩阵。 采用矩阵存储转。

36、 换得到的向量， 可以借助经典的稀疏矩阵存储方式节省存储空间。 例如， 可以基于压缩行存 储(Compressed Row Storage)保存矩阵中的数据， 以节省存储空间。 0073 具体的， 以前述步骤S110中同样的方式转换得到所有告警数据的向量， 以行向量 的方式存入一个二维的空矩阵中， 形成告警矩阵， 例如图3右下部分的二维矩阵， 假如有Ma 7000条告警数据， 则形成7000行8列的告警矩阵。 同样的， 可以构建出故障矩阵和配置矩 阵。 0074 步骤S120的另一种实施方式是步骤S120 ， 其中， 求取告警矩阵、 故障矩阵和配置 矩阵的最大行数和最大列数， 将最大行数和最大。

37、列数作为多层高维模型每层矩阵的行数和 列数。 0075 然后将告警矩阵、 故障矩阵和配置矩阵分别存储在多层高维空间的告警数据层、 故障数据层和配置数据层， 每一层中没有存储数值的矩阵元素填充零值。 0076 得到多层高维空间后， 可以借助经典的稀疏矩阵存储方式节省存储空间。 例如， 可 以基于压缩行存储(Compressed Row Storage)保存多层高维空间。 0077 采用多层高维空间统一表示告警数据、 故障数据和配置数据， 便于后续构建深度 学习神经网络模型的输入和输出变量。 深度学习神经网络模型的输入和输出采用向量表示 形式， 基于本发明实施例构建的多层高维空间可以方便、 准确地。

38、将告警数据层和故障数据 层转换为输入向量， 将配置数据层转换为输出向量， 从而对深度学习神经网络进行训练， 挖 掘告警数据、 故障数据和配置数据之间的关联规律。 0078 通常情况下， 光网络的告警数据、 故障数据和配置数据的时间点不同， 在其他实施 方式中， 告警数据层、 故障数据层和配置数据层中还可以均包括相同的时间点， 对于每一 层， 如果在某个时间点存在向量组， 则存入该层的相应行向量， 如果在某个时间点没有数 据， 则在该层的相应行向量填充零值。 说明书 6/11 页 9 CN 111600735 A 9 0079 如前所述， 光网络包括多个目标网络， 例如图1中的接入环、 汇聚环和。

39、核心环， 分别 以源领域和目标领域表示接入网、 汇聚网、 核心网和数据中心网络。 例如， 可以将接入网定 义为源领域， 将汇聚网定义为目标领域， 或者将核心网定义为源领域， 将数据中心网络定义 为目标领域， 不作限定。 0080 在另一实施例中， 为源领域和目标领域构建一个多层高维空间， 参见图4所示， 样 本数据的处理方法包括： 0081 S200数据采集与预处理。 其具体包括： 0082 S201光网络的告警数据、 故障数据和配置数据由网络管理平台或者控制器平台上 传至三类数据中心。 0083 S202因为海量的光网络的告警数据、 故障数据和配置数据中包含大量重复冗余、 不完备、 不一致的。

40、数据， 三类数据中心会首先对数据进行清洗， 去除重复冗余低质量数据， 求得高质量的告警、 故障、 配置数据集， 并分别保存在源领域数据库和目标领域数据库中。 0084 S210依次采用不同量纲异构数据的向量化和矩阵化表示方法， 将源领域和目标领 域的告警数据、 故障数据和配置数据分别转换为一维向量， 然后分别表示成对应的二维矩 阵。 其具体包括： 0085 S211一维向量的构建过程。 0086 S212二维矩阵的构建过程。 0087 具体的， 根据源领域的告警数据、 故障数据和配置数据分别构建二维的告警矩阵、 故障矩阵和配置矩阵， 根据目标领域的告警数据、 故障数据和配置数据分别构建二维的告。

41、 警矩阵、 故障矩阵和配置矩阵， 一维向量和二维矩阵的构建方法与前述实施例相似， 此处不 再赘述。 0088 S220构建多层高维空间， 实现源领域和目标领域的告警数据、 故障数据和配置数 据的统一表示。 步骤S212中得到的矩阵的行数和列数可能不同， 作为一个示例， 假如源领域 和目标领域的告警数据、 故障数据和配置数据在矩阵化表示后得到的二维矩阵的行数和列 数如下表1： 0089 表1源领域和目标领域的二维矩阵的行数和列数示例 0090 矩阵类型告警矩阵的行列数故障矩阵的行列数配置矩阵的行列数 源领域500012700018300032 目标领域30008500012200035 0091。

42、 求取所有告警矩阵、 故障矩阵和配置矩阵的最大行数和最大列数， 将最大行数和 最大列数作为多层高维空间的每层二维矩阵的行数和列数。 以表一为例， 则多层高维空间 的每层二维矩阵的行数和列数分别为7000和35。 其中， 行数7000是指六个矩阵中最大的行 数是源领域故障矩阵的行数， 列数35是指六个矩阵中最大的列数是目标领域配置矩阵的列 数。 0092 求得最大行数7000和最大列数35后， 基于上述表一中的六个矩阵构建一个6层的 高维空间表示模型， 生成6个7000行和35列的空矩阵， 并将这6个矩阵中的数据复制至新生 成的空矩阵中， 没有存储数据的矩阵元素用零元素填充。 0093 具体的，。

43、 为源领域和目标领域构建的多层高维空间如图5所示， 六层的多层高维空 说明书 7/11 页 10 CN 111600735 A 10 间DR(K1， K2， K3)， 第一层至第三层为源领域的告警数据层、 故障数据层和配置数据层， 分 别对应源领域的告警矩阵、 故障矩阵和配置矩阵， 第四层至第六层为目标领域的告警数据 层、 故障数据层和配置数据层， 分别对应目标领域的告警矩阵、 故障矩阵和配置矩阵。 其中， 源领域的三层高维空间还可以表示为DsR(I1， I2， I3)， 目标领域的三层高维空间还可以表 示为DtR(J1， J2， J3)。 0094 采用以上实施例中的方法， 还可以为多个目标。

44、网络构建一个多层高维空间， 例如 接入网、 汇聚网、 核心网和数据中心网络， 不作限定。 0095 通过本发明实施例， 对不同量纲的异构数据的向量化和矩阵化表示方法， 能够将 不同量纲的结构化、 半结构化的光网络数据转换为向量和矩阵， 因为有大量零元素填充， 多 层高维空间是稀疏矩阵， 在保存过程中， 可以采用经典的稀疏矩阵存储方法进行数据保存， 以便节省存储空间。 同时， 构建多层高维空间不但实现源领域和目的领域的样本数据的统 一表示， 而且能够实现异厂商的跨域样本数据的互通和共享， 为后续机器学习扫除信息孤 岛障碍。 0096 在前述实施例的基础上， 在再一实施例中， 样本数据的处理方法还。

45、包括： 从告警数 据层和故障数据层提取机器学习模型的输入向量， 从配置数据层提取机器学习模型的输出 向量。 0097 在一种实施方式中， 对告警数据层和故障数据层依次进行模展开和按行向量展开 得到输入向量； 对配置数据层依次进行模展开和按行向量展开得到输出向量。 0098 参见图6所示， 样本数据的处理方法包括： 0099 S310对多层高维空间进行模展开得到模展开矩阵。 0100 S320对模展开矩阵按行向量展开得到输入向量和输出向量。 0101 对于前述实施例中的多层高维空间(可以是一个目标网络或者多个目标网络)， 例 如， 图5所示的多层高维空间DR(K1， K2， K3)， 使用模展开。

46、操作算子从上到下对DR(K1， K2， K3)的每一层依次展开， 多层高维空间最上面的第H层放在最左边， 最下面的第一层放在最 右边， 形成图6中的模展开矩阵， 然后对模展开矩阵按行向量展开， 得到图6右部的输入向 量/输出向量， 其中， 第H层矩阵的第一个行向量排在第一位， 然后是第H层矩阵的第二个行 向量， 最后是第一层的最后一个行向量。 0102 作为一个示例， 对于源领域的多层高维空间DsR(I1， I2， I3)， 使用第一模展开操 作算子fsi:DsVysi， 将源领域的多层高维空间DsR(I1， I2， I3)中的告警数据层和故障数据 层的转换为输入向量Vysi。 使用第二模展开。

47、操作算子fso:DsVyso将多层高维空间DsR(I1， I2， I3)中的配置数据层转化为向量Vyso。 0103 在另一种实施方式中， 从多层高维空间的子空间中提取输入向量和/或输出向量， 参见图7所示， 样本数据的处理方法包括： 0104 S410从多层高维空间中提取包括目标数据的子空间， 子空间包括告警数据层、 故 障数据层和配置数据层中的至少一个子矩阵。 0105 子矩阵可以是多层高维空间的一层中的一个子矩阵； 子矩阵也可以是多层高维空 间的二层或以上， 其中， 子矩阵的每层为多层高维空间的一层的一个子矩阵。 0106 S420对子空间进行模展开得到模展开矩阵， 并对模展开矩阵按行向。

48、量展开得到输 入向量和/或输出向量。 说明书 8/11 页 11 CN 111600735 A 11 0107 图8所示从多层高维空间得到子空间的实施方式示意图， 其中， 图8左部是前述实 施例所构建的H层多层高维空间(如图5所示)。 0108 第一种实施方式可以如图8中点划线所示， 在多层高维空间的第一层和第H层分别 提取一个子矩阵， 同样地， 从第二层提取一个子矩阵(为了清楚起见， 从第二层提取子矩阵 的点划线未在图8中示出)， 得到图8右部点划线框内的子空间， 该子空间包括3个子矩阵， 这 些子矩阵中的至少一个包括目标数据。 0109 第二种实施方式可以如图8中虚线所示， 首先从多层高维。

49、空间提取第一层和第二 层， 从第一层和第二层各提取一个子矩阵， 得到图8右部虚线框内的子空间， 该子空间包括2 个子矩阵， 这些子矩阵中的至少一个包括目标数据。 同样地， 还可以从第H层提取一个子矩 阵， 得到另一个子空间。 0110 以上两种实施方式可以从多层高维空间的每一层的任意位置提取子矩阵， 并且这 两种实施方式可以任意组合， 以得到包括目标数据的子空间。 0111 第三种实施方式可以如图9所示， 从多层高维空间的指定层的相同位置提取子矩 阵后， 得到子空间， 该指定层可以是一层， 也可以是二层以上， 不作限定。 0112 子空间切分操作算子操作定义为g:DD ， 提取多层高维空间中的。

50、数据， 构建子空 间D 。 0113 还是以图5所示的多层高维空间为例， 源领域的多层高维空间DsR(I1， I2， I3)， 子 空间切分操作算子定义为gs:DsDs ， 提取源领域的多层高维空间中的数据， 构建子空间 Ds R(I1 ， I2 ， I3 )。 目标领域的多层高维空间DtR(J1， J2， J3)， 子空间切分操作算子操作 定义为gt:DtDt ， 提取目标领域多层高维空间中的数据， 构建子空间Dt R(J1 ， J2 ， J3 )。 0114 得到模展开矩阵后， 通过第一模展开操作算子对模展开矩阵按行向量展开得到输 入向量； 和/或， 通过第二模展开操作算子对模展开矩阵按行。