数据存储网络的同步更新方法、装置、设备及存储介质.pdf
《数据存储网络的同步更新方法、装置、设备及存储介质.pdf》由会员分享,可在线阅读,更多相关《数据存储网络的同步更新方法、装置、设备及存储介质.pdf(22页完成版)》请在专利查询网上搜索。
1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010433476.X (22)申请日 2020.05.21 (71)申请人 平安国际智慧城市科技股份有限公 司 地址 518000 广东省深圳市前海深港合作 区妈湾兴海大道3048号前海自贸大厦 1-34层 (72)发明人 李诗阗 (74)专利代理机构 北京市京大律师事务所 11321 代理人 刘挽澜 (51)Int.Cl. G06F 3/06(2006.01) (54)发明名称 数据存储网络的同步更新方法、 装置、 设备 及存储介质 (57)摘要 本发明涉及云技术领域,。
2、 公开了一种数据存 储网络的同步更新方法、 装置、 设备及存储介质, 数据存储网络的同步更新方法包括: 获取待同步 更新的目标数据和待同步更新的目标集群集合; 获取在所述目标集群集合中每个目标集群对应 的存储规则; 将所述目标数据按照每个目标集群 对应的存储规则进行转换成存储数据; 将所述存 储数据复制进入对应的目标集群的第一虚拟存 储盘中; 将每个目标集群的哈希校验码与对应的 原始哈希校验码进行比较, 得到比较结果; 若不 一致, 则在所述哈希校验码对应的目标集群中构 建第二虚拟存储盘, 并将所述存储数据复制至所 述第二虚拟存储盘。 通过使用集群管理平台方 式, 对不同k8s集群的管理, 对。
3、不同的k8s集群之 间的数据实现协调同步的效果。 权利要求书3页 说明书13页 附图5页 CN 111736762 A 2020.10.02 CN 111736762 A 1.一种数据存储网络的同步更新方法, 其特征在于, 所述数据存储网络包括多个目标 集群, 所述目标集群由基于虚拟化技术的多个数据存储设备集合构成的网络, 所述数据存 储网络的同步更新方法包括: 获取数据同步更新请求, 从所述数据同步更新请求中获取待同步更新的目标数据和待 同步更新的目标集群集合; 获取所述目标数据在所述目标集群集合中每个目标集群对应的存储规则; 将所述目标数据按照每个目标集群对应的存储规则进行转换成存储数据,。
4、 并基于所述 存储数据生成对应的原始哈希校验码; 将所述存储数据复制进入对应的目标集群的第一虚拟存储盘中, 其中, 所述第一虚拟 存储盘为目标集群基于相同虚拟化技术形成的存储盘; 读取每个目标集群中的存储数据进行哈希运算, 得到哈希校验码; 将每个目标集群的哈希校验码与对应的原始哈希校验码进行比较, 得到比较结果; 若所述比较结果中存在至少一个目标集群的哈希校验码与对应的原始哈希校验码不 一致, 则在所述哈希校验码对应的目标集群中构建第二虚拟存储盘, 并将所述存储数据复 制至所述第二虚拟存储盘。 2.根据权利要求1所述的数据存储网络的同步更新方法, 其特征在于, 所述获取所述目 标数据在所述目。
5、标集群集合中每个目标集群对应的存储规则包括: 调用接口服务器读取每个目标集群的格式码, 其中, 所述接口服务器为内置的数据传 输接口, 所述格式码为目标集群使用存储规则种类的特征码; 判断基础数据库中是否存在所述格式码对应的存储规则, 其中, 所述基础数据库是在 内置的保存目标集群的存储规则的数据库; 若存在, 调用所述接口服务器将所述存储规则获取; 若不存在, 调用所述接口服务器连接云端数据库, 根据所述格式码在所述云端数据库 中获取所述存储规则, 其中, 所述云端数据库为互联网网络中指定的虚拟化数据库。 3.根据权利要求2所述的数据存储网络的同步更新方法, 其特征在于, 所述将所述目标 数。
6、据按照每个目标集群对应的存储规则进行转换成存储数据包括: 根据所述存储规则生成初始层集模板, 其中, 所述初始层集模板为数据分类存储的框 架; 将所述目标数据分类写入所述初始层集模板获得目标数据层集模板; 将所述存储规则的格式码写入所述目标数据层集模板进行封装生成存储数据。 4.根据权利要求3所述的数据存储网络的同步更新方法, 其特征在于, 所述将所述存储 数据复制进入对应的目标集群的第一虚拟存储盘中包括: 调用探针判断所述第一虚拟存储盘是否正常启动, 其中, 所述探针为检测虚拟存储盘 状态的内置检测工具; 若是, 将所述存储数据复制进入所述第一虚拟存储盘; 若否, 将所述第一虚拟存储盘删除,。
7、 在所述目标集群中创建第三虚拟存储盘, 将所述存 储数据复制进入所述第三虚拟存储盘。 5.根据权利要求4所述的数据存储网络的同步更新方法, 其特征在于, 所述在所述哈希 校验码对应的目标集群中构建第二虚拟存储盘, 并将所述存储数据复制至所述第二虚拟存 权利要求书 1/3 页 2 CN 111736762 A 2 储盘包括: 调用第二接口服务器在所述目标集群中第二虚拟存储盘中写入识别标签, 其中, 所述 第二接口服务器为所述目标集群中内置的接口服务器; 在所述存储数据中写入识别标签; 根据所述识别标签的匹配将所述存储数据复制进所述第二虚拟存储盘中。 6.根据权利要求5所述的数据存储网络的同步更新。
8、方法, 其特征在于, 所述在所述哈希 校验码对应的目标集群中构建第二虚拟存储盘, 并将所述存储数据复制至所述第二虚拟存 储盘之后, 还包括: 根据预设的时间间隔, 定时读取所述第二虚拟存储盘的处理器使用率; 判断所述处理器使用率是否低于下限阈值; 若低于所述下限阈值, 则将所述第二虚拟存储盘删除, 在所述目标集群中创建第四虚 拟存储盘; 调用第二接口服务器将所述存储数据复制进入所述第四虚拟存储盘。 7.根据权利要求1-6任一项所述的数据存储网络的同步更新方法, 其特征在于, 所述在 所述哈希校验码对应的目标集群中构建第二虚拟存储盘, 并将所述存储数据复制至所述第 二虚拟存储盘之后, 还包括: 。
9、分别读取所有目标集群对应的所述存储数据的读写频率 判断所述读写频率是否高于频率阈值; 若是, 将所述存储数据对应的存储规则复制进入所述基本数据库, 并将所述存储规则 标记为高频规则, 其中, 所述高频规则是在查询存储规则时会优先查询的存储规则。 8.一种数据存储网络的同步更新装置, 其特征在于, 所述数据存储网络的同步更新装 置包括: 读取模块, 用于获取数据同步更新请求, 从所述数据同步更新请求中获取待同步更新 的目标数据和待同步更新的目标集群集合; 获取模块, 用于获取所述目标数据在所述目标集群集合中每个目标集群对应的存储规 则; 转化模块, 用于将所述目标数据按照每个目标集群对应的存储规。
10、则进行转换成存储数 据, 并基于所述存储数据生成对应的原始哈希校验码; 复制模块, 用于将所述存储数据复制进入对应的目标集群的第一虚拟存储盘中, 其中, 所述第一虚拟存储盘为目标集群基于相同虚拟化技术形成的存储盘; 运算模块, 用于读取每个目标集群中的存储数据进行哈希运算, 得到哈希校验码; 比较模块, 用于将每个目标集群的哈希校验码与对应的原始哈希校验码进行比较, 得 到比较结果; 构建模块, 用于若所述比较结果中存在至少一个目标集群的哈希校验码与对应的原始 哈希校验码不一致, 则在所述哈希校验码对应的目标集群中构建第二虚拟存储盘, 并将所 述存储数据复制至所述第二虚拟存储盘。 9.一种数据。
11、存储网络的同步更新设备, 其特征在于, 所述数据存储网络的同步更新设 备包括: 存储器和至少一个处理器, 所述存储器中存储有指令, 所述存储器和所述至少一个 处理器通过线路互连; 权利要求书 2/3 页 3 CN 111736762 A 3 所述至少一个处理器调用所述存储器中的所述指令, 以使得所述数据存储网络的同步 更新设备执行如权利要求1-7中任意一项所述的数据存储网络的同步更新方法。 10.一种计算机可读存储介质, 所述计算机可读存储介质上存储有计算机程序, 其特征 在于, 所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述数据存储网络的 同步更新方法。 权利要求书 3/3 页。
12、 4 CN 111736762 A 4 数据存储网络的同步更新方法、 装置、 设备及存储介质 技术领域 0001 本发明涉及云技术领域, 尤其涉及一种数据存储网络的同步更新方法、 装置、 设备 及存储介质。 背景技术 0002 在技术不断升级的时代, 一个个网络技术如同雨后春笋般不断涌现。 在为了高效 地利用网络运算能力提高网络存储的稳定性, 人们提出了一个个的方案, 并且相互实践验 证方案的可行性。 通过Kubernetes集群技术, 可以在付出较低成本的情况下获得在性能、 可 靠性、 灵活性方面的相对较高的收益, 其任务调度则是集群系统中的核心技术。 集群是一组 相互独立的、 通过高速网络。
13、互联的计算机, 它们构成了一个组, 并以单一系统的模式加以管 理。 0003 在数据更新时, 不同地区或者是计算机的版本不同导致基于相同的Kubernetes集 群技术的数据更新, 却要使用定制Kubernetes集群的脚本来相互更新, 不能一步到位使数 据更新变的快速简单, 目前需要一种管理方式将不同的Kubernetes集群中数据同步进行协 调更改。 发明内容 0004 本发明的主要目的在于解决不同的虚拟化集群环境中统一更新数据的步骤复杂 的问题。 0005 本发明第一方面提供了一种数据存储网络的同步更新方法, 包括: 获取数据同步 更新请求, 从所述数据同步更新请求中获取待同步更新的目标。
14、数据和待同步更新的目标集 群集合; 获取所述目标数据在所述目标集群集合中每个目标集群对应的存储规则; 将所述 目标数据按照每个目标集群对应的存储规则进行转换成存储数据, 并基于所述存储数据生 成对应的原始哈希校验码; 将所述存储数据复制进入对应的目标集群的第一虚拟存储盘 中, 其中, 所述第一虚拟存储盘为目标集群基于相同虚拟化技术形成的存储盘; 读取每个目 标集群中的存储数据进行哈希运算, 得到哈希校验码; 将每个目标集群的哈希校验码与对 应的原始哈希校验码进行比较, 得到比较结果; 若所述比较结果中存在至少一个目标集群 的哈希校验码与对应的原始哈希校验码不一致, 则在所述哈希校验码对应的目标。
15、集群中构 建第二虚拟存储盘, 并将所述存储数据复制至所述第二虚拟存储盘。 0006 可选的, 在本发明第一方面的第一种实现方式中, 所述获取所述目标数据在所述 目标集群集合中每个目标集群对应的存储规则包括: 调用接口服务器读取每个目标集群的 格式码, 其中, 所述接口服务器为内置的数据传输接口, 所述格式码为目标集群使用存储规 则种类的特征码; 判断基础数据库中是否存在所述格式码对应的存储规则, 其中, 所述基础 数据库是在内置的保存目标集群的存储规则的数据库; 若存在, 调用所述接口服务器将所 述存储规则获取; 若不存在, 调用所述接口服务器连接云端数据库, 根据所述格式码在所述 云端数据库。
16、中获取所述存储规则, 其中, 所述云端数据库为互联网网络中指定的虚拟化数 说明书 1/13 页 5 CN 111736762 A 5 据库。 0007 可选的, 在本发明第一方面的第二种实现方式中, 所述将所述目标数据按照每个 目标集群对应的存储规则进行转换成存储数据包括: 根据所述存储规则生成初始层集模 板, 其中, 所述初始层集模板为数据分类存储的框架; 将所述目标数据分类写入所述初始层 集模板获得目标数据层集模板; 将所述存储规则的格式码写入所述目标数据层集模板进行 封装生成存储数据。 0008 可选的, 在本发明第一方面的第三种实现方式中, 所述将所述存储数据复制进入 对应的目标集群的。
17、第一虚拟存储盘中包括: 调用探针判断所述第一虚拟存储盘是否正常启 动, 其中, 所述探针为检测虚拟存储盘状态的内置检测工具; 若是, 将所述存储数据复制进 入所述第一虚拟存储盘; 若否, 将所述第一虚拟存储盘删除, 在所述目标集群中创建第三虚 拟存储盘, 将所述存储数据复制进入所述第三虚拟存储盘。 0009 可选的, 在本发明第一方面的第四种实现方式中, 所述在所述哈希校验码对应的 目标集群中构建第二虚拟存储盘, 并将所述存储数据复制至所述第二虚拟存储盘包括: 调 用第二接口服务器在所述目标集群中第二虚拟存储盘中写入识别标签, 其中, 所述第二接 口服务器为所述目标集群中内置的接口服务器; 在。
18、所述存储数据中写入识别标签; 根据所 述识别标签的匹配将所述存储数据复制进所述第二虚拟存储盘中。 0010 可选的, 在本发明第一方面的第五种实现方式中, 所述在所述哈希校验码对应的 目标集群中构建第二虚拟存储盘, 并将所述存储数据复制至所述第二虚拟存储盘之后, 还 包括: 根据预设的时间间隔, 定时读取所述第二虚拟存储盘的处理器使用率; 判断所述处理 器使用率是否低于下限阈值; 若低于所述下限阈值, 则将所述第二虚拟存储盘删除, 在所述 目标集群中创建第四虚拟存储盘; 调用第二接口服务器将所述存储数据复制进入所述第四 虚拟存储盘。 0011 可选的, 在本发明第一方面的第六种实现方式中, 所。
19、述在所述哈希校验码对应的 目标集群中构建第二虚拟存储盘, 并将所述存储数据复制至所述第二虚拟存储盘之后, 还 包括: 分别读取所有目标集群对应的所述存储数据的读写频率; 判断所述读写频率是否高 于频率阈值; 若是, 将所述存储数据对应的存储规则复制进入所述基本数据库, 并将所述存 储规则标记为高频规则, 其中, 所述高频规则是在查询存储规则时会优先查询的存储规则。 0012 本发明第二方面提供了一种数据存储网络的同步更新装置, 包括: 读取模块, 用于 获取数据同步更新请求, 从所述数据同步更新请求中获取待同步更新的目标数据和待同步 更新的目标集群集合; 获取模块, 用于获取所述目标数据在所述。
20、目标集群集合中每个目标 集群对应的存储规则; 转化模块, 用于将所述目标数据按照每个目标集群对应的存储规则 进行转换成存储数据, 并基于所述存储数据生成对应的原始哈希校验码; 复制模块, 用于将 所述存储数据复制进入对应的目标集群的第一虚拟存储盘中, 其中, 所述第一虚拟存储盘 为目标集群基于相同虚拟化技术形成的存储盘; 运算模块, 用于读取每个目标集群中的存 储数据进行哈希运算, 得到哈希校验码; 比较模块, 用于将每个目标集群的哈希校验码与对 应的原始哈希校验码进行比较, 得到比较结果; 构建模块, 用于若所述比较结果中存在至少 一个目标集群的哈希校验码与对应的原始哈希校验码不一致, 则在。
21、所述哈希校验码对应的 目标集群中构建第二虚拟存储盘, 并将所述存储数据复制至所述第二虚拟存储盘。 0013 可选的, 在本发明第二方面的第一种实现方式中, 所述获取模块具体用于: 调用接 说明书 2/13 页 6 CN 111736762 A 6 口服务器读取每个目标集群的格式码, 其中, 所述接口服务器为内置的数据传输接口, 所述 格式码为目标集群使用存储规则种类的特征码; 判断基础数据库中是否存在所述格式码对 应的存储规则, 其中, 所述基础数据库是在内置的保存目标集群的存储规则的数据库; 若存 在, 调用所述接口服务器将所述存储规则获取; 若不存在, 调用所述接口服务器连接云端数 据库,。
22、 根据所述格式码在所述云端数据库中获取所述存储规则, 其中, 所述云端数据库为互 联网网络中指定的虚拟化数据库。 0014 可选的, 在本发明第二方面的第二种实现方式中, 所述转化模块具体用于: 根据所 述存储规则生成初始层集模板, 其中, 所述初始层集模板为数据分类存储的框架; 将所述目 标数据分类写入所述初始层集模板获得目标数据层集模板; 将所述存储规则的格式码写入 所述目标数据层集模板进行封装生成存储数据。 0015 可选的, 在本发明第二方面的第三种实现方式中, 所述复制模块具体用于: 调用探 针判断所述第一虚拟存储盘是否正常启动, 其中, 所述探针为检测虚拟存储盘状态的内置 检测工具。
23、; 若是, 将所述存储数据复制进入所述第一虚拟存储盘; 若否, 将所述第一虚拟存 储盘删除, 在所述目标集群中创建第三虚拟存储盘, 将所述存储数据复制进入所述第三虚 拟存储盘。 0016 可选的, 在本发明第二方面的第四种实现方式中, 所述构建模块具体用于: 调用第 二接口服务器在所述目标集群中第二虚拟存储盘中写入识别标签, 其中, 所述第二接口服 务器为所述目标集群中内置的接口服务器; 在所述存储数据中写入识别标签; 根据所述识 别标签的匹配将所述存储数据复制进所述第二虚拟存储盘中。 0017 可选的, 在本发明第二方面的第五种实现方式中, 所述数据存储网络的同步更新 装置还包括: 0018。
24、 使用率读取模块, 用于根据预设的时间间隔, 定时读取所述第二虚拟存储盘的处 理器使用率; 0019 使用率判断模块, 用于判断所述处理器使用率是否低于下限阈值; 0020 存储盘创建模块, 用于若低于所述下限阈值, 则将所述第二虚拟存储盘删除, 在所 述目标集群中创建第四虚拟存储盘; 0021 数据复制模块, 用于调用第二接口服务器将所述存储数据复制进入所述第四虚拟 存储盘。 0022 可选的, 在本发明第二方面的第六种实现方式中, 所述数据存储网络的同步更新 装置还包括: 0023 频率获取模块, 用于分别读取所有目标集群对应的所述存储数据的读写频率; 0024 频率判断模块, 用于判断所。
25、述读写频率是否高于频率阈值; 0025 高频标记模块, 用于若所述读写频率高于频率阈值, 将所述存储数据对应的存储 规则复制进入所述基本数据库, 并将所述存储规则标记为高频规则, 其中, 所述高频规则是 在查询存储规则时会优先查询的存储规则。 0026 本发明第三方面提供了一种数据存储网络的同步更新设备, 包括: 存储器和至少 一个处理器, 所述存储器中存储有指令, 所述存储器和所述至少一个处理器通过线路互连; 所述至少一个处理器调用所述存储器中的所述指令, 以使得所述数据存储网络的同步更新 设备执行上述的数据存储网络的同步更新方法。 说明书 3/13 页 7 CN 111736762 A 7。
26、 0027 本发明的第四方面提供了一种计算机可读存储介质, 所述计算机可读存储介质中 存储有指令, 当其在计算机上运行时, 使得计算机执行上述的数据存储网络的同步更新方 法。 0028 本发明提供的技术方案中, 获取数据同步更新请求, 从所述数据同步更新请求中 获取待同步更新的目标数据和待同步更新的目标集群集合; 获取所述目标数据在所述目标 集群集合中每个目标集群对应的存储规则; 将所述目标数据按照每个目标集群对应的存储 规则进行转换成存储数据, 并基于所述存储数据生成对应的原始哈希校验码; 将所述存储 数据复制进入对应的目标集群的第一虚拟存储盘中, 其中, 所述第一虚拟存储盘为目标集 群基于。
27、相同虚拟化技术形成的存储盘; 读取每个目标集群中的存储数据进行哈希运算, 得 到哈希校验码; 将每个目标集群的哈希校验码与对应的原始哈希校验码进行比较, 得到比 较结果; 若所述比较结果中存在至少一个目标集群的哈希校验码与对应的原始哈希校验码 不一致, 则在所述哈希校验码对应的目标集群中构建第二虚拟存储盘, 并将所述存储数据 复制至所述第二虚拟存储盘。 本发明实施例中, 在集群技术不断在被实际的生产中应用, 集 群技术以其快速应用的更改内容方式地将不同物理机上的数据进行更改。 而本发明通过对 不同的集群之间数据调整使不同的k8s集群的数据能相互之间更改与更新。 通过使用集群 管理平台方式, 对。
28、不同k8s集群的管理, 对不同的k8s集群之间的数据实现协调同步的效果。 附图说明 0029 图1为本发明实施例中数据存储网络的同步更新方法的第一个实施例示意图; 0030 图2为本发明实施例中数据存储网络的同步更新方法的第二个实施例示意图; 0031 图3为本发明实施例中数据存储网络的同步更新方法的第三个实施例示意图; 0032 图4为本发明实施例中数据存储网络的同步更新装置的一个实施例示意图; 0033 图5为本发明实施例中数据存储网络的同步更新装置的另一个实施例示意图; 0034 图6为本发明实施例中数据存储网络的同步更新设备的一个实施例示意图。 具体实施方式 0035 本发明提供的技术。
29、方案中, 获取数据同步更新请求, 从所述数据同步更新请求中 获取待同步更新的目标数据和待同步更新的目标集群集合; 获取所述目标数据在所述目标 集群集合中每个目标集群对应的存储规则; 将所述目标数据按照每个目标集群对应的存储 规则进行转换成存储数据, 并基于所述存储数据生成对应的原始哈希校验码; 将所述存储 数据复制进入对应的目标集群的第一虚拟存储盘中, 其中, 所述第一虚拟存储盘为目标集 群基于相同虚拟化技术形成的存储盘; 读取每个目标集群中的存储数据进行哈希运算, 得 到哈希校验码; 将每个目标集群的哈希校验码与对应的原始哈希校验码进行比较, 得到比 较结果; 若所述比较结果中存在至少一个目。
30、标集群的哈希校验码与对应的原始哈希校验码 不一致, 则在所述哈希校验码对应的目标集群中构建第二虚拟存储盘, 并将所述存储数据 复制至所述第二虚拟存储盘。 本发明实施例中, 在集群技术不断在被实际的生产中应用, 集 群技术以其快速应用的更改内容方式地将不同物理机上的数据进行更改。 而本发明通过对 不同的集群之间数据调整使不同的k8s集群的数据能相互之间更改与更新。 通过使用集群 管理平台方式, 对不同k8s集群的管理, 对不同的k8s集群之间的数据实现协调同步的效果。 说明书 4/13 页 8 CN 111736762 A 8 0036 本发明的说明书和权利要求书及上述附图中的术语 “第一” 、。
31、“第二” 、“第三” 、“第 四” 等(如果存在)是用于区别类似的对象, 而不必用于描述特定的顺序或先后次序。 应该理 解这样使用的数据在适当情况下可以互换, 以便这里描述的实施例能够以除了在这里图示 或描述的内容以外的顺序实施。 此外, 术语 “包括” 或 “具有” 及其任何变形, 意图在于覆盖不 排他的包含, 例如, 包含了一系列步骤或单元的过程、 方法、 系统、 产品或设备不必限于清楚 地列出的那些步骤或单元, 而是可包括没有清楚地列出的或对于这些过程、 方法、 产品或设 备固有的其它步骤或单元。 0037 为便于理解, 下面对本发明实施例的具体流程进行描述, 请参阅图1, 本发明实施 。
32、例中数据存储网络的同步更新方法的第一个实施例包括: 0038 101、 获取数据同步更新请求, 从所述数据同步更新请求中获取待同步更新的目标 数据和待同步更新的目标集群集合; 0039 在本实施例中, 获取数据处理请求时是使用统一的对外接口服务器, 该对外接口 服务器是独立于处理平台的服务器, 接口服务器获得数据处理请求后, 处理平台从接口服 务器获得数据处理请求。 而从整体框架来说, 接口服务器对接的是来自用户终端、 数据库、 互联网等外部数据信息, 并将信息传递给管理平台来进行处理。 从接口服务器中获取数据 请求, 然后将数据请求放入管理平台进行进一步处理。 0040 102、 获取所述目。
33、标数据在所述目标集群集合中每个目标集群对应的存储规则; 0041 在本实施例中, 在外部的存储器的基本数据库Federation Etcd中获取到目标数 据至集群管理平台Federation-controller-manager, 集群管理平台基于k8s集群对其他目 标集群的集群规则进行获取, 其中目标集群的集群可以是rides、 TETRA、 HA等集群类型。 不 同的目标集群有不同的存储规则, 不同的存储规则都在集群管理平台中, 在平台中进行转 化成存储规则。 通过无线接口TCP/IP协议与接口服务器连接, 从接口服务器中获得目标数 据与存储规则。 在一种实施例中, 有多个管理平台, 管理。
34、平台之间通过接口服务器相互传输 数据, 可以使用物理数据线进行传输, 也能使用无线信号传播。 在一种实施例中, 管理平台 内置接口服务器能在平台之间相互传输数据, 当更新存储规则可以使用内置接口服务器更 换规则。 0042 103、 将所述目标数据按照每个目标集群对应的存储规则进行转换成存储数据, 并 基于所述存储数据生成对应的原始哈希校验码; 0043 在本实施例中, 集群管理平台Federation-controller-manager调用每个集群的 API sever接口服务器, 将存储格式数据复制进入在A地的redis集群, 存储格式数据复制进 入在B地的k8s集群, 然后在每个集群的。
35、存储设备etcd中进行存储。 在处理时要确定# Dockerfile格式并说明依赖的镜像, 然后写入制作者信息。 之后找到工作目录,打包启动镜 像后的所在目录, 然后执行的命令,默认sh-c方式执行,采用 后替代默认。 复制文件到容 器目录,add命令自动使用tar-x解压, 镜像启动命令然后开启的端口。 编写完毕后开始编译 镜像赋予编译名, 修改标签并上传。 由于镜像是由于多个数据层构成, 而这些数据层在数据 没有被封装成镜像都可以进行修改, 如果已经被封装那就无法再更改。 根据存储规则将目 标数据转为为存储格式数据时, 会伴随存储格式数据生成对应的原始哈希校验码, 原始哈 希校验码是用于确。
36、定最开始的存储格式数据的数据内容, 将存储格式数据复制进入集群的 镜像仓库中, 镜像仓库即为第一虚拟存储盘。 不同的集群使用虚拟化的技术也不同, 因此第 说明书 5/13 页 9 CN 111736762 A 9 一虚拟存储盘可以在不同的集群中表现不同表现为镜像仓库、 数据节点、 container等。 0044 104、 将所述存储数据复制进入对应的目标集群的第一虚拟存储盘中; 0045 在本实施例中, 第一虚拟存储盘有很多, 每个目标集群中都有第一虚拟存储盘, 这 些目标容器是被指定为存储格式数据复制进入的数据中, 在每个集群中分别将第一虚拟存 储盘加载存储格式数据。 使用正则规则判断第一。
37、虚拟存储盘有没有加载存储格式数据, 例 如, 在存储格式数据的每层中写入特征码 “#/#*” 当检测每个数据层中都有特征 码时, 就将存储格式数据已经复制进入第一虚拟存储盘。 当成功检测后, 就在计数器中增加 一个计数, 如之前计数为8, 而多检测一个合格就为9, 但目标集群集合中目标集群总数为 18, 只有当计数到18时才能确认目标集群集合中目标集群均为满足存储格式数据。 0046 105、 读取每个目标集群中的存储数据进行哈希运算, 得到哈希校验码; 0047 在一种实施例中, 使用MD5算法作为哈希运算, 该算法是Rivest于1991年对MD4的 改进版本。 它对输入仍以512位分组,。
38、 其输出是4个32位字的级联, 与MD4相同。 MD5比MD4来得 复杂, 并且速度较之要慢一点, 但更安全, 在抗分析和抗差分方面表现更好。 0048 在另一种实施例中, 使用SHA-1算法哈希运算, 它对长度小于264的输入, 产生长度 为160bit的散列值, 因此抗穷举(brute-force)性更好。 SHA-1设计时基于和MD4相同原理, 并且模仿了该算法。 0049 106、 将每个目标集群的哈希校验码与对应的原始哈希校验码进行比较, 得到比较 结果; 0050 在本实施例中, 已经将存储格式数据复制进入第一虚拟存储盘中, 但是, 还未确定 存储格式数据是否已经发生变化, 在生成。
39、存储格式数据时, 哈希校验码在系统中已经被存 储, 获取存储格式数据与系统中哈希校验码一起进行比较, 判断是否一致。“0 x73dc1683, 0 xe3630b12, 0 x94643b84, 0 x0d6d6a3e, 0 x7a6a5aa8, 0 xe40ecf0b, 0 x9309ff9d, 0 x0a00ae27, 0 x7d079eb1” 这是系统中的哈希校验码, 而存储格式数据中也是 “0 x73dc1683, 0 xe3630b12, 0 x94643b84, 0 x0d6d6a3e, 0 x7a6a5aa8, 0 xe40ecf0b, 0 x9309ff9d, 0 x0a00a。
40、e27, 0 x7d079eb1” 经过运算比对, 确认是一致, 则认为存储格式数据是没有发生改变。 0051 107、 若所述比较结果中存在至少一个目标集群的哈希校验码与对应的原始哈希 校验码不一致, 则在所述哈希校验码对应的目标集群中构建第二虚拟存储盘, 并将所述存 储数据复制至所述第二虚拟存储盘。 0052 在本实施例中, 确认存在没有成功加载的目标集群, 则将每个没有成功加载的目 标集群的第一容器的上层节点node删除, 然后重新在集群中选择一个节点创建一个容器, 并将该容器作为第二目标容器, 将存储格式数据复制进入第二目标容器。 由于容器与镜像 具有关联性, 因此只要镜像复制进入容器。
41、中, 就无法完全删除, 就必须删除上层节点, 重新 创建容器。 在复制进入时, 还需要调用k8s集群内置的接口服务器, 处理平台调用接口服务 器在目标集群中进行容器创建。 0053 本发明实施例中, 在集群技术不断在被实际的生产中应用, 集群技术以其快速应 用的更改内容方式地将不同物理机上的数据进行更改。 而本发明通过对不同的集群之间数 据调整使不同的k8s集群的数据能相互之间更改与更新。 通过使用集群管理平台方式, 对不 同k8s集群的管理, 对不同的k8s集群之间的数据实现协调同步的效果。 0054 请参阅图2, 本发明实施例中数据存储网络的同步更新方法的第二个实施例包括: 说明书 6/1。
42、3 页 10 CN 111736762 A 10 0055 201、 获取数据同步更新请求, 从所述数据同步更新请求中获取待同步更新的目标 数据和待同步更新的目标集群集合; 0056 202、 调用接口服务器读取每个目标集群的格式码; 0057 在本实施例中, 第一接口服务器是集合在外部的数据中转数据服务器, 提供了集 群管理的REST API接口。 在获取数据时, 构建的数据链路可以是TCP/IP通信协议的无线连 接也可以是光纤数据连接。 而基本数据库中的数据可以是以SQL进行管理, 获取到基本数据 库中需要的数据。 0058 203、 判断基础数据库中是否存在所述格式码对应的存储规则; 0。
43、059 在本实施例中, 基础数据库是本地内置存储规则的数据库, 在面对rides集群与 k8s集群不同的格式码而转换的存储规则不同, 而且不同的k8s集群的版本不同而对应的存 储规则也不同, 因此需要查询出格式码对应的存储规则。 0060 204、 若存在, 调用所述接口服务器将所述存储规则获取; 0061 在本实施例中, 接口服务器会在基础数据库的内部地址中读取到特定的存储规 则。 在另一种实施例中, 由于ipmi获取服务器硬件信息不够全面,于是基于iDRAC开发全新 接口.idrac服务器详细信息获取数据包括(电池,mac地址,内核详情,cpu详情,内存详情, 磁盘详情,系统名,操作系统类。
44、型等等)其它数据待开发作为存储数据的格式码然后比对在 基础数据库中查询。 0062 205、 若不存在, 调用所述接口服务器连接云端数据库, 根据所述格式码在所述云 端数据库中获取所述存储规则; 0063 在本实施例中, 则无法在基本数据库中获得存储规则, 使用标准串口(RS232)连接 云端数据库, 向云端数据库发出请求, 下载存储规则。 可以使用NetBEUI协议和IPX/SPX协议 与云端数据库进行交流数据, 最后获得存储规则。 0064 206、 根据所述存储规则生成初始层集模板; 0065 在本实施例中, 根据镜像规则生成读写层add tomcat、 add mysql、 根镜像ro。
45、otfs、 Kernel五个数据层集模板, 其中读写层为动态的环境, 而add mysql是继承根镜像, 封装为 MySQL镜像, 而根镜像为操作系统的内容。 上层文件叠于下层文件上, 若上层文件有与下层 文件重复的, 则覆盖掉下层文件重复的部分。 初级层集模板有很多类型, 根据版本可以生成 不同初级层集模板的框架。 0066 207、 将所述目标数据分类写入所述初始层集模板获得目标数据层集模板; 0067 在本实施例中, 将目标数据类似 “001101000101” 这样的数据根据类型不同写入镜 像模板的数据内容中, 然后根据层集模板的不同分类获得镜像层级。 将一些代码操作数据 也写入至镜像。
46、层级模板,“def_init_(self):self .filecodecs .open( spiderdata.json,w,encodingutf-8)” 将数据写入add tomcat的读写层, 获得数据 操作方式。 0068 208、 将所述存储规则的格式码写入所述目标数据层集模板进行封装生成存储数 据; 0069 在本实施例中, 使用nginx封装的封装模式, 找到镜像仓库中的存储位置, 将当前 的镜像层集模板拷贝至容器仓库中, 并将协助封装工具nginx同样解压至容器仓库中, 寻找 仓库接口, 编译指令生成第一镜像, 然后再次构建将第一镜像中不需要的组件删除, 获得第 说明书 7/。
47、13 页 11 CN 111736762 A 11 二镜像, 启动镜像, 生成镜像然后运行镜像。 如果镜像成功运行则将第二镜像作为目标镜像 写入目录中, 以备后期调用。 0070 209、 调用探针判断所述第一虚拟存储盘是否正常启动; 0071 在本实施例中, 调用Liveness探针来判断容器是否处于正常启动状态, 当服务器 死锁或者崩溃时, 需要自行更改设置让机器恢复正常。 其中, 检测结果有三种情况, 成功启 动、 启动失败、 未知结果。 若检测结果为未知就需要检测未知, 人工干预。 在另一种实施例 中, 探针检测检测容器的IP、 port、 path, 并使用HTTP Get请求检查,。
48、 观察返回值是否介于 200至400之间, 若观察值介于200至400之间则为正常启动, 若观察值不是介于200至400之 间则认为启动失败。 0072 210、 若是, 将所述存储数据复制进入所述第一虚拟存储盘; 0073 在本实施例中, 已经确认第一目标容器是能打开, 但还不知道容器中是否存在目 标镜像, 则将将http默认发布文件所在目录挂载到http的默认发布目录下, 然后根据镜像 的名称与版本号查询出目标镜像。“classical image 121, version: 2.120.1” 这样的组合 是唯一的内容, 根据组合可以根据组合的唯一性, 遍历所有目录的名称获得目标镜像, 则。
49、认 为查询出目标镜像。 0074 211、 若否, 将所述第一虚拟存储盘删除, 在所述目标集群中创建第三虚拟存储盘, 将所述存储数据复制进入所述第三虚拟存储盘; 0075 在本实施例中, 将目标集群中的已经损坏的第一虚拟存储盘进行删除, 然后重新 创建一个新的虚拟存储盘, 第三虚拟存储盘是在管理平台上调整重新创建, 可以在存储设 备组不同于第一虚拟盘重新创建新的存储设备组进行虚拟化形成新的第三虚拟存储盘。 0076 212、 读取每个目标集群中的存储数据进行哈希运算, 得到哈希校验码; 0077 213、 将每个目标集群的哈希校验码与对应的原始哈希校验码进行比较, 得到比较 结果; 0078 。
50、214、 若所述比较结果中存在至少一个目标集群的哈希校验码与对应的原始哈希 校验码不一致, 则在所述哈希校验码对应的目标集群中构建第二虚拟存储盘, 并将所述存 储数据复制至所述第二虚拟存储盘。 0079 在具体实施过程还可以有以下步骤: 0080 调用第二接口服务器在所述目标集群中第二虚拟存储盘中写入识别标签, 其中, 所述第二接口服务器为所述目标集群中内置的接口服务器; 0081 在本实施例中, 第二接口服务器是每个k8s集群中内置的接口服务器, 该服务器为 k8s集群中负责管理节点上的容器与镜像的服务器。 在接口服务器里里使用随机将一个节 点选择为目标节点。 例如, 将 “pod 12” 。
- 内容关键字: 数据 存储 网络 同步 更新 方法 装置 设备 介质
纳米气泡布面除油预缩设备.pdf
半导体老化冷热测试装置.pdf
RFID芯片剪切力测试仪.pdf
可按摩式颈托睡眠头枕及汽车座椅.pdf
汽车点火装饰圈.pdf
起落架部件机加工同心度辅助工装.pdf
园林绿化垃圾处理装置.pdf
施工物料分筛装置.pdf
鸡粪螺旋挤出设备.pdf
用于分砖的压砖装置.pdf
故障电池包防护箱.pdf
耐磨型泥沙挖掘齿.pdf
阀门锁盖设备.pdf
用于多肽固相合成的后处理系统及多肽固相合成设备.pdf
高压线圈导线拉紧装置.pdf
可调式带锯机切割辅助工装.pdf
温度压力一体化检测的波码通信控制装置.pdf
屋面防水卷材辅助施工设备.pdf
桥梁支座变形角度测量装置.pdf
便于冷却烘干的塑料玩具注塑机.pdf
防护插板.pdf
基于特征融合Transformer的多对比度核磁共振图像超分辨率方法.pdf
复叠制冷压缩机组.pdf
盾构管片拼装定位分体测量装置.pdf
自组装多肽RAKA 16的合成方法.pdf
基于机器学习的盾构掘进机姿态分项预测方法.pdf
宫颈TCT切片的多类型细胞核标注及多任务处理方法.pdf
基于自然资源工程勘测面积的测量装置.pdf
数据处理方法、装置及电子设备.pdf
基于人工智能的生物质电厂燃烧控制决策优化方法及系统.pdf
低功率的医院污水处理装置.pdf
基于FV-MViT的指静脉识别方法、装置及相关介质.pdf
一种双阳离子双阴离子型沥青乳化剂及其制备方法.pdf
一种抗菌蛋白.pdf
一种基于功能基因多态性的分子标记方法.pdf
miRNA-26a的用途.pdf
一种超高耐磨性能的低滚动阻力轮胎胶料及其合成方法.pdf
一种含氮磷的表面迁移性阻燃剂及其制备方法.pdf
一种4溴螺环芴9,9氧杂蒽的合成方法.pdf
稠合杂环化合物、其制备方法、药物组合物和用途.pdf
聚氨酯纱以及使用其的织物和泳衣.pdf
三重荧光PCR测西藏环状病毒、云南环状病毒及萨斯乌瓦扎利环状病毒的引物探针组及试剂盒.pdf
乙二醇单氢化诺卜基醚及其羧酸酯的合成方法及其应用.pdf
一种制备聚偏氟乙烯的方法.pdf
用于水性体系的增稠剂、含有其的制剂和其用途.pdf
合成杀虫的晶状蛋白质基因.pdf
一种甘氨酸发酵与纯化装置.pdf
一种联产邻磺酸钠苯甲醛和邻氯苯甲酸的方法.pdf
使用免疫球蛋白片段的胰岛素缀合物.pdf
一种大尺寸分散均匀型晶胶基质材料的制备方法.pdf
抗肿瘤杂环药物中间体2(3氮杂环丁基)吡啶二盐酸盐的合成方法.pdf