数据处理方法、装置、设备及介质.pdf

《数据处理方法、装置、设备及介质.pdf》由会员分享，可在线阅读，更多相关《数据处理方法、装置、设备及介质.pdf（17页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202011031395.3 (22)申请日 2020.09.27 (71)申请人 上海依图网络科技有限公司 地址 200051 上海市徐汇区宜州路180号1 幢第1层01、 02室 (72)发明人 江旭楷李红旺刘明伟 (74)专利代理机构 北京同达信恒知识产权代理 有限公司 11291 代理人 王媛媛 (51)Int.Cl. G06F 16/27(2019.01) G06F 16/2457(2019.01) (54)发明名称 一种数据处理方法、 装置、 设备及介质 (57)摘要。

2、 本申请公开了一种数据处理方法、 装置、 设 备及介质， 应用于云存储技术领域， 用以解决现 有技术中的跨集群数据同步方法存在数据同步 性能较差的问题。 具体为： 源集群存储系统在写 入用户数据和用户数据的元数据时， 通过将用户 数据的元数据插入到该用户数据的头部， 使得其 他集群存储系统在数据同步时， 可以从源集群存 储系统中获取到头部插入有元数据的用户数据， 进一步从用户数据的头部获取元数据后， 即可实 现对源集群存储系统中的用户数据和元数据的 数据同步， 从而简化了跨集群数据同步操作， 提 高了跨集群数据同步性能。 权利要求书2页 说明书10页 附图4页 CN 112148795 A 2。

3、020.12.29 CN 112148795 A 1.一种数据处理方法， 其特征在于， 包括： 获取待写入的用户数据和所述用户数据的元数据； 将所述元数据插入至所述用户数据的头部， 得到用户存储数据； 将所述用户存储数据写入用户数据存储节点， 并将所述元数据写入元数据存储节点。 2.如权利要求1所述的数据处理方法， 其特征在于， 获取待写入的用户数据和所述用户 数据的元数据， 包括： 将数据采集设备采集的用户数据作为待写入的用户数据； 确定所述用户数据的数据长度和存储路径， 并基于所述数据长度和所述存储路径， 生 成所述用户数据的元数据。 3.如权利要求1或2所述的数据处理方法， 其特征在于，。

4、 将所述元数据插入至所述用户 数据的头部， 得到用户存储数据， 包括： 在所述用户数据的头部预留的设定长度的存储空间中插入所述元数据， 得到所述用户 存储数据。 4.一种数据处理方法， 其特征在于， 包括： 接收数据同步指令； 基于所述数据同步指令， 从源集群存储系统中获取用户存储数据， 并从所述用户存储 数据中获取用户数据的元数据， 其中， 所述用户存储数据是所述源集群存储系统在所述用 户数据的头部插入所述用户数据的元数据后获得的； 将所述用户存储数据写入用户数据存储节点， 并将所述元数据写入元数据存储节点。 5.如权利要求4所述的数据处理方法， 其特征在于， 基于所述数据同步指令， 从源集。

5、群 存储系统中获取用户存储数据， 并从所述用户存储数据中获取元数据， 包括： 基于所述数据同步指令， 创建定时同步任务； 按照所述定时同步任务， 分批次地从所述源集群存储系统中获取由用户存储数据组成 的各个用户数据块； 每获取到一个用户数据块， 对所述用户数据块进行解码， 得到所述用户数据块中的用 户存储数据和所述用户存储数据中的元数据。 6.如权利要求5所述的数据处理方法， 其特征在于， 对所述用户数据块进行解码， 得到 所述用户数据块中的用户存储数据和所述用户存储数据中的元数据， 包括循环执行以下操 作， 直至所述用户数据块中的用户存储数据解码完成为止： 对基准数据后的设定长度的数据进行解。

6、码， 得到元数据， 其中， 当首次解码时， 所述基 准数据为所述用户数据块的第一条数据， 当非首次解码时， 所述基准数据为上一次解码获 得的用户存储数据后的第一条数据； 获取所述元数据中的数据长度为目标长度， 并对所述元数据后的所述目标长度的数据 进行解码， 得到所述元数据对应的用户数据； 基于所述元数据和所述元数据对应的用户数据， 获得用户存储数据。 7.一种数据处理装置， 其特征在于， 包括： 数据获取单元， 用于获取待写入的用户数据和所述用户数据的元数据； 元数据插入单元， 用于将所述元数据插入至所述用户数据的头部， 得到用户存储数据； 数据写入单元， 用于将所述用户存储数据写入用户数据。

7、存储节点， 并将所述元数据写 权利要求书 1/2 页 2 CN 112148795 A 2 入元数据存储节点。 8.一种数据处理装置， 其特征在于， 包括： 指令接收单元， 用于接收数据同步指令； 数据获取单元， 用于基于所述数据同步指令， 从源集群存储系统中获取用户存储数据， 并从所述用户存储数据中获取用户数据的元数据， 其中， 所述用户存储数据是所述源集群 存储系统在所述用户数据的头部插入所述用户数据的元数据后获得的； 数据写入单元， 用于将所述用户存储数据写入用户数据存储节点， 并将所述元数据写 入元数据存储节点。 9.一种数据处理设备， 其特征在于， 包括： 存储器、 处理器和存储在所。

8、述存储器上并可 在所述处理器上运行的计算机程序， 所述处理器执行所述计算机程序时实现如权利要求1- 6任一项所述的数据处理方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机指 令， 所述计算机指令被处理器执行时实现如权利要求1-6任一项所述的数据处理方法。 权利要求书 2/2 页 3 CN 112148795 A 3 一种数据处理方法、 装置、 设备及介质 技术领域 0001 本申请涉及云存储技术领域， 尤其涉及一种数据处理方法、 装置、 设备及介质。 背景技术 0002 近年来， 随着互联网技术和计算机技术的不断发展， 用户数据呈海量增长， 直接推 动了。

9、云存储技术的广泛应用， 其中， 基于对象存储的集群存储系统因其具有高可用性、 高可 扩展性等优点， 在云存储技术领域备受青睐。 0003 现有技术中， 当源集群存储系统将用户数据写入用户数据存储节点， 并将该用户 数据的元数据写入元数据存储节点后， 其它集群存储系统会对源集群存储系统中的用户数 据和元数据进行数据同步， 从而实现各个集群存储系统的数据一致性， 然而， 目前的跨集群 数据同步方法的数据同步性能较差。 发明内容 0004 本申请实施例提供了一种数据处理方法、 装置、 设备及介质， 用以解决现有技术中 的跨集群数据同步方法存在数据同步性能较差的问题。 0005 本申请实施例提供的技术。

10、方案如下： 0006 一方面， 本申请实施例提供了一种数据处理方法， 包括： 0007 获取待写入的用户数据和用户数据的元数据； 0008 将元数据插入至用户数据的头部， 得到用户存储数据； 0009 将用户存储数据写入用户数据存储节点， 并将元数据写入元数据存储节点。 0010 在一种可能的实施方式中， 获取待写入的用户数据和用户数据的元数据， 包括： 0011 将数据采集设备采集的用户数据作为待写入的用户数据； 0012 确定用户数据的数据长度和存储路径， 并基于数据长度和存储路径， 生成用户数 据的元数据。 0013 在一种可能的实施方式中， 将元数据插入至用户数据的头部， 得到用户存储。

11、数据， 包括： 0014 在用户数据的头部预留的设定长度的存储空间中插入元数据， 得到用户存储数 据。 0015 另一方面， 本申请实施例提供了另一种数据处理方法， 包括： 0016 接收数据同步指令； 0017 基于数据同步指令， 从源集群存储系统中获取用户存储数据， 并从用户存储数据 中获取用户数据的元数据， 其中， 用户存储数据是源集群存储系统在用户数据的头部插入 用户数据的元数据后获得的； 0018 将用户存储数据写入用户数据存储节点， 并将元数据写入元数据存储节点。 0019 在一种可能的实施方式中， 基于数据同步指令， 从源集群存储系统中获取用户存 储数据， 并从用户存储数据中获取。

12、元数据， 包括： 说明书 1/10 页 4 CN 112148795 A 4 0020 基于数据同步指令， 创建定时同步任务； 0021 按照定时同步任务， 分批次地从源集群存储系统中获取由用户存储数据组成的各 个用户数据块； 0022 每获取到一个用户数据块， 对该用户数据块进行解码， 得到该用户数据块中的用 户存储数据和该用户存储数据中的元数据。 0023 在一种可能的实施方式中， 对该用户数据块进行解码， 得到该用户数据块中的用 户存储数据和该用户存储数据中的元数据， 包括循环执行以下操作， 直至用户数据块中的 用户存储数据解码完成为止： 0024 对基准数据后的设定长度的数据进行解码，。

13、 得到元数据， 其中， 当首次解码时， 基 准数据为用户数据块的第一条数据， 当非首次解码时， 基准数据为上一次解码获得的用户 存储数据后的第一条数据； 0025 获取元数据中的数据长度为目标长度， 并对元数据后的目标长度的数据进行解 码， 得到元数据对应的用户数据； 0026 基于元数据和元数据对应的用户数据， 获得用户存储数据。 0027 另一方面， 本申请实施例提供了一种数据处理装置， 包括： 0028 数据获取单元， 用于获取待写入的用户数据和用户数据的元数据； 0029 元数据插入单元， 用于将元数据插入至用户数据的头部， 得到用户存储数据； 0030 数据写入单元， 用于将用户存储。

14、数据写入用户数据存储节点， 并将元数据写入元 数据存储节点。 0031 在一种可能的实施方式中， 获取待写入的用户数据和用户数据的元数据时， 数据 获取单元具体用于： 0032 将数据采集设备采集的用户数据作为待写入的用户数据； 0033 确定用户数据的数据长度和存储路径， 并基于数据长度和存储路径， 生成用户数 据的元数据。 0034 在一种可能的实施方式中， 将元数据插入至用户数据的头部， 得到用户存储数据 时， 元数据插入单元具体用于： 0035 在用户数据的头部预留的设定长度的存储空间中插入元数据， 得到用户存储数 据。 0036 另一方面， 本申请实施例提供了另一种数据处理装置， 包。

15、括： 0037 指令接收单元， 用于接收数据同步指令； 0038 数据获取单元， 用于基于数据同步指令， 从源集群存储系统中获取用户存储数据， 并从用户存储数据中获取用户数据的元数据， 其中， 用户存储数据是源集群存储系统在用 户数据的头部插入用户数据的元数据后获得的； 0039 数据写入单元， 用于将用户存储数据写入用户数据存储节点， 并将元数据写入元 数据存储节点。 0040 在一种可能的实施方式中， 基于数据同步指令， 从源集群存储系统中获取目标数 据类型的用户存储数据， 并从用户存储数据中获取元数据时， 数据获取单元具体用于： 0041 基于数据同步指令， 创建定时同步任务； 0042。

16、 按照定时同步任务， 分批次地从源集群存储系统中获取由用户存储数据组成的各 说明书 2/10 页 5 CN 112148795 A 5 个用户数据块； 0043 每获取到一个用户数据块， 对该用户数据块进行解码， 得到该用户数据块中的用 户存储数据和该用户存储数据中的元数据。 0044 在一种可能的实施方式中， 对该用户数据块进行解码， 得到该用户数据块中的用 户存储数据和该用户存储数据中的元数据时， 数据获取单元具体用于循环执行以下操作， 直至用户数据块中的用户存储数据解码完成为止： 0045 对基准数据后的设定长度的数据进行解码， 得到元数据， 其中， 当首次解码时， 基 准数据为用户数据。

17、块的第一条数据， 当非首次解码时， 基准数据为上一次解码获得的用户 存储数据后的第一条数据； 0046 获取元数据中的数据长度为目标长度， 并对元数据后的目标长度的数据进行解 码， 得到元数据对应的用户数据； 0047 基于元数据和元数据对应的用户数据， 获得用户存储数据。 0048 另一方面， 本申请实施例提供了一种数据处理设备， 包括： 存储器、 处理器和存储 在存储器上并可在处理器上运行的计算机程序， 处理器执行计算机程序时实现本申请实施 例提供的数据处理方法。 0049 另一方面， 本申请实施例还提供了一种计算机可读存储介质， 计算机可读存储介 质存储有计算机指令， 计算机指令被处理器。

18、执行时实现本申请实施例提供的数据处理方 法。 0050 本申请实施例的有益效果如下： 0051 本申请实施例中， 源集群存储系统在写入用户数据和用户数据的元数据时， 通过 将用户数据的元数据插入到该用户数据的头部， 使得其他集群存储系统在数据同步时， 可 以从源集群存储系统中获取到头部插入有元数据的用户数据， 进一步从用户数据的头部获 取元数据后， 即可实现对源集群存储系统中的用户数据和元数据的数据同步， 从而简化了 跨集群数据同步操作， 提高了跨集群数据同步性能。 0052 本申请的其它特征和优点将在随后的说明书中阐述， 并且， 部分地可以从说明书 中变得显而易见， 或者通过实施本申请而了解。

19、。 本申请的目的和其他优点可通过在所写的 说明书、 权利要求书、 以及附图中特别指出的结构来实现和获得。 附图说明 0053 此处所说明的附图用来提供对本申请的进一步理解， 构成本申请的一部分， 本申 请的示意性实施例及其说明用于解释本申请， 并不构成对本申请的不当限定。 在附图中： 0054 图1为本申请实施例中用户存储数据的组成结构示意图； 0055 图2为本申请实施例中集群存储系统的系统架构示意图； 0056 图3为本申请实施例中一种数据处理方法的概况流程示意图； 0057 图4为本申请实施例中另一种数据处理方法的概况流程示意图； 0058 图5为本申请实施例中数据处理方法的具体流程示意。

20、图； 0059 图6为本申请实施例中一种数据处理装置的功能结构示意图； 0060 图7为本申请实施例中另一种数据处理装置的功能结构示意图； 0061 图8为本申请实施例中数据处理设备的硬件结构示意图。 说明书 3/10 页 6 CN 112148795 A 6 具体实施方式 0062 为了使本申请的目的、 技术方案及有益效果更加清楚明白， 下面将结合本申请实 施例中的附图， 对本申请实施例中的技术方案进行清楚、 完整地描述， 显然， 所描述的实施 例仅仅是本申请一部分实施例， 并不是全部的实施例。 基于本申请中的实施例， 本领域普通 技术人员在没有做出创造性劳动前提下所获得的所有其他实施例， 。

21、都属于本申请保护的范 围。 0063 为便于本领域技术人员更好地理解本申请， 下面先对本申请涉及的技术用语进行 简单介绍。 0064 1、 用户数据， 为数据采集设备采集的数据。 例如， 用户数据可以是摄像头采集的图 像， 也可以是考勤设备采集的指纹， 还可以是采集的车载终端采集的车辆位置等。 0065 2、 元数据， 为对用户数据的数据长度和存储路径等属性进行描述的数据。 0066 3、 用户存储数据， 为头部插入有元数据的用户数据。 本申请中， 参阅图1所示， 用户 存储数据可以是在用户数据的头部预留的设定长度的存储空间中插入有该用户数据的元 数据的数据。 0067 4、 用户数据块， 为。

22、对用户数据存储节点的磁盘中存储的由用户存储数据组成的数 据块。 0068 5、 集群存储系统， 为基于对象存储的数据存储系统。 本申请中， 参阅图2所示， 集群 存储系统可以包括但不限于： 客户端文件系统、 用户数据存储节点集群和元数据存储节点 集群， 其中： 0069 客户端文件系统， 为由多个部署有文件系统的客户端组成， 用于根据用户操作， 发 起访问请求； 0070 用户数据存储节点集群， 为由多个用户数据存储节点组成， 用于采用对象存储方 式对用户存储数据进行存储； 0071 元数据存储节点集群， 为由多个元数据存储节点组成， 用于采用对象存储方式对 元数据进行存储。 0072 在介绍。

23、了本申请涉及的技术用语后， 接下来， 对本申请实施例的应用场景和设计 思想进行简单介绍。 0073 目前， 跨集群数据同步方法主要有两种， 一种是从源集群存储系统中同时读取元 数据和用户数据， 这种数据同步方法由于元数据随机分布在元数据存储节点的磁盘上， 且 磁盘随机读取的性能远不如顺序读取， 从而造成数据同步性能较差； 另一种是源集群存储 系统在写入用户数据和元数据的同时， 将数据变化记录到opLog文件中， 以使其它集群存储 系统通过回放该opLog文件实现数据同步， 这种数据同步方法除了正常写入用户数据和元 数据之外还需要多写入一份opLog文件， 且写数据的性能较差， 从而造成数据同步。

24、性能较 差。 因此， 如何提高跨集群数据同步的性能是当前需要解决的问题。 0074 为此， 本申请实施例中， 源集群存储系统获取待写入的用户数据和用户数据的元 数据后， 可以将元数据插入至用户数据的头部， 得到用户存储数据， 并将用户存储数据写入 用户数据存储节点， 将元数据写入元数据存储节点； 而其他集群存储系统接收到数据同步 指令时， 可以基于数据同步指令， 从源集群存储系统中获取用户存储数据， 并从用户存储数 据中获取用户数据的元数据后， 将用户存储数据写入用户数据存储节点， 将元数据写入元 说明书 4/10 页 7 CN 112148795 A 7 数据存储节点。 这样， 源集群存储系。

25、统在写入用户数据和用户数据的元数据时， 通过将用户 数据的元数据插入到该用户数据的头部， 使得其他集群存储系统在数据同步时， 可以从源 集群存储系统中获取到头部插入有元数据的用户数据， 进一步从用户数据的头部获取元数 据后， 即可实现对源集群存储系统中的用户数据和元数据的数据同步， 从而简化了跨集群 数据同步操作， 提高了跨集群数据同步性能。 0075 在介绍了本申请实施例的应用场景和设计思想之后， 下面对本申请实施例提供的 技术方案进行详细说明。 0076 本申请实施例提供了一种数据处理方法， 参阅图3所示， 本申请实施例提供的数据 处理方法的概况流程如下： 0077 步骤301： 获取待写。

26、入的用户数据和该用户数据的元数据。 0078 实际应用中， 数据采集设备可以将采集到的用户数据发送至源集群存储系统， 源 集群存储系统可以将数据采集设备采集的用户数据作为待写入的用户数据， 并获取该用户 数据的元数据， 进一步的， 源集群存储系统在获取该用户数据的元数据时， 可以采用但不限 于以下方式： 0079 首先， 源集群存储系统确定该用户数据的数据长度和存储路径。 0080 在具体实施时， 为了方便源集群存储系统确定该用户数据的存储路径， 源集群存 储系统可以根据数据采集设备的地理位置， 对数据采集设备进行分片， 并建立各个分片与 用户数据存储节点集群中各个用户数据存储节点的对应关系，。

27、 这样， 源集群存储系统在确 定该用户数据的存储路径时， 可以先确定该用户数据对应的数据采集设备所属的分片， 再 根据该数据采集设备所属的分片， 确定用户数据存储节点集群中用于存储该用户数据的用 户数据存储节点， 其次， 基于确定出的用户数据存储节点存储的用户数据文件中当前最后 一条数据的偏移量， 确定该用户数据在该用户数据文件中的偏移量， 最后， 基于该用户数据 对应的数据采集设备所属的分片、 用户数据存储节点集群中用于存储该用户数据的用户数 据存储节点以及该用户数据在用户数据存储节点存储的用户数据文件中的偏移量， 确定该 用户数据的存储路径。 0081 然后， 源集群存储系统基于该用户数据。

28、的数据长度和存储路径， 生成该用户数据 的元数据。 0082 步骤302： 将该元数据插入至该用户数据的头部， 得到用户存储数据。 0083 实际应用中， 源集群存储系统为了能够在用户数据的头部插入用户数据的元数 据， 可以在该用户数据的头部预留设定长度的存储空间， 进而在获得该用户数据的元数据 后， 即可在该用户数据的头部预留的设定长度的存储空间中插入该用户数据的元数据， 以 获得用户存储数据。 这样， 其他集群存储系统在数据同步时， 从源集群存储系统中获取用户 存储数据并进一步从用户存储数据中获取用户数据的元数据后， 即可实现对源集群存储系 统中的用户数据和元数据的数据同步， 从而简化了跨。

29、集群数据同步操作， 提高了跨集群数 据同步性能。 0084 步骤303： 将该用户存储数据写入用户数据存储节点， 并将该元数据写入元数据存 储节点。 0085 实际应用中， 源集群存储系统可以将该用户数据的存储路径作为该用户存储数据 的存储路径， 并根据该用户存储数据的存储路径， 将该用户存储数据写入用户数据存储节 说明书 5/10 页 8 CN 112148795 A 8 点集群中相应的用户数据存储节点。 0086 在具体实施时， 为了方便源集群存储系统确定元数据存储节点集群中用于存储该 用户数据的元数据的元数据存储节点， 源集群存储系统根据数据采集设备的地理位置， 对 数据采集设备进行分片。

30、， 并建立各个分片与用户数据存储节点集群中各个用户数据存储节 点的对应关系时， 还可以建立各个分片与元数据存储节点集群中各个元数据存储节点的对 应关系， 这样， 源集群存储系统在确定元数据存储节点集群中用于存储该用户数据的元数 据的元数据存储节点时， 可以先确定该用户数据的数据采集设备所属的分片， 再根据数据 采集设备所属的分片， 确定元数据存储节点集群中用于存储该用户数据的元数据的元数据 存储节点， 其次， 基于确定出的元数据存储节点存储的元数据文件中当前最后一条数据的 偏移量， 确定该用户数据的元数据在该用户数据文件中的偏移量， 最后， 基于该用户数据对 应的数据采集设备所属的分片、 元数。

31、据存储节点集群中用于存储该用户数据的元数据的元 数据存储节点以及该用户数据的元数据在元数据存储节点存储的元数据文件中的偏移量， 确定该用户数据的元数据的存储路径后， 根据该用户数据的元数据的存储路径， 将该用户 数据的元数据写入元数据存储节点集群中相应的元数据存储节点。 0087 进一步的， 源集群存储系统写入用户存储数据和元数据后， 其他集群存储系统即 可采用本申请实施例提供的另一种数据处理方法， 对源集群存储系统中的用户存储数据和 元数据进行数据同步， 具体的， 参阅图4所示， 本申请实施例提供的另一种数据处理方法的 概况流程如下： 0088 步骤401： 接收数据同步指令。 0089 实。

32、际应用中， 源集群存储系统写入用户存储数据和元数据后， 可以向其它集群存 储系统发布数据同步指令， 以触发其它集群存储系统开始执行数据同步操作。 0090 步骤402： 基于该数据同步指令， 从源集群存储系统中获取用户存储数据， 并从该 用户存储数据中获取用户数据的元数据， 其中， 该用户存储数据是源集群存储系统在该用 户数据的头部插入该用户数据的元数据后获得的。 0091 实际应用中， 其它集群存储系统在基于该数据同步指令， 从源集群存储系统中获 取用户存储数据， 并从该用户存储数据中获取用户数据的元数据时， 可以采用但不限于以 下方式： 0092 首先， 其它集群存储系统基于该数据同步指令。

33、， 创建定时同步任务。 0093 然后， 其它集群存储系统按照该定时同步任务， 分批次地从源集群存储系统中获 取由用户存储数据组成的各个用户数据块。 0094 最后， 其它集群存储系统每获取到一个用户数据块， 对该用户数据块进行解码， 得 到该用户数据块中的用户存储数据和该用户存储数据中的元数据。 0095 具体的， 其它集群存储系统对该用户数据块进行解码时， 可以循环执行以下操作， 直至该用户数据块中的用户存储数据解码完成为止： 0096 首先， 其它集群存储系统对基准数据后的设定长度的数据进行解码， 得到元数据。 0097 其中， 当首次解码时， 该基准数据为该用户数据块的第一条数据， 当。

34、非首次解码 时， 该基准数据为上一次解码获得的用户存储数据后的第一条数据。 0098 然后， 其它集群存储系统获取该元数据中的数据长度为目标长度， 并对该元数据 后的目标长度的数据进行解码， 得到该元数据对应的用户数据。 说明书 6/10 页 9 CN 112148795 A 9 0099 最后， 其它集群存储系统基于该元数据和该元数据对应的用户数据， 获得用户存 储数据。 0100 步骤403： 将该用户存储数据写入用户数据存储节点， 并将该元数据写入元数据存 储节点。 0101 实际应用中， 其它集群存储系统可以预先建立各个源集群存储系统与用户数据存 储节点集群中各个用户数据存储节点的对应。

35、关系， 这样， 其它集群存储系统在对源集群存 储系统的用户存储数据进行数据同步时， 可以先确定用户数据存储节点集群中用于对该源 集群存储系统的用户存储数据进行存储的用户数据存储节点， 再基于确定出的用户数据存 储节点存储的用户数据文件中当前最后一条数据的偏移量， 确定该源集群存储系统的用户 存储数据在该用户数据文件中的偏移量， 其次， 基于用户数据存储节点集群中用于对该源 集群存储系统的用户存储数据进行存储的用户数据存储节点， 以及该源集群存储系统的用 户存储数据在用户数据存储节点存储的用户数据文件中的偏移量， 确定该源集群存储系统 的用户存储数据的存储路径， 最后， 根据该源集群存储系统的用。

36、户存储数据的存储路径， 将 该源集群存储系统的用户存储数据写入用户数据存储节点集群中相应的用户数据存储节 点。 0102 对应的， 其它集群存储系统还可以预先建立各个源集群存储系统与元数据存储节 点集群中各个元数据存储节点的对应关系， 这样， 其它集群存储系统在对源集群存储系统 的元数据进行数据同步时， 可以先确定元数据存储节点集群中用于对该源集群存储系统的 元数据进行存储的元数据存储节点， 再基于确定出的元数据存储节点存储的元数据文件中 当前最后一条数据的偏移量， 确定该源集群存储系统的元数据在该元数据文件中的偏移 量， 其次， 基于元数据存储节点集群中用于对该源集群存储系统的元数据进行存储。

37、的元数 据存储节点， 以及该源集群存储系统的元数据在元数据存储节点存储的元数据文件中的偏 移量， 确定该源集群存储系统的元数据的存储路径， 最后， 根据该源集群存储系统的元数据 的存储路径， 将该源集群存储系统的元数据写入元数据存储节点集群中相应的元数据存储 节点。 0103 下面采用 “用户数据是摄像头采集的图像” 为具体应用场景， 对本申请实施例提供 的数据处理方法作进一步详细说明， 参阅图5所示， 本申请实施例提供的数据处理方法的具 体流程如下： 0104 步骤501： 摄像头将采集到的图像发送至源集群存储系统。 0105 步骤502： 源集群存储系统将数据采集设备采集的图像作为待写入的。

38、用户数据， 并 确定该用户数据的数据长度和存储路径。 0106 步骤503： 源集群存储系统基于该用户数据的数据长度和存储路径， 生成该用户数 据的元数据。 0107 步骤504： 源集群存储系统在该用户数据的头部预留的设定长度的存储空间中插 入该用户数据的元数据， 得到用户存储数据。 0108 步骤505： 源集群存储系统将该用户数据的存储路径作为该用户存储数据的存储 路径， 并根据该用户存储数据的存储路径， 将该用户存储数据写入用户数据存储节点集群 中相应的用户数据存储节点。 0109 步骤506： 源集群存储系统确定该用户数据的元数据的存储路径， 并根据该用户数 说明书 7/10 页 1。

39、0 CN 112148795 A 10 据的元数据的存储路径， 将该用户数据的元数据写入元数据存储节点集群中相应的元数据 存储节点。 0110 步骤507： 源集群存储系统发布数据同步指令。 0111 步骤508： 其它集群存储系统接收到源集群存储系统发布的数据同步指令时， 基于 该数据同步指令， 创建定时同步任务。 0112 步骤509： 其它集群存储系统按照该定时同步任务， 分批次地从源集群存储系统中 获取由用户存储数据组成的各个用户数据块。 0113 步骤510： 其它集群存储系统每获取到一个用户数据块， 对该用户数据块进行解 码， 得到该用户数据块中的用户存储数据和该用户存储数据中的元。

40、数据。 0114 步骤511： 其它集群存储系统确定该用户存储数据的存储路径， 并根据该用户存储 数据的存储路径， 将该用户存储数据写入用户数据存储节点集群中相应的用户数据存储节 点。 0115 步骤512： 源集群存储系统确定该用户存储数据中的元数据的存储路径， 并根据该 用户存储数据中的元数据的存储路径， 将该用户存储数据中的元数据写入元数据存储节点 集群中相应的元数据存储节点。 0116 基于上述实施例， 本申请实施例提供了一种数据处理装置， 参阅图6所示， 本申请 实施例提供的数据处理装置600至少包括： 0117 数据获取单元601， 用于获取待写入的用户数据和用户数据的元数据； 0。

41、118 元数据插入单元602， 用于将元数据插入至用户数据的头部， 得到用户存储数据； 0119 数据写入单元603， 用于将用户存储数据写入用户数据存储节点， 并将元数据写入 元数据存储节点。 0120 在一种可能的实施方式中， 获取待写入的用户数据和用户数据的元数据时， 数据 获取单元601具体用于： 0121 将数据采集设备采集的用户数据作为待写入的用户数据； 0122 确定用户数据的数据长度和存储路径， 并基于数据长度和存储路径， 生成用户数 据的元数据。 0123 在一种可能的实施方式中， 将元数据插入至用户数据的头部， 得到用户存储数据 时， 元数据插入单元602具体用于： 012。

42、4 在用户数据的头部预留的设定长度的存储空间中插入元数据， 得到用户存储数 据。 0125 基于上述实施例， 本申请实施例还提供了另一种数据处理装置， 参阅图7所示， 本 申请实施例提供的数据处理装置700至少包括： 0126 指令接收单元701， 用于接收数据同步指令； 0127 数据获取单元702， 用于基于数据同步指令， 从源集群存储系统中获取用户存储数 据， 并从用户存储数据中获取用户数据的元数据， 其中， 用户存储数据是源集群存储系统在 用户数据的头部插入用户数据的元数据后获得的； 0128 数据写入单元703， 用于将用户存储数据写入用户数据存储节点， 并将元数据写入 元数据存储节。

43、点。 0129 在一种可能的实施方式中， 基于数据同步指令， 从源集群存储系统中获取目标数 说明书 8/10 页 11 CN 112148795 A 11 据类型的用户存储数据， 并从用户存储数据中获取元数据时， 数据获取单元702具体用于： 0130 基于数据同步指令， 创建定时同步任务； 0131 按照定时同步任务， 分批次地从源集群存储系统中获取由用户存储数据组成的各 个用户数据块； 0132 每获取到一个用户数据块， 对该用户数据块进行解码， 得到该用户数据块中的用 户存储数据和该用户存储数据中的元数据。 0133 在一种可能的实施方式中， 对该用户数据块进行解码， 得到该用户数据块中。

44、的用 户存储数据和该用户存储数据中的元数据时， 数据获取单元702具体用于循环执行以下操 作， 直至用户数据块中的用户存储数据解码完成为止： 0134 对基准数据后的设定长度的数据进行解码， 得到元数据， 其中， 当首次解码时， 基 准数据为用户数据块的第一条数据， 当非首次解码时， 基准数据为上一次解码获得的用户 存储数据后的第一条数据； 0135 获取元数据中的数据长度为目标长度， 并对元数据后的目标长度的数据进行解 码， 得到元数据对应的用户数据； 0136 基于元数据和元数据对应的用户数据， 获得用户存储数据。 0137 需要说明的是， 本申请实施例提供的两种数据处理装置解决技术问题的。

45、原理与本 申请实施例提供的数据处理方法相似， 因此， 本申请实施例提供的两种数据处理装置的实 施可以参见本申请实施例提供的数据处理方法的实施， 重复之处不再赘述。 0138 在介绍了本申请实施例提供的数据处理方法和装置之后， 接下来， 对本申请实施 例提供的数据处理设备进行简单介绍。 0139 参阅图8所示， 本申请实施例提供的数据处理设备800至少包括： 处理器801、 存储 器802和存储在存储器802上并可在处理器801上运行的计算机程序， 处理器801执行计算机 程序时实现本申请实施例提供的数据处理方法。 0140 需要说明的是， 图8所示的数据处理设备800仅仅是一个示例， 不应对本。

46、申请实施 例的功能和使用范围带来任何限制。 0141 本申请实施例提供的数据处理设备800还可以包括连接不同组件(包括处理器801 和存储器802)的总线803。 其中， 总线803表示几类总线结构中的一种或多种， 包括存储器总 线、 外围总线、 局域总线等。 0142 存储器802可以包括易失性存储器形式的可读介质， 例如随机存储器(Random Access Memory， RAM)8021和/或高速缓存存储器8022， 还可以进一步包括只读存储器(Read Only Memory， ROM)8023。 0143 存储器802还可以包括具有一组(至少一个)程序模块8024的程序工具8025。

47、， 程序 模块8024包括但不限于： 操作子系统、 一个或者多个应用程序、 其它程序模块以及程序数 据， 这些示例中的每一个或某种组合中可能包括网络环境的实现。 0144 数据处理设备800也可以与一个或多个外部设备804(例如键盘、 遥控器等)通信， 还可以与一个或者多个使得用户能与数据处理设备800交互的设备通信(例如手机、 电脑 等)， 和/或， 与使得数据处理设备800与一个或多个其它数据处理设备800进行通信的任何 设备(例如路由器、 调制解调器等)通信。 这种通信可以通过输入/输出(Input/Output， I/O) 接口805进行。 并且， 数据处理设备800还可以通过网络适配。

48、器806与一个或者多个网络(例 说明书 9/10 页 12 CN 112148795 A 12 如局域网(Local Area Network， LAN)， 广域网(Wide Area Network， WAN)和/或公共网络， 例如因特网)通信。 如图8所示， 网络适配器806通过总线803与数据处理设备800的其它模块 通信。 应当理解， 尽管图8中未示出， 可以结合数据处理设备800使用其它硬件和/或软件模 块， 包括但不限于： 微代码、 设备驱动器、 冗余处理器、 外部磁盘驱动阵列、 磁盘阵列 (Redundant Arrays of Independent Disks， RAID)子。

49、系统、 磁带驱动器以及数据备份存储 子系统等。 0145 下面对本申请实施例提供的计算机可读存储介质进行介绍。 本申请实施例提供的 计算机可读存储介质存储有计算机指令， 计算机指令被处理器执行时实现本申请实施例提 供的数据处理方法。 具体地， 该可执行程序可以内置或者安装在数据处理设备800中， 这样， 数据处理设备800就可以通过执行内置或者安装的可执行程序实现本申请实施例提供的数 据处理方法。 0146 此外， 本申请实施例提供的数据处理方法还可以实现为一种程序产品， 该程序产 品包括程序代码， 当该程序产品可以在数据处理设备800上运行时， 该程序代码用于使数据 处理设备800执行本申请。

50、实施例提供的数据处理方法。 0147 本申请实施例提供的程序产品可以采用一个或多个可读介质的任意组合， 其中， 可读介质可以是可读信号介质或者可读存储介质， 而可读存储介质可以是但不限于是电、 磁、 光、 电磁、 红外线、 或半导体的系统、 装置或器件， 或者任意以上的组合， 具体地， 可读存 储介质的更具体的例子(非穷举的列表)包括： 具有一个或多个导线的电连接、 便携式盘、 硬 盘、 RAM、 ROM、 可擦式可编程只读存储器(Erasable Programmable Read Only Memory， EPROM)、 光纤、 便携式紧凑盘只读存储器(Compact Disc Read-。