文件存储管理方法、文件管理客户端及文件存储管理系统.pdf

《文件存储管理方法、文件管理客户端及文件存储管理系统.pdf》由会员分享，可在线阅读，更多相关《文件存储管理方法、文件管理客户端及文件存储管理系统.pdf（17页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010470807.7 (22)申请日 2020.05.28 (71)申请人 浪潮电子信息产业股份有限公司 地址 250101 山东省济南市高新区浪潮路 1036号 (72)发明人 王传国张东 (74)专利代理机构 北京集佳知识产权代理有限 公司 11227 代理人 郄晨芳 (51)Int.Cl. G06F 16/172(2019.01) G06F 16/16(2019.01) G06F 16/182(2019.01) (54)发明名称 文件存储管理方法、 文件管理客户端及。

2、文件 存储管理系统 (57)摘要 本申请公开了一种文件存储管理方法， 所述 方法包括接收文件上传指令， 并根据所述文件上 传指令确定目标上传文件； 向文件管理服务端发 送所述目标上传文件的文件分片列表； 其中， 所 述目标上传文件的文件分片列表包括所述目标 上传文件的所有文件分片的分片标识； 接收所述 文件管理服务端返回的分片存在性检测结果， 并 根据所述分片存在性检测结果将所述目标上传 文件中未上传至所述文件管理服务端的文件分 片设置为目标上传文件分片； 将所述目标上传文 件分片上传至所述文件管理服务端。 本申请能够 相同数据的重复性存储， 提高数据管理效率。 本 申请还公开了一种文件管理客。

3、户端及一种文件 存储管理系统， 具有以上有益效果。 权利要求书3页 说明书11页 附图2页 CN 111708743 A 2020.09.25 CN 111708743 A 1.一种文件存储管理方法， 其特征在于， 包括： 接收文件上传指令， 并根据所述文件上传指令确定目标上传文件； 向文件管理服务端发送所述目标上传文件的文件分片列表； 其中， 所述目标上传文件 的文件分片列表包括所述目标上传文件的所有文件分片的分片标识； 接收所述文件管理服务端返回的分片存在性检测结果， 并根据所述分片存在性检测结 果将所述目标上传文件中未上传至所述文件管理服务端的文件分片设置为目标上传文件 分片； 将所述目。

4、标上传文件分片上传至所述文件管理服务端。 2.根据权利要求1所述文件存储管理方法， 其特征在于， 在所述向文件管理服务端发送 所述目标上传文件的文件分片列表之前， 还包括： 判断本地文件分片列表库中是否包括所述目标上传文件的文件分片列表； 若是， 则获取所述目标上传文件的文件分片列表； 若否， 则对所述目标上传文件执行文件分片操作得到多个文件分片， 根据所述文件分 片对应的文件内容计算每一所述文件分片的分片标识， 并构建包括所有所述分片标识的文 件分片列表。 3.根据权利要求2所述文件存储管理方法， 其特征在于， 所述根据文件分片对应的文件 内容计算每一所述文件分片的分片标识， 包括： 根据所。

5、述文件分片对应的文件内容分别计算MD5值和SHA1值， 将每一所述文件分片的 MD5值和SHA1值作为所述分片标识。 4.根据权利要求2所述文件存储管理方法， 其特征在于， 所述文件管理服务端生成所述 分片存在性检测结果的过程包括： 将所述目标上传文件的文件分片列表中的分片标识与服务端分片标识库进行对比； 若所述服务端分片标识库包括所述分片标识， 则生成第一比对结果； 若所述服务端分片标识库不包括所述分片标识， 则生成第二比对结果； 根据所述第一比对结果和/或所述第二比对结果生成所述分片存在性检测结果。 5.根据权利要求1所述文件存储管理方法， 其特征在于， 在向文件管理服务端发送所述 目标上。

6、传文件的文件分片列表之后， 还包括： 将所述目标上传文件包括的所有文件分片的引用次数加一； 相应的， 还包括： 当接收到文件修改指令时， 判断待修改文件的文件分片的引用次数是否为初始值； 若 是， 则对文件分片执行修改操作； 若否， 则将文件分片引用次数减一， 并创建新的分片以便 保存对所述待修改文件执行修改操作后的文件； 当接收到文件删除指令时， 判断待删除文件的文件分片的引用次数是否为所述默认 值； 若是， 则执行文件分片删除操作； 若否， 则将文件分片的引用次数减一。 6.根据权利要求1所述文件存储管理方法， 其特征在于， 还包括： 若接收到文件下载指令， 根据目标下载文件的文件标识生成。

7、下载请求； 将所述下载请求发送至所述文件管理服务端， 以便所述文件管理服务端根据所述文件 标识查询所述目标下载文件对应的文件分片列表； 若接收到所述文件管理服务端返回的所述目标下载文件对应的文件分片列表， 则将所 权利要求书 1/3 页 2 CN 111708743 A 2 述目标下载文件的文件分片列表中的分片标识与本地分片标识库进行对比； 将本地分片标识库中不包括的分片标识对应的文件分片设置为目标下载文件分片； 从所述文件管理服务端将所述目标下载文件分片下载至本地缓存文件夹。 7.一种文件管理客户端， 其特征在于， 包括： 文件确定模块， 用于接收文件上传指令， 并根据所述文件上传指令确定目。

8、标上传文件； 分片列表上传模块， 用于向文件管理服务端发送所述目标上传文件的文件分片列表； 分片设置模块， 用于接收所述文件管理服务端返回的分片存在性检测结果， 并根据所 述分片存在性检测结果将所述目标上传文件中未上传至所述文件管理服务端的文件分片 设置为目标上传文件分片； 分片上传模块， 用于将所述目标上传文件分片上传至所述文件管理服务端。 8.一种文件存储管理方法， 其特征在于， 包括： 若接收到文件管理客户端发送目标上传文件的文件分片列表， 则将所述目标上传文件 的文件分片列表中的分片标识与服务端分片标识库进行对比得到分片存在性检测结果， 并 将所述分片存在性检测结果发送至所述文件管理客。

9、户端， 以便所述文件管理客户端根据所 述分片存在性检测结果上传所述目标上传文件中未上传至所述文件管理服务端的文件分 片； 若接收到所述文件管理客户端发送的下载请求， 则根据所述文件标识从服务端文件分 片列表库查询所述目标下载文件的文件分片列表， 并将所述目标下载文件的文件分片列表 发送至所述文件管理客户端， 以便所述文件管理客户端将本地分片标识库中不包括的分片 标识对应的文件分片设下载至本地缓存文件夹。 9.一种文件存储管理系统， 其特征在于， 包括文件管理客户端和文件管理服务端， 所述 文件管理客户端向所述文件管理服务端上传目标上传文件的过程包括： 所述文件管理客户端， 向文件管理服务端发送。

10、所述目标上传文件的文件分片列表； 所述文件管理服务端， 将所述目标上传文件的文件分片列表中的分片标识与服务端分 片标识库进行对比得到分片存在性检测结果， 并将所述分片存在性检测结果发送至所述文 件管理客户端； 其中， 生成所述分片存在性检测结果的过程包括： 若所述服务端分片标识库 包括所述分片标识， 则生成第一比对结果； 若所述服务端分片标识库不包括所述分片标识， 则生成第二比对结果； 根据所述第一比对结果和所述第二比对结果生成所述分片存在性检 测结果； 所述文件管理客户端， 根据所述分片存在性检测结果将所述目标上传文件中未上传至 所述文件管理服务端的文件分片设置为目标上传文件分片， 并将所述。

11、目标上传文件分片上 传至所述文件管理服务端。 10.根据权利要求9所述文件存储管理系统， 其特征在于， 所述文件管理客户端从所述 文件管理服务端下载目标下载文件的过程包括： 所述文件管理客户端， 向所述文件管理服务端发送下载请求； 其中， 所述下载请求包括 所述目标下载文件的文件标识； 所述文件管理服务端， 根据所述文件标识从服务端文件分片列表库查询所述目标下载 文件的文件分片列表， 并将所述目标下载文件的文件分片列表发送至所述文件管理客户 端； 权利要求书 2/3 页 3 CN 111708743 A 3 所述文件管理客户端， 将所述目标下载文件的文件分片列表中的分片标识与本地分片 标识库进。

12、行对比， 将本地分片标识库中不包括的分片标识对应的文件分片设置为目标下载 文件分片， 从所述文件管理服务端将所述目标下载文件分片下载至本地缓存文件夹。 权利要求书 3/3 页 4 CN 111708743 A 4 文件存储管理方法、 文件管理客户端及文件存储管理系统 技术领域 0001 本申请涉及计算机技术领域， 特别涉及一种文件存储管理方法、 一种文件管理客 户端及一种文件存储管理系统。 背景技术 0002 分布式存储系统可以将数据分散存储在多台独立的设备上， 分布式存储系统采用 可扩展的系统结构， 利用多台存储服务器分担存储负荷， 利用位置服务器定位存储信息。 分 布式存储系统不但提高了系。

13、统的可靠性、 可用性和存取效率， 还易于扩展。 根据存储元数据 的不同， 分布式存储系统可以包括分布式文件系统、 分布式块存储、 分布式对象存储、 分布 式数据库和分布式缓存等， 为了分散存储在多台设备上， 必然会有分片的概念， 文件分片、 数据块分片、 数据库分片(按表、 按时间等)。 0003 分布式文件系统把文件分片存储在多台独立设备上， 实际使用中有可能分属于不 同文件的分片内容相同的情况， 特别是大文件， 文件越大这种现象越明显。 例如， 某一文件 修改极小部分， 形成了一个新的文件， 和原文件具有极大相似度， 此时分布式文件系统需要 重复存储大量的数据， 导致数据管理效率较低。 0。

14、004 因此， 如何避免相同数据的重复性存储， 提高数据管理效率是本领域技术人员目 前需要解决的技术问题。 发明内容 0005 本申请的目的是提供一种文件存储管理方法、 一种文件管理客户端及一种文件存 储管理系统， 能够避免相同数据的重复性存储， 提高数据管理效率。 0006 为解决上述技术问题， 本申请提供一种文件存储管理方法， 该文件存储管理方法 包括： 0007 接收文件上传指令， 并根据所述文件上传指令确定目标上传文件； 0008 向文件管理服务端发送所述目标上传文件的文件分片列表； 其中， 所述目标上传 文件的文件分片列表包括所述目标上传文件的所有文件分片的分片标识； 0009 接收。

15、所述文件管理服务端返回的分片存在性检测结果， 并根据所述分片存在性检 测结果将所述目标上传文件中未上传至所述文件管理服务端的文件分片设置为目标上传 文件分片； 0010 将所述目标上传文件分片上传至所述文件管理服务端。 0011 可选的， 在所述向文件管理服务端发送所述目标上传文件的文件分片列表之前， 还包括： 0012 判断本地文件分片列表库中是否包括所述目标上传文件的文件分片列表； 0013 若是， 则获取所述目标上传文件的文件分片列表； 0014 若否， 则对所述目标上传文件执行文件分片操作得到多个文件分片， 根据所述文 件分片对应的文件内容计算每一所述文件分片的分片标识， 并构建包括所。

16、有所述分片标识 说明书 1/11 页 5 CN 111708743 A 5 的文件分片列表。 0015 可选的， 所述根据文件分片对应的文件内容计算每一所述文件分片的分片标识， 包括： 0016 根据所述文件分片对应的文件内容分别计算MD5值和SHA1值， 将每一所述文件分 片的MD5值和SHA1值作为所述分片标识。 0017 可选的， 所述文件管理服务端生成所述分片存在性检测结果的过程包括： 0018 将所述目标上传文件的文件分片列表中的分片标识与服务端分片标识库进行对 比； 0019 若所述服务端分片标识库包括所述分片标识， 则生成第一比对结果； 0020 若所述服务端分片标识库不包括所述。

17、分片标识， 则生成第二比对结果； 0021 根据所述第一比对结果和/或所述第二比对结果生成所述分片存在性检测结果。 0022 可选的， 在向文件管理服务端发送所述目标上传文件的文件分片列表之后， 还包 括： 0023 将所述目标上传文件包括的所有文件分片的引用次数加一； 0024 相应的， 还包括： 0025 当接收到文件修改指令时， 判断待修改文件的文件分片的引用次数是否为初始 值； 若是， 则对文件分片执行修改操作； 若否， 则将文件分片引用次数减一， 并创建新的分片 以便保存对所述待修改文件执行修改操作后的文件； 0026 当接收到文件删除指令时， 判断待删除文件的文件分片的引用次数是否。

18、为所述默 认值； 若是， 则执行文件分片删除操作； 若否， 则将文件分片的引用次数减一。 可选的， 还包 括： 0027 若接收到文件下载指令， 根据目标下载文件的文件标识生成下载请求； 0028 将所述下载请求发送至所述文件管理服务端， 以便所述文件管理服务端根据所述 文件标识查询所述目标下载文件对应的文件分片列表； 0029 若接收到所述文件管理服务端返回的所述目标下载文件对应的文件分片列表， 则 将所述目标下载文件的文件分片列表中的分片标识与本地分片标识库进行对比； 0030 将本地分片标识库中不包括的分片标识对应的文件分片设置为目标下载文件分 片； 0031 从所述文件管理服务端将所述。

19、目标下载文件分片下载至本地缓存文件夹。 0032 本申请还提供了一种文件管理客户端， 包括： 0033 文件确定模块， 用于接收文件上传指令， 并根据所述文件上传指令确定目标上传 文件； 0034 分片列表上传模块， 用于向文件管理服务端发送所述目标上传文件的文件分片列 表； 0035 分片设置模块， 用于接收所述文件管理服务端返回的分片存在性检测结果， 并根 据所述分片存在性检测结果将所述目标上传文件中未上传至所述文件管理服务端的文件 分片设置为目标上传文件分片； 0036 分片上传模块， 用于将所述目标上传文件分片上传至所述文件管理服务端。 0037 本申请还提供了一种文件存储管理方法， 。

20、包括： 说明书 2/11 页 6 CN 111708743 A 6 0038 若接收到文件管理客户端发送目标上传文件的文件分片列表， 则将所述目标上传 文件的文件分片列表中的分片标识与服务端分片标识库进行对比得到分片存在性检测结 果， 并将所述分片存在性检测结果发送至所述文件管理客户端， 以便所述文件管理客户端 根据所述分片存在性检测结果上传所述目标上传文件中未上传至所述文件管理服务端的 文件分片； 0039 若接收到所述文件管理客户端发送的下载请求， 则根据所述文件标识从所述服务 端文件分片列表库查询所述目标下载文件的文件分片列表， 并将所述目标下载文件的文件 分片列表发送至所述文件管理客户。

21、端， 以便所述文件管理客户端将本地分片标识库中不包 括的分片标识对应的文件分片设下载至本地缓存文件夹。 0040 本申请还提供了一种文件存储管理系统， 包括文件管理客户端和文件管理服务 端， 所述文件管理客户端向所述文件管理服务端上传目标上传文件的过程包括： 0041 所述文件管理客户端， 向文件管理服务端发送所述目标上传文件的文件分片列 表； 0042 所述文件管理服务端， 将所述目标上传文件的文件分片列表中的分片标识与服务 端分片标识库进行对比得到分片存在性检测结果， 并将所述分片存在性检测结果发送至所 述文件管理客户端； 其中， 生成所述分片存在性检测结果的过程包括： 若所述服务端分片标。

22、 识库包括所述分片标识， 则生成第一比对结果； 若所述服务端分片标识库不包括所述分片 标识， 则生成第二比对结果； 根据所述第一比对结果和所述第二比对结果生成所述分片存 在性检测结果； 0043 所述文件管理客户端， 根据所述分片存在性检测结果将所述目标上传文件中未上 传至所述文件管理服务端的文件分片设置为目标上传文件分片， 并将所述目标上传文件分 片上传至所述文件管理服务端。 0044 可选的， 所述文件管理客户端从所述文件管理服务端下载目标下载文件的过程包 括： 0045 所述文件管理客户端， 向所述文件管理服务端发送下载请求； 其中， 所述下载请求 包括所述目标下载文件的文件标识； 00。

23、46 所述文件管理服务端， 根据所述文件标识从服务端文件分片列表库查询所述目标 下载文件的文件分片列表， 并将所述目标下载文件的文件分片列表发送至所述文件管理客 户端； 0047 所述文件管理客户端， 将所述目标下载文件的文件分片列表中的分片标识与本地 分片标识库进行对比， 将本地分片标识库中不包括的分片标识对应的文件分片设置为目标 下载文件分片， 从所述文件管理服务端将所述目标下载文件分片下载至本地缓存文件夹。 0048 本申请提供了一种文件存储管理方法， 包括： 接收文件上传指令， 并根据所述文件 上传指令确定目标上传文件； 向文件管理服务端发送所述目标上传文件的文件分片列表； 其中， 所。

24、述目标上传文件的文件分片列表包括所述目标上传文件的所有文件分片的分片标 识； 接收所述文件管理服务端返回的分片存在性检测结果， 并根据所述分片存在性检测结 果将所述目标上传文件中未上传至所述文件管理服务端的文件分片设置为目标上传文件 分片； 将所述目标上传文件分片上传至所述文件管理服务端。 0049 本申请在接收到文件上传指令之后， 将包括目标上传文件的分片标识的文件分片 说明书 3/11 页 7 CN 111708743 A 7 列表发送至文件管理服务端， 以便文件管理服务端返回文件分片的存在性检测结果。 根据 存在性监测结果可以确定文件管理服务端中不存在的目标上传文件的文件分片， 即目标上。

25、 传文件分片。 通过将目标上传文件分片上传至文件管理服务端， 可以实现仅将文件管理服 务端中不存在的文件分片进行上传， 避免了相同数据的重复上传， 提高数据管理效率。 本申 请同时还提供了一种文件管理客户端及一种文件存储管理系统， 具有上述有益效果， 在此 不再赘述。 附图说明 0050 为了更清楚地说明本申请实施例， 下面将对实施例中所需要使用的附图做简单的 介绍， 显而易见地， 下面描述中的附图仅仅是本申请的一些实施例， 对于本领域普通技术人 员来讲， 在不付出创造性劳动的前提下， 还可以根据这些附图获得其他的附图。 0051 图1为本申请实施例所提供的一种文件存储管理方法的流程图； 00。

26、52 图2为本申请实施例所提供的一种文件管理客户端向文件管理服务端上传文件的 原理示意图； 0053 图3为本申请实施例所提供的一种文件管理客户端向文件管理服务端下载文件的 原理示意图； 0054 图4为本申请实施例所提供的一种文件存储管理系统的结构示意图。 具体实施方式 0055 为使本申请实施例的目的、 技术方案和优点更加清楚， 下面将结合本申请实施例 中的附图， 对本申请实施例中的技术方案进行清楚、 完整地描述， 显然， 所描述的实施例是 本申请一部分实施例， 而不是全部的实施例。 基于本申请中的实施例， 本领域普通技术人员 在没有做出创造性劳动前提下所获得的所有其他实施例， 都属于本申。

27、请保护的范围。 0056 下面请参见图1， 图1为本申请实施例所提供的一种文件存储管理方法的流程图。 0057 具体步骤可以包括： 0058 S101： 接收文件上传指令， 并根据所述文件上传指令确定目标上传文件； 0059 其中， 本实施例可以应用于与文件管理服务端连接的电子设备， 如手机、 平板电 脑、 个人计算机等文件管理客户端。 在接收到文件上传指令后， 可以对文件上传指令执行解 析操作， 并根据解析结果确定目标上传文件。 0060 S102： 向文件管理服务端发送所述目标上传文件的文件分片列表； 0061 其中， 在得到了目标上传文件之后可以获取目标上传文件的文件分片列表， 具体 的。

28、， 目标上传文件的文件分片列表可以包括所述目标上传文件的所有文件分片的分片标 识。 在本步骤之前可以存在对目标上传文件执行分片划分操作得到多个文件分片。 分片划 分操作指把文件大小超过拆分为小于固定阈值的文件， 按分片步长拆分成多个分片， 每个 分片各自保存成一个文件。 文件分片的分片标识即分片ID， 可以通过预设的映射算法计算 每一文件分片的分片标识； 例如可以通过MD5和SHA1计算得到的MD5值+-+SHA1值， 通 过该上述映射方法可以保证不同文件内容的分片ID不会相同， 得到文件分片的唯一标识 符。 0062 本实施例可以在数据库中预先存储多个文件的文件分片列表， 在确定了目标上传 。

29、说明书 4/11 页 8 CN 111708743 A 8 文件后， 判断数据库中是否存在目标上传文件的文件分片列表， 若存在则可以从数据库中 读取相应的文件分片列表， 若不存在则可以对目标上传文件执行分片操作并计算每一文件 分片的分片标识， 进而得到文件分片列表。 0063 当然， 本实施例可以构建包括文件分片列表的文件上传请求， 并将文件上传请求 发送至文件管理服务端。 文件管理服务端为对文件进行集中管理的设备， 文件管理服务端 可以存储其他设备上传的文件， 还可以为其他设备提供文件下载服务。 为了保证数据的安 全性， 文件管理服务端可以在存储文件时， 可以记录用户标识与文件的对应关系， 。

30、以便记录 各个用户的下载权限； 在文件管理服务端提供文件下载服务时， 仅为具有下载权限的用户 提供下载服务。 0064 S103： 接收所述文件管理服务端返回的分片存在性检测结果， 并根据所述分片存 在性检测结果将所述目标上传文件中未上传至所述文件管理服务端的文件分片设置为目 标上传文件分片； 0065 其中， 在文件管理服务端中可以存储有多个文件分片， 以及文件分片的文件标识。 在文件管理服务端接收到目标上传文件的文件分片列表之后， 根据文件分片列表对目标上 传文件中各个文件分片进行分片存在性检测。 分片存在性检测指判断目标上传文件中的某 一文件分片是否已经存储于文件管理服务端中， 进一步的。

31、本实施例可以将文件分片列表中 的文件分片的分片标识与文件管理服务端中已存储的文件分片的分片标识进行比对， 进而 得到分片存在性检测结果。 作为一种可行的实施方式， 文件管理服务端生成分片存在性检 测结果的过程可以包括： 将所述目标上传文件的文件分片列表中的分片标识与服务端分片 标识库进行对比； 若所述服务端分片标识库包括所述分片标识， 则生成第一比对结果； 若所 述服务端分片标识库不包括所述分片标识， 则生成第二比对结果； 根据所述第一比对结果 和/或所述第二比对结果生成所述分片存在性检测结果。 根据分片存在性检测结果可以将 目标上传文件的文件分片划分为已上传至文件管理服务端的文件分片， 以及。

32、未上传至文件 管理服务端的文件分片。 本实施例将目标上传文件中未上传至所述文件管理服务端的文件 分片设置为目标上传文件分片。 0066 S104： 将所述目标上传文件分片上传至所述文件管理服务端。 0067 其中， 本步骤建立在已经确定了目标上传文件中未上传至所述文件管理服务端的 目标上传文件分片的基础上， 将目标上传文件分片上传至文件管理服务端。 通过上述操作 能够将未上传至文件管理服务端的文件分片进行上传， 不上传已经上传至文件管理服务端 的文件分片， 避免了重复数据的上传。 0068 本实施例在接收到文件上传指令之后， 将包括目标上传文件的分片标识的文件分 片列表发送至文件管理服务端， 。

33、以便文件管理服务端返回文件分片的存在性检测结果。 根 据存在性监测结果可以确定文件管理服务端中不存在的目标上传文件的文件分片， 即目标 上传文件分片。 通过将目标上传文件分片上传至文件管理服务端， 可以实现仅将文件管理 服务端中不存在的文件分片进行上传， 避免了相同数据的重复上传， 提高数据管理效率。 0069 作为对于图1对应实施例的进一步介绍， 在S102向文件管理服务端发送文件分片 列表之前， 还可以先判断本地文件分片列表库中是否包括所述目标上传文件的文件分片列 表； 若是， 则获取所述目标上传文件的文件分片列表； 若否， 则对所述目标上传文件执行文 件分片操作得到多个文件分片， 根据所。

34、述文件分片对应的文件内容计算每一所述文件分片 说明书 5/11 页 9 CN 111708743 A 9 的分片标识， 并构建包括所有所述分片标识的文件分片列表。 0070 具体的， 本实施例可以通过以下方式计算文件分片的分片标识： 根据所述文件分 片对应的文件内容分别计算MD5值和SHA1值， 将每一所述文件分片的MD5值和SHA1值作为所 述分片标识。 上述方式将MD5值和SHA1值的组合作为文件分片的分片标识， 能够避免出现 MD5碰撞和SHA1碰撞。 其中， MD5碰撞指不同的文件内容通过MD5算法计算的结果相同的情 况， SHA1碰撞指不同的文件内容通过SHA1算法计算的结果相同的情。

35、况。 0071 作为对于图1对应实施例的进一步介绍， 在向文件管理服务端发送所述目标上传 文件的文件分片列表之后， 还可以将所述目标上传文件包括的所有文件分片的引用次数加 一； 文件分片的引用次数为用于描述文件被上传的次数， 引用次数的初始值可以为1。 相应 的， 当接收到文件修改指令时， 判断待修改文件的文件分片的引用次数是否为初始值； 若 是， 则对文件分片执行修改操作； 若否， 则将文件分片引用次数减一， 并创建新的分片以便 保存对所述待修改文件执行修改操作后的文件； 当接收到文件删除指令时， 判断待删除文 件的文件分片的引用次数是否为所述默认值； 若是， 则执行文件分片删除操作； 若否。

36、， 则将 文件分片的引用次数减一。 上述关于文件分片的引用次数指文件管理客户端内记录的引用 次数。 0072 当然， 本实施例还可以在数据管理服务端中设置各个以存储的文件分片的引用次 数， 当数据管理服务端中某个文件分片的引用次数用于描述存储至文件管理服务端内接收 其他设备上传文件分片的次数。 在文件管理服务端接收到目标上传文件的文件分片列表 后， 可以将文件管理服务端中已存储的文件分片的引用次数加一； 在文件管理服务端接收 到目标上传文件分片后， 可以将文件管理服务端中已存储目标上传文件分片的引用次数设 置为初始值1。 0073 下面通过实际应用中文件管理客户端上传和下载文件例子说明上述实施。

37、例： 0074 请参见图2， 图2为本申请实施例所提供的一种文件管理客户端向文件管理服务端 上传文件的原理示意图， 可以包括以下步骤： 0075 步骤1： 如果待上传文件未存储至文件管理客户端， 则对待上传文件进行文件分 片， 并计算获取分片ID(即分片标识)， 继续步骤2； 如果待上传文件已存储至文件管理客户 端则进入步骤4； 0076 其中， 文件管理客户端可以具有用户认证登陆功能， 只有认证成功才具备连接查 看文件管理服务端保存的文件的权限， 还可以限定文件管理客户端只能查看具备权限的文 件。 本实施例可以根据文件分片的MD5值和SHA1值作为分片ID。 为了保证文件变化后分片步 长不变。

38、、 分片内容匹配， 计算分片步长时按文件大小的两倍计算， 只要文件变动不超过一 倍， 分片步长就不会变化。 作为另一种可行的实施方式， 本实施例还可以按照以下分片步长 计算文件分片： 0077 文件小于10M， 不分片； 0078 文件大于10M， 小于100M， 按分片步长为10M进行分片； 0079 文件大于100M， 小于1G， 按分片步长为100M分片； 0080 文件大于1G， 分片步长为500M。 0081 通过上述方式， 分片数量需要用总大小除以分片步长计算得出。 0082 步骤2： 上传默认前置操作将待上传文件导入文件管理客户端； 说明书 6/11 页 10 CN 111708。

39、743 A 10 0083 其中， 待上传文件导入文件管理客户端的过程可以为： 创建目标文件对象， 把分片 纳入文件管理客户端管理。 将目标文件移入文件管理客户端的缓存文件夹， 并进行分片存 储， 如果文件分片已存在， 则仅把分片ID加入文件对象的分片列表； 如果文件分片未存在， 则把创建新的分片， 然后加入文件对象的分片列表。 其中， 文件对象不包括具体数据， 仅包 含文件信息， 文件对象可以包括： 文件名、 后缀、 创建事件、 最后修改事件、 权属人、 引用路 径、 文件大小、 分片步长、 分片列表、 文件状态、 引用计数等信息； 其中文件状态有： 未上传、 已上传、 已修改； 其中已修改。

40、指本地进行了修改， 修改后的文件和文件管理服务端存储的文 件不同需要提交或更新的状态。 0084 步骤3： 对待上传文件进行文件识别操作； 如果文件管理客户端已持有待上传文件 的文件分片， 则把引用计数加一并把分片ID加入文件对象的添加分片列表； 如果客户端代 理未持有， 则把分片存入本地缓存， 设置引用计数为1， 然后添加到分片列表； 0085 步骤4： 连接文件管理服务端， 发起上传请求； 0086 步骤5： 向文件管理服务端发送待上传文件的分片列表信息； 0087 其中， 文件管理客户端需要上传某个文件时， 会首先发送所有的分片ID， 文件管理 服务端会进行分片识别， 查看存在性并反馈给。

41、文件管理客户端。 文件管理服务端还可以为 需要实际上传的分片分配实际的存储节点， 并通知文件管理客户端进行上传。 0088 步骤6： 文件管理服务端反馈文件分片的存在性； 若已存在文件分片， 把引用计数 加一并把分片ID加入服务端文件对象的分片列表； 若未存在文件分片， 则分配存储节点， 与 客户端建立连接进行分片上传， 上传后把文件管理服务端内的分片引用计数设置为1并把 分片ID加入服务端文件对象的分片列表。 0089 其中， 文件管理服务端可以通过比较分片ID唯一识别分片， 来判定分片的存在性； 在文件上传过程中， 可以先创建多个线程、 多个连接和服务端进行通信， 以进行并发上传， 提升速。

42、率。 文件管理客户端可以首先发送分片ID给服务端， 如果服务端识别到目标分片已 存在， 则会通知客户端， 不进行实际上传。 0090 作为一种可行的实施方式， 在文件管理客户端从文件管理服务端下载文件后， 可 以进行文件导出， 具体过程为： 根据文件对象的分片列表信息， 用本地缓冲区中相应的分片 在目标路径组合、 创建成一个文件。 在文件下载过程中， 文件管理客户端可以创建多个线 程、 多个连接和服务端进行通信， 以进行并发下载， 提升速率； 服务端会可以发送分片ID给 客户端， 如果客户端识别到目标分片已存在， 则不进行实际下载。 0091 作为对于图1对应实施例的进一步介绍， 若接收到文件。

43、下载指令， 根据目标下载文 件的文件标识生成下载请求； 将所述下载请求发送至所述文件管理服务端， 以便所述文件 管理服务端根据所述文件标识查询所述目标下载文件对应的文件分片列表； 若接收到所述 文件管理服务端返回的所述目标下载文件对应的文件分片列表， 则将所述目标下载文件的 文件分片列表中的分片标识与本地分片标识库进行对比； 将本地分片标识库中不包括的分 片标识对应的文件分片设置为目标下载文件分片； 从所述文件管理服务端将所述目标下载 文件分片下载至本地缓存文件夹。 0092 上述实施方式描述了文件下载的过程， 根据文件管理服务端返回的目标下载文件 的文件分片列表可以确定， 本地中已下载的目标。

44、下载文件的文件分片， 以及未下载的目标 下载文件的文件分片， 仅将未下载的文件分片(即目标下载文件分片)从文件管理服务端进 说明书 7/11 页 11 CN 111708743 A 11 行下载， 避免了重复数据的下载， 提高了文件下载的效率。 0093 请参见图3， 图3为本申请实施例所提供的一种文件管理客户端向文件管理服务端 下载文件的原理示意图， 可以包括以下步骤： 0094 步骤1： 文件管理客户端发起下载， 首先发送下载请求； 0095 步骤2： 文件管理服务端进行文件识别， 读取并发送给文件管理客户端分片列表信 息； 0096 步骤3： 文件管理客户端确认分片存在性， 如果不存在，。

45、 发送信息给服务端， 确认要 下载， 继续步骤4； 如果已存在， 把引用计数加一并接添加到本地文件的文件列表种， 完成分 片下载； 0097 步骤4： 文件管理服务端分配相应的存储节点与客户端建立连接， 进行分片下载； 0098 其中， 文件管理客户端请求下载某个文件时， 根据分片列表中的分片ID通知相应 的存储节点设备与客户端建立连接， 进行文件分片下载； 0099 步骤5： 下载到本地缓存文件夹， 引用计数为1， 并添加到本地文件的文件列表中。 0100 作为一种可行的实施方式， 文件管理服务端可以保存所有文件对象信息， 不同的 文件对象可能持有同一个分片； 文件管理服务端可以根据所有存储。

46、节点的状态信息和性能 参数， 分配分片， 让文件的不同分片位于不同的存储节点， 有利于提升上传、 下载速率。 文件 管理服务端可以包括多个文件存储节点， 具体的请参见图4， 图4为本申请实施例所提供的 一种文件存储管理系统的结构示意图， 一个文件存储节点包含可以12台实际存储文件分 片的存储设备， 如果是2台可以实现主从备份； 如果只有一台服务端设备， 那么可以使文件 存储节点与文件管理服务端位于同一设备中。 0101 在图2和图3对应的实施例中， 如果出现文件分片需要修改的情况， 对于上传时的 文件管理服务端或下载时的文件管理客户端而言， 若文件分片的引用计数大于1， 则需把计 数减1， 并。

47、创建新的分片保存新数据； 如果引用计数为1， 则直接修改该分片。 如果是删除文 件， 引用计数大于1的， 只把文件分片的引用计数减1； 如果计数等于1， 则删除文件分片。 0102 本申请实施例还提供了一种文件管理客户端， 包括： 0103 文件确定模块， 用于接收文件上传指令， 并根据所述文件上传指令确定目标上传 文件； 0104 分片列表上传模块， 用于向文件管理服务端发送所述目标上传文件的文件分片列 表； 0105 分片设置模块， 用于接收所述文件管理服务端返回的分片存在性检测结果， 并根 据所述分片存在性检测结果将所述目标上传文件中未上传至所述文件管理服务端的文件 分片设置为目标上传文。

48、件分片； 0106 分片上传模块， 用于将所述目标上传文件分片上传至所述文件管理服务端。 0107 本实施例在接收到文件上传指令之后， 将包括目标上传文件的分片标识的文件分 片列表发送至文件管理服务端， 以便文件管理服务端返回文件分片的存在性检测结果。 根 据存在性监测结果可以确定文件管理服务端中不存在的目标上传文件的文件分片， 即目标 上传文件分片。 通过将目标上传文件分片上传至文件管理服务端， 可以实现仅将文件管理 服务端中不存在的文件分片进行上传， 避免了相同数据的重复上传， 提高数据管理效率。 0108 进一步的， 还包括： 说明书 8/11 页 12 CN 111708743 A 1。

49、2 0109 判断模块， 用于在所述向文件管理服务端发送所述目标上传文件的文件分片列表 之前， 判断本地文件分片列表库中是否包括所述目标上传文件的文件分片列表； 0110 列表获取模块， 用于若本地文件分片列表库中包括所述目标上传文件的文件分片 列表， 则获取所述目标上传文件的文件分片列表； 0111 列表构建模块， 用于若本地文件分片列表库中不包括所述目标上传文件的文件分 片列表， 则对所述目标上传文件执行文件分片操作得到多个文件分片， 根据所述文件分片 对应的文件内容计算每一所述文件分片的分片标识， 并构建包括所有所述分片标识的文件 分片列表。 0112 进一步的， 列表构建模块包括： 0。

50、113 标识计算单元， 用于根据所述文件分片对应的文件内容分别计算MD5值和SHA1值， 将每一所述文件分片的MD5值和SHA1值作为所述分片标识。 0114 进一步的， 所述文件管理服务端生成所述分片存在性检测结果的过程包括： 将所 述目标上传文件的文件分片列表中的分片标识与服务端分片标识库进行对比； 若所述服务 端分片标识库包括所述分片标识， 则生成第一比对结果； 若所述服务端分片标识库不包括 所述分片标识， 则生成第二比对结果； 0115 根据所述第一比对结果和/或所述第二比对结果生成所述分片存在性检测结果。 0116 进一步的， 还包括： 0117 引用次数设置模块， 用于在向文件管理。