数据预处理及下载方法、系统、计算机设备、可读存储介质.pdf

《数据预处理及下载方法、系统、计算机设备、可读存储介质.pdf》由会员分享，可在线阅读，更多相关《数据预处理及下载方法、系统、计算机设备、可读存储介质.pdf（8页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010200782.9 (22)申请日 2020.03.20 (71)申请人 杭州有赞科技有限公司 地址 310012 浙江省杭州市西湖区西溪路 698号6幢102室 (72)发明人 李遵源 (74)专利代理机构 杭州裕阳联合专利代理有限 公司 33289 代理人 姚宇吉 (51)Int.Cl. G06F 16/28(2019.01) G06F 16/21(2019.01) G06F 16/172(2019.01) H04L 29/08(2006.01) (54)发明名称 。

2、数据预处理及下载方法、 系统、 计算机设备、 可读存储介质 (57)摘要 本发明公开了一种数据预处理及下载方法， 涉及互联网技术领域， 包括如下步骤： 服务器加 载各个客 户端所需要的数据并生成相应的 sqlite数据库； 服务器对生成好的各sqlite数据 库压缩； 将压缩后的数据库文件上传到CDN中， 并 删除存放于服务器本地的sqlite数据库； 客户端 请求并获得压缩后的数据库文件， 下载并解压。 本发明所提供的方法降低客户端下载网络的消 耗， 减少下载的时间， 提升用户体验， 同时减缓服 务器实时处理数据的压力。 权利要求书2页 说明书4页 附图1页 CN 111427970 A 2。

3、020.07.17 CN 111427970 A 1.一种数据预处理及下载方法， 其特征在于， 所述数据预处理及下载方法包括如下步 骤： 服务器加载各个客户端所需要的数据， 基于不同客户端所需要的数据生成相应的数据 库； 服务器对生成好的各数据库分别进行压缩处理， 形成与数据库相对应的待用文件； 将所有待用文件上传到CDN中； 客户端在有数据需求时请求服务器的接口， 以获得相应的待用文件的CDN下载地址； 客户端下载待用文件并对待用文件进行解压。 2.根据权利要求1所述的数据预处理及下载方法， 其特征在于， 服务器生成数据库后， 开启数据库的WAL模式， 进行写入。 3.根据权利要求1所述的数。

4、据预处理及下载方法， 其特征在于， 已经生成过数据库的客 户端所需要的数据， 服务器沿用已经生成的数据库， 将所需要的数据增量写入已经生成的 数据库。 4.根据权利要求1所述的数据预处理及下载方法， 其特征在于， 服务器对各数据库执行 checkpoint后， 对生成好的各数据库分别进行7z压缩处理。 5.根据权利要求1所述的数据预处理及下载方法， 其特征在于， 将所有待用文件上传到 CDN以后， 删除存放于服务器本地的数据库。 6.根据权利要求1所述的数据预处理及下载方法， 其特征在于， 待用文件包括对应的数 据库的版本号， 客户端请求服务器的接口时附带对应的数据库的版本号， 服务器根据数据。

5、 库的版本号寻找对应的待用文件， 向客户端提供对应的待用文件的CDN下载链接。 7.根据权利要求1至6之一所述的数据预处理及下载方法， 其特征在于， 所述数据库为 sqlite数据库。 8.一种数据预处理及下载系统， 其特征在于， 所述数据预处理及下载系统包括服务器 子系统和客户端子系统， 所述服务器子系统包括： 加载模块， 用以加载各个客户端所需要的数据； 数据库生成模块， 用以基于不同客户端所需要的数据生成相应的数据库； 压缩模块， 用以对生成好的各数据库分别进行压缩处理， 形成与数据库相对应的待用 文件； 上传模块， 用以将所有待用文件上传到CDN中； 接口， 用以接收来自客户端的请求；。

6、 客户端子系统包括： 请求模块， 用以在有数据需求时请求服务器的接口， 以获得相应的待用文件的CDN下载 地址； 下载模块， 用以下载待用文件； 解压模块， 用以对待用文件进行解压。 9.根据权利要求8所述的数据预处理及下载系统， 其特征在于， 数据库生成模块生成数 据库后， 开启数据库的WAL模式， 进行写入。 10.根据权利要求8所述的数据预处理及下载系统， 其特征在于， 对于已经生成过数据 权利要求书 1/2 页 2 CN 111427970 A 2 库的客户端所需要的数据， 数据库生成模块沿用已经生成的数据库， 将所需要的数据增量 写入已经生成的数据库。 11.根据权利要求8所述的数据。

7、预处理及下载系统， 其特征在于， 压缩模块对各数据库 执行checkpoint后， 对生成好的各数据库分别进行7z压缩处理。 12.根据权利要求8所述的数据预处理及下载系统， 其特征在于， 上传模块将所有待用 文件上传到CDN以后， 删除存放于服务器本地的数据库。 13.根据权利要求8所述的数据预处理及下载系统， 其特征在于， 待用文件包括对应的 数据库的版本号， 请求模块请求服务器的接口时附带对应的数据库的版本号， 服务器根据 数据库的版本号寻找对应的待用文件， 向客户端提供对应的待用文件的CDN下载链接。 14.根据权利要求8至13之一所述的数据预处理及下载方法， 其特征在于， 所述数据库。

8、 生成模块生成的数据库为sqlite数据库。 15.一种计算机设备， 包括存储器和处理器， 所述存储器存储有计算机程序， 其特征在 于， 所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法。 16.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现权利要求1至8中任一项所述的方法。 权利要求书 2/2 页 3 CN 111427970 A 3 数据预处理及下载方法、 系统、 计算机设备、 可读存储介质 【技术领域】 0001 本发明涉及互联网技术领域， 具体涉及一种数据预处理及下载方法、 系统、 计算机 设备、 可读存储介质。 【。

9、背景技术】 0002 现有技术中， 客户端， 包括苹果手机/平板、 安卓手机/平板、 windows应用程序， 为 了提升使用体验， 在一些场景下， 比如网络数据不需要很实时的情况下， 去掉网络的请求， 以加快页面的展示。 这通常需要提前循环请求接口， 针对数据进行格式转换， 最后存在本地 数据库中， 当数据拉取接口完毕后， 打开页面只需要读取数据库中的内容即可。 但是， 现有 技术所采用的的方法具有如下缺陷： 0003 在数据量非常大的时候， 会有很长的等待时间， 不仅浪费网络的流量也降低用户 的体验； 依赖于服务器的性能， 在流量高峰期， 服务器性能会有所下降， 这时候拉取的接口 将会更加。

10、的慢。 【发明内容】 0004 为解决前述问题， 本发明提供了一种数据预处理及下载方法， 降低客户端下载网 络的消耗， 减少下载的时间， 提升用户体验， 同时减缓服务器实时处理数据的压力。 0005 为了达到上述目的， 本发明采用如下技术方案： 0006 一种数据预处理及下载方法， 包括如下步骤： 0007 服务器加载各个客户端所需要的数据， 基于不同客户端所需要的数据生成相应的 数据库； 0008 服务器对生成好的各数据库分别进行压缩处理， 形成与数据库相对应的待用文 件； 0009 将所有待用文件上传到CDN中； 0010 客户端在有数据需求时请求服务器的接口， 以获得相应的待用文件的CD。

11、N下载地 址； 0011 客户端下载待用文件并对待用文件进行解压。 0012 可选的， 服务器生成数据库后， 开启数据库的WAL模式， 进行写入。 0013 可选的， 已经生成过数据库的客户端所需要的数据， 服务器沿用已经生成的数据 库， 将所需要的数据增量写入已经生成的数据库。 0014 可选的， 服务器对各数据库执行checkpoint后， 对生成好的各数据库分别进行7z 压缩处理。 0015 可选的， 将所有待用文件上传到CDN以后， 删除存放于服务器本地的数据库。 0016 可选的， 待用文件包括对应的数据库的版本号， 客户端请求服务器的接口时附带 对应的数据库的版本号， 服务器根据数。

12、据库的版本号寻找对应的待用文件， 向客户端提供 对应的待用文件的CDN下载链接。 说明书 1/4 页 4 CN 111427970 A 4 0017 可选的， 所述数据库为sqlite数据库。 0018 本发明所提供的方法具有如下有益效果： 0019 1.节省客户端的流量： 采用本发明所提供的方法下载数据时用户使用App所需要 的流量， 与采用现有技术下载数据时用户使用App所需要的流量二者相比显著减少； 0020 2.节省服务器的压力： 采用本发明所提供的方法， 因为数据提前准备好并缓存在 CDN中， 所以几乎不需要经过服务器来获取数据。 0021 3.降低数据库的损坏率： 现有技术在客户端。

13、生成数据库时， 会经常因断电或者App 进程被中止而导致数据库损坏率较高， 采用本发明所提供的方法， 因为客户端下载了服务 器生成的sqlite数据库， 所以数据库的损坏率也得到改善。 0022 此外， 本发明还提供了一种数据预处理及下载系统， 包括服务器子系统和客户端 子系统， 0023 所述服务器子系统包括： 0024 加载模块， 用以加载各个客户端所需要的数据； 0025 数据库生成模块， 用以基于不同客户端所需要的数据生成相应的数据库； 0026 压缩模块， 用以对生成好的各数据库分别进行压缩处理， 形成与数据库相对应的 待用文件； 0027 上传模块， 用以将所有待用文件上传到CDN。

14、中； 0028 接口， 用以接收来自客户端的请求 0029 客户端子系统包括： 0030 请求模块， 用以在有数据需求时请求服务器的接口， 以获得相应的待用文件的CDN 下载地址； 0031 下载模块， 用以下载待用文件； 0032 解压模块， 用以对待用文件进行解压。 0033 可选的， 生成数据库后， 开启数据库的WAL模式， 进行写入。 0034 可选的， 对于已经生成过数据库的客户端所需要的数据， 数据库生成模块沿用已 经生成的数据库， 将所需要的数据增量写入已经生成的数据库。 0035 可选的， 压缩模块对各数据库执行checkpoint后， 对生成好的各数据库分别进行 7z压缩处理。

15、。 0036 可选的， 上传模块将所有待用文件上传到CDN以后， 删除存放于服务器本地的数据 库。 0037 可选的， 待用文件包括对应的数据库的版本号， 请求模块请求服务器的接口时附 带对应的数据库的版本号， 服务器根据数据库的版本号寻找对应的待用文件， 向客户端提 供对应的待用文件的CDN下载链接。 0038 可选的， 所述数据库生成模块生成的数据库为sqlite数据库。 0039 本发明所提供的数据预处理及下载系统的有益效果与前述数据预处理及下载方 法的有益效果推理过程相似， 在此不再赘述。 0040 同时， 本发明还提供了一种计算机设备， 包括存储器和处理器， 所述存储器存储有 计算机。

16、程序， 所述处理器执行所述计算机程序时实现上述任一项所述的方法。 0041 同时， 本发明还提供了一种计算机可读存储介质， 其上存储有计算机程序， 所述计 说明书 2/4 页 5 CN 111427970 A 5 算机程序被处理器执行时实现上述任一项所述的方法。 0042 本发明的这些特点和优点将会在下面的具体实施方式以及附图中进行详细的揭 露。 本发明最佳的实施方式或手段将结合附图来详尽表现， 但并非是对本发明技术方案的 限制。 另外， 在每个下文和附图中出现的这些特征、 要素和组件是具有多个， 并且为了表示 方便而标记了不同的符号或数字， 但均表示相同或相似构造或功能的部件。 【附图说明】。

17、 0043 下面结合附图对本发明作进一步说明： 0044 图1为本发明实施例一的流程图。 【具体实施方式】 0045 下面结合本发明实施例的附图对本发明实施例的技术方案进行解释和说明， 但下 述实施例仅为本发明的优选实施例， 并非全部。 基于实施方式中的实施例， 本领域技术人员 在没有做出创造性劳动的前提下所获得其他实施例， 都属于本发明的保护范围。 0046 在本说明书中引用的 “一个实施例” 或 “实例” 或 “例子” 意指结合实施例本身描述 的特定特征、 结构或特性可被包括在本专利公开的至少一个实施例中。 短语 “在一个实施例 中” 在说明书中的各位置的出现不必都是指同一个实施例。 00。

18、47 实施例一： 0048 如图1所示， 本实施例提供了一种数据预处理及下载方法， 在服务器提前生成好客 户端需要使用的sqlite数据库并删减掉一些不必要的数据， 进行压缩后最终上传到CDN， 即 Content Delivery Network内容分发网络中。 客户端通过访问服务器接口来获取CDN地址， 进行下载操作。 下载完的数据进行解压即为本地所需要的数据库。 具体包括如下步骤： 0049 服务器加载各个客户端所需要的数据， 基于不同客户端所需要的数据， 生成相应 的sqlite数据库， 开启sqlite数据库的WAL模式， 进行写入， 以使数据写入更快， 然后在写入 时处理好事务， 。

19、即访问并可能更新数据库中各种数据项的一个程序执行单元。 同时， 还能防 止写入不正确的数据。 对于已经生成过sqlite数据库的客户端所需要的数据， 服务器沿用 已经生成的sqlite数据库， 将所需要的数据增量写入已经生成的sqlite数据库； 0050 因为WAL机制导致sqlite数据库文件非常大， 因此， 服务器对各数据库执行 checkpoint后， 对生成好的各sqlite数据库分别进行7z压缩处理， 以减少文件的尺寸， 形成 与sqlite数据库相对应的待用文件。 因为生成的sqlite数据库内容基本为原始文本， 所以 压缩率非常高， 进行压缩后的文件会变得非常小， 因此， 下载。

20、数据时用户使用App所需要的 流量， 与采用现有技术下载数据时用户使用App所需要的流量二者相比显著减少。 待用文件 包括对应的sqlite数据库的版本号； 0051 将所有待用文件上传到CDN中， 并删除存放于服务器本地的sqlite数据库。 因为数 据提前准备好并缓存在CDN中， 所以几乎不需要经过服务器来获取数据； 0052 客户端在有数据需求时请求服务器的接口， 附带对应的sqlite数据库的版本号， 服务器根据sqlite数据库的版本号寻找对应的待用文件， 向客户端提供对应的待用文件的 CDN下载链接， 供客户端获取； 0053 客户端下载待用文件并对待用文件进行解压。 现有技术在客。

21、户端生成数据库时， 说明书 3/4 页 6 CN 111427970 A 6 会经常因断电或者App进程被中止而导致数据库损坏率较高， 采用本实施例所提供的方法， 因为客户端下载了服务器生成的sqlite数据库， 所以数据库的损坏率也得到改善。 0054 实施例二 0055 本实施例提供一种数据预处理及下载系统， 用以实现实施例一所述的数据预处理 及下载方法， 包括服务器子系统和客户端子系统， 0056 服务器子系统包括： 0057 加载模块， 用以加载各个客户端所需要的数据； 0058 数据库生成模块， 用以基于不同客户端所需要的数据生成相应的sqlite数据库， 开启sqlite数据库的W。

22、AL模式， 进行写入。 对于已经生成过数据库的客户端所需要的数据， 数据库生成模块沿用已经生成的数据库， 将所需要的数据增量写入已经生成的数据库； 0059 压缩模块， 用以对各数据库执行checkpoint后， 对生成好的各数据库分别进行7z 压缩处理， 形成与数据库相对应的待用文件； 0060 上传模块， 用以将所有待用文件上传到CDN中。 完成上传以后， 删除存放于服务器 本地的数据库； 0061 接口， 用以接收来自客户端的请求； 0062 客户端子系统包括： 0063 请求模块， 用以在有数据需求时请求服务器的接口， 以获得相应的待用文件的CDN 下载地址， 待用文件包括对应的数据库。

23、的版本号， 请求模块请求服务器的接口时附带对应 的数据库的版本号， 服务器根据数据库的版本号寻找对应的待用文件， 向客户端提供对应 的待用文件的CDN下载链接； 0064 下载模块， 用以下载待用文件； 0065 解压模块， 用以对待用文件进行解压。 0066 实施例三 0067 本实施例提供了一种计算机设备， 包括存储器和处理器， 存储器中存储有计算机 程序， 该处理器执行计算机程序时实现上述任意实施例中的方法。 本领域普通技术人员可 以理解， 实现上述实施例方法中的全部或部分流程， 是可以通过计算机程序来指令相关的 硬件来完成。 据此， 所述的计算机程序可存储于一非易失性计算机可读取存储介。

24、质中， 该计 算机程序在执行时， 可实现上述任意一项实施例所述的方法。 其中， 本申请所提供的各实施 例中所使用的对存储器、 存储、 数据库或其它介质的任何引用， 均可包括非易失性和/或易 失性存储器。 非易失性存储器可包括只读存储器(ROM)、 可编程ROM(PROM)、 电可编程ROM (EPROM)、 电可擦除可编程ROM(EEPROM)或闪存。 易失性存储器可包括随机存取存储器(RAM) 或者外部高速缓冲存储器。 作为说明而非局限， RAM以多种形式可得， 诸如静态RAM(SRAM)、 动态RAM(DRAM)、 同步DRAM(SDRAM)、 双数据率SDRAM(DDRSDRAM)、 增。

25、强型SDRAM(ESDRAM)、 同 步链路(Synchlink)DRAM(SLDRAM)、 存储器总线(Rambus)直接RAM(RDRAM)、 直接存储器总线 动态RAM(DRDRAM)以及存储器总线动态RAM(RDRAM)等。 0068 以上， 仅为本发明的具体实施方式， 但本发明的保护范围并不局限于此， 熟悉该本 领域的技术人员应该明白本发明包括但不限于附图和上面具体实施方式中描述的内容。 任 何不偏离本发明的功能和结构原理的修改都将包括在权利要求书的范围中。 说明书 4/4 页 7 CN 111427970 A 7 图1 说明书附图 1/1 页 8 CN 111427970 A 8 。