多源异构数据源融合计算方法、系统、设备和存储介质.pdf

《多源异构数据源融合计算方法、系统、设备和存储介质.pdf》由会员分享，可在线阅读，更多相关《多源异构数据源融合计算方法、系统、设备和存储介质.pdf（10页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201911278206.X (22)申请日 2019.12.11 (71)申请人 杭州趣链科技有限公司 地址 310051 浙江省杭州市滨江区丹枫路 399号2号楼A楼2001室 (72)发明人 邱炜伟尹可挺匡立中李伟 孙飞宇 (51)Int.Cl. G06F 16/901(2019.01) G06F 16/906(2019.01) G06F 9/455(2006.01) (54)发明名称 多源异构数据源融合计算方法、 系统、 设备 和存储介质 (57)摘要 本发明提供一种多源。

2、异构数据源融合计算 方法、 系统、 设备和存储介质， 包括： 接收第一用 户终端发送的数据请求信息， 其中， 所述数据请 求信息为第一用户终端提供的可编程范式； 根据 所述可编程范式生成对应的虚拟机的应用； 虚拟 机根据所述令牌生成所述虚拟机可识别的第一 脚本， 通过所述第一脚本获取第一数据集， 并将 所述第一数据集转化为所述计算平台可识别的 第二数据集； 将所述第二数据集转化为所述第一 用户终端可识别的第三数据集。 本发明通过计算 平台的虚拟机执行计算融合操作， 可以节省异构 数据源转为同构数据是带来的空间问题， 同时还 能够保留异构数据源自身的特性， 消除用户对不 同数据源的差异感知， 无。

3、差别的操作不同数据源 达到融合计算。 权利要求书1页 说明书5页 附图3页 CN 111046245 A 2020.04.21 CN 111046245 A 1.一种多源异构数据源融合计算方法， 其特征在于， 包括： 接收第一用户终端发送的数据请求信息， 其中， 所述数据请求信息为第一用户终端提 供的可编程范式； 根据所述可编程范式生成对应的虚拟机的应用， 验证所述可编程范式的形式是否正 确， 是， 则将所述数据请求信息发送至第二用户终端以供所述第二用户终端检查数据请求 内容通过后发送令牌至计算平台； 虚拟机根据所述令牌生成所述虚拟机可识别的第一脚本， 通过所述第一脚本获取第一 数据集， 并将。

4、所述第一数据集转化为所述计算平台可识别的第二数据集； 将所述第二数据集转化为所述第一用户终端可识别的第三数据集。 2.根据权力要求1所述的方法， 其特征在于， 将所述数据请求信息发送至第二用户终端 以供所述第二用户终端检查数据请求内容通过后发送令牌至计算平台时还包括： 将检查数据请求信息通过的结果反馈至第一用户终端。 3.根据权利要求1所述的方法， 其特征在于， 所述第一用户终端可识别的第三数据集的 格式记录在所述可编程范式中。 4.根据权利要求1所述的方法， 其特征在于， 所述第一用户终端可识别的第三数据集的 格式在计算平台收到所述令牌后向所述第一用户终端发送询问信息获取。 5.根据权利要求。

5、2所述的方法， 其特征在于， 所述第一用户终端收到第二用户终端发送 的检查通过的结果后， 在设定的时间内发送第一用户终端所需要的数据格式以供所述计算 平台转化成所述数据格式， 若超出设定的时间计算平台未收到所述数据格式则计算平台将 默认第三数据集的格式为第一用户终端注册时的格式， 其中， 所述将默认第三数据集的格 式在第一用户终端在计算平台上注册的时候有所记录。 6.一种多源异构数据源融合计算系统， 包括： 数据源访问单元和数据源响应结果处理 单元。 其中， 数据源访问单元用于根据第一用户终端提供的可编程范式， 生成对应的虚拟机的应 用， 然后通过第一用户终端选择的若干数据源行为， 虚拟机根据。

6、各所述数据源行为对应的 各行为准则生成各对应数据源的执行程序， 以访问各对应的数据源。 数据源处理单元用于接收各数据源的响应结果， 并根据所述响应结果执行对应的操 作。 7.一种设备， 其特征在于， 所述设备包括： 一个或多个处理器； 存储器， 用于存储一个或多个程序， 当所述一个或多个程序被所述一个或多个处理器执行时， 使得所述一个或多个处理器 执行如权利要求1-4中任一项所述的方法。 8.一种存储有计算机程序的存储介质， 其特征在于， 该程序被处理器执行时实现如权 利要求1-4中任一项所述的方法。 权利要求书 1/1 页 2 CN 111046245 A 2 多源异构数据源融合计算方法、 。

7、系统、 设备和存储介质 技术领域 0001 本申请涉及信息技术领域， 具体涉及一种多源异构数据源融合计算方法、 系统、 设 备和存储介质。 背景技术 0002 在计算机信息技术中经常涉及到向异构数据源中获取相关数据的场景， 现有技术 中， 通常是将需要请求的数据先获取过来， 然后遍历该数据并按照自己的格式重新构建改 数据。 由于不同数据源的结构不同， 导致数据重构的过程中数据格式会重新设计。 这种处理 的方式一方面浪费时间和存储空间， 另一方面转化的时候会丢失原有数据的特性， 且同化 过程较为繁琐， 很容易出现数据错误， 如果向保留原有特性则需要重新设计数据结构， 一方 面比较耗时， 另一方面。

8、会带来大量的数据存储冗余。 发明内容 0003 鉴于现有技术中的上述缺陷或不足， 期望提供一种节省时间和空间且保持数据特 性完整的多源异构数据源融合计算方法、 系统、 设备和存储介质。 0004 第一方面， 本发明提供一种多源异构数据源融合计算方法， 包括： 0005 接收第一用户终端发送的数据请求信息， 其中， 所述数据请求信息为第一用户终 端提供的可编程范式； 0006 根据所述可编程范式生成对应的虚拟机的应用， 验证所述可编程范式的形式是否 正确， 是， 则将所述数据请求信息发送至第二用户终端以供所述第二用户终端检查数据请 求内容通过后发送令牌至计算平台； 0007 虚拟机根据所述令牌生。

9、成所述虚拟机可识别的第一脚本， 通过所述第一脚本获取 第一数据集， 并将所述第一数据集转化为所述计算平台可识别的第二数据集； 0008 将所述第二数据集转化为所述第一用户终端可识别的第三数据集。 0009 进一步， 将所述数据请求信息发送至第二用户终端以供所述第二用户终端检查数 据请求内容通过后发送令牌至计算平台时还包括： 0010 将检查数据请求信息通过的结果反馈至第一用户终端。 0011 进一步， 所述第一用户终端可识别的第三数据集的格式记录在所述可编程范式 中。 0012 进一步， 所述第一用户终端可识别的第三数据集的格式在计算平台收到所述令牌 后向所述第一用户终端发送询问信息获取。 0。

10、013 进一步， 所述第一用户终端收到第二用户终端发送的检查通过的结果后， 在设定 的时间内发送第一用户终端所需要的数据格式以供所述计算平台转化成所述数据格式， 若 超出设定的时间计算平台未收到所述数据格式则计算平台将默认第三数据集的格式为第 一用户终端注册时的格式， 其中， 所述将默认第三数据集的格式在第一用户终端在计算平 台上注册的时候有所记录 说明书 1/5 页 3 CN 111046245 A 3 0014 第二方面， 本发明提供一种多源异构数据源融合计算系统， 包括： 0015 数据源访问单元和数据源处理单元。 其中， 0016 数据源访问单元用于根据第一用户终端提供的可编程范式， 。

11、生成对应的虚拟机应 用， 然后通过第一用户终端选择的若干数据源行为， 虚拟机根据各所述数据源行为对应的 各行为准则生成各对应数据源的执行程序， 以访问各对应的数据源。 0017 数据源处理单元用于接收各数据源的响应结果， 并根据所述响应结果执行对应的 操作。 0018 第三方面， 本发明还提供一种设备， 包括一个或多个处理器和存储器， 其中存储器 包含可由该一个或多个处理器执行的指令以使得该一个或多个处理器执行根据本发明各 实施例提供的多源异构数据源融合计算方法。 0019 第四方面， 本发明还提供一种存储有计算机程序的存储介质， 该计算机程序使计 算机执行根据本发明各实施例提供的多源异构数据。

12、源融合计算方法。 0020 本发明的有益效果： 0021 本发明可以节省异构数据源转为同构数据是带来的空间问题， 并大量节省了工作 时间， 同时还能够保留异构数据源自身的特性， 消除用户对不同数据源的差异感知， 无差别 的操作不同数据源达到融合计算。 附图说明 0022 通过阅读参照以下附图所作的对非限制性实施例所作的详细描述， 本申请的其它 特征、 目的和优点将会变得更明显： 0023 图1为本发明一实施例提供的一种多源异构数据源融合计算方法的场景示意图。 0024 图2为本发明一实施例提供的一种多源异构数据源融合计算方法的流程图。 0025 图3为本发明提供的另一种优选实施方式的流程图。 。

13、0026 图4为本发明提供的一种多源异构数据源融合计算系统。 0027 图5为本发明一实施例提供的一种设备的结构示意图。 具体实施方式 0028 下面结合附图和实施例对本申请作进一步的详细说明。 可以理解的是， 此处所描 述的具体实施例仅仅用于解释相关发明， 而非对该发明的限定。 另外还需要说明的是， 为了 便于描述， 附图中仅示出了与发明相关的部分。 0029 需要说明的是， 在不冲突的情况下， 本申请中的实施例及实施例中的特征可以相 互组合。 下面将参考附图并结合实施例来详细说明本申请。 0030 图1为本发明一实施例提供的一种一种多源异构数据源融合计算方法的场景示意 图。 各异构数据源在。

14、计算平台上注册信息， 计算平台根据注册信息存储各异构数据源的相 关信息， 如各数据源的语言类型等。 0031 图2为本发明一实施例提供的一种多源异构数据源融合计算方法的流程图。 如图2 所示， 在本实施例中， 本发明提供一种多源异构数据源融合计算方法， 包括： 0032 S11、 接收第一用户终端发送的数据请求信息， 其中， 所述数据请求信息为第一用 户终端提供的可编程范式； 说明书 2/5 页 4 CN 111046245 A 4 0033 S12、 根据所述可编程范式生成对应的虚拟机的应用， 验证所述可编程范式的形式 是否正确， 是， 则将所述数据请求信息发送至第二用户终端以供所述第二用户。

15、终端检查数 据请求内容通过后发送令牌至计算平台； 0034 S13、 虚拟机根据所述令牌生成所述虚拟机可识别的第一脚本， 通过所述第一脚本 获取第一数据集， 并将所述第一数据集转化为所述计算平台可识别的第二数据集； 0035 S14、 将所述第二数据集转化为所述第一用户终端可识别的第三数据集。 0036 具体地， 结合图1所示的场景为例， 第一用户终端发送数据请求信息m1， 该数据请 求信息为可编程范式， 计算平台收到该数据请求信息m1后， 获取可编程范式(如host s,ports,databases,users,passwords)， 根据可编程范式生 成对应的虚拟机的应用， 虚拟机验证可。

16、编程范式的形式是否正确， 比如验证第一用户终端 提供的可编程范式的格式是否正确， 验证请求数据源的格式是否正确， 如果相同， 则将该请 求信息发送至第二用户终端， 第二用户终端验证可编程范式中涉及的本数据源的内容是否 正确或者是否可以提供欲请求的数据， 若是， 则发送令牌至计算平台， 计算平台根据令牌生 成虚拟机可以识别的第一脚本语言， 并通过第一脚本语言获取第二用户终端的第一数据 集， 虚拟机将第一数据集转化为计算平台可识别的第二数据集， 最后将第二数据集转化为 第一用户终端的第三数据集。 0037 更多的， 请求的数据源终端， 即第二用户终端可以为一个， 也可以为两个及以上。 0038 在。

17、更多实施例中， 步骤S12中， 将所述数据请求信息发送至第二用户终端以供所述 第二用户终端检查数据请求内容通过后发送令牌至计算平台的同时还将请求通过的信息 反馈至第一用户终端。 0039 具体地， 在第二用户终端检查数据请求内容通过后， 一方面向计算平台发送令牌， 另一方面将通过的消息发送给第一用户终端以供第一用户终端知晓。 0040 进一步优选地， 第三数据集的格式也可以放在可编程范式中， 待计算平台根据第 一脚本语言获取到数据源以后， 将第二数据集可以直接转化为第一用户终端需要的第三数 据集， 然后发送至第一用户终端。 0041 在另一优选实施例中， 第三数据集的格式也可以不放在可编程范式。

18、中， 计算平台 在收到第二用户终端发送的令牌后， 向第一用户终端发送询问消息， 以获取第一用户终端 所需要的第三数据集格式， 那么计算平台最后发送的第三数据集的格式则以最新获取的格 式为主。 更多的， 如果在超过设定的时间内没有收到第一用户终端发送的第三数据集格式， 则计算平台将默认为第一用户终端注册时的数据源格式。 0042 图3为本发明提供的另一种优选实施方式的流程图。 如图3所示， 在本实施例中， 当 第二用户终端为多个， 即： 第一用户A想要获取第二用户B和第二用户C的数据， 融合计算的 方法与图2相似， 区别仅在于： 可编程范式f2中包含第二用户B的数据模块B和第二用户C的 数据模块。

19、C， 计算平台在验证可编程范式的格式正确后， 分别将数据模块B和数据模块C发送 至第二用户B和第二用户C， 收到第二用户B和第二用户C返回的令牌B和令牌C后， 生成第二 脚本， 并根据第二脚本获取第二用户B和第二用户C的数据的数据源， 后续方法与图2所示方 法原理相同， 此处不再赘述。 0043 本发明所示的方法除了应用在数据获取的应用场景中， 还可以应用在数据分析场 景中， 如除了是由第一用户A发送数据获取请求信息最后收到需要的数据源， 还可以是根据 说明书 3/5 页 5 CN 111046245 A 5 这些获取的数据结合自己的数据进行分析， 这时， 只需要从A中也获取对应的数据源后， 。

20、就 可以通过虚拟机进行融合计算。 0044 图4为本发明提供的一种多源异构数据源融合计算系统。 如图4所示， 在本实施例 中， 一种多源异构数据源融合计算系统， 包括： 0045 数据源访问单元和数据源处理单元。 其中， 0046 数据源访问单元用于根据第一用户终端提供的可编程范式， 生成对应的虚拟机的 应用， 然后通过第一用户终端选择的若干数据源行为， 虚拟机根据各所述数据源行为对应 的各行为准则生成各对应数据源的执行程序， 以访问各对应的数据源。 0047 数据源处理单元用于接收各数据源的响应结果， 并根据所述响应结果执行对应的 操作。 0048 具体地， 该系统所执行地融合计算方法与图2。

21、图3所示方法一致， 此处不再赘述。 0049 如图5为本发明一实施例提供的一种设备的结构示意图。 0050 如图5所示， 作为另一方面， 本申请还提供了一种设备500， 包括一个或多个中央处 理单元(CPU)501， 其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加 载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。 在RAM503中， 还存 储有设备500操作所需的各种程序和数据。 CPU501、 ROM502以及RAM503通过总线504彼此相 连。 输入/输出(I/O)接口505也连接至总线504。 0051 以下部件连接至I/O接口505： 。

22、包括键盘、 鼠标等的输入部分506； 包括诸如阴极射 线管(CRT)、 液晶显示器(LCD)等以及扬声器等的输出部分507； 包括硬盘等的存储部分508； 以及包括诸如LAN卡、 调制解调器等的网络接口卡的通信部分509。 通信部分509经由诸如因 特网的网络执行通信处理。 驱动器510也根据需要连接至I/O接口505。 可拆卸介质511， 诸如 磁盘、 光盘、 磁光盘、 半导体存储器等等， 根据需要安装在驱动器510上， 以便于从其上读出 的计算机程序根据需要被安装入存储部分508。 0052 特别地， 根据本公开的实施例， 上述任一实施例描述的多源异构数据源融合计算 方法可以被实现为计算机。

23、软件程序。 例如， 本公开的实施例包括一种计算机程序产品， 其包 括有形地包含在机器可读介质上的计算机程序， 所述计算机程序包含用于执行多源异构数 据源融合计算方法的程序代码。 在这样的实施例中， 该计算机程序可以通过通信部分509从 网络上被下载和安装， 和/或从可拆卸介质511被安装。 0053 作为又一方面， 本申请还提供了一种计算机可读存储介质， 该计算机可读存储介 质可以是上述实施例的装置中所包含的计算机可读存储介质； 也可以是单独存在， 未装配 入设备中的计算机可读存储介质。 计算机可读存储介质存储有一个或者一个以上程序， 该 程序被一个或者一个以上的处理器用来执行描述于本申请的多。

24、源异构数据源融合计算方 法。 0054 附图中的流程图和框图， 图示了按照本发明各种实施例的系统、 方法和计算机程 序产品的可能实现的体系架构、 功能和操作。 在这点上， 流程图或框图中的每个方框可以代 表一个模块、 程序段、 或代码的一部分， 该模块、 程序段、 或代码的一部分包含一个或多个用 于实现规定的逻辑功能的可执行指令。 也应当注意， 在有些作为替换的实现中， 方框中所标 注的功能也可以以不同于附图中所标注的顺序发生。 例如， 两个接连地表示的方框实际上 可以基本并行地执行， 它们有时也可以按相反的顺序执行， 这根据所涉及的功能而定。 也要 说明书 4/5 页 6 CN 111046。

25、245 A 6 注意的是， 框图和/或流程图中的每个方框、 以及框图和/或流程图中的方框的组合， 可以通 过执行规定的功能或操作的专用的基于硬件的系统来实现， 或者可以通过专用硬件与计算 机指令的组合来实现。 0055 描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现， 也可以 通过硬件的方式来实现。 所描述的单元或模块也可以设置在处理器中， 例如， 各所述单元可 以是设置在计算机或移动智能设备中的软件程序， 也可以是单独配置的硬件装置。 其中， 这 些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。 0056 以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。 本领域技术人 员应当理解， 本申请中所涉及的发明范围， 并不限于上述技术特征的特定组合而成的技术 方案， 同时也应涵盖在不脱离本申请构思的情况下， 由上述技术特征或其等同特征进行任 意组合而形成的其它技术方案。 例如上述特征与本申请中公开的(但不限于)具有类似功能 的技术特征进行互相替换而形成的技术方案。 说明书 5/5 页 7 CN 111046245 A 7 图1 图2 说明书附图 1/3 页 8 CN 111046245 A 8 图3 图4 说明书附图 2/3 页 9 CN 111046245 A 9 图5 说明书附图 3/3 页 10 CN 111046245 A 10 。