数据处理的系统、方法及存储介质.pdf

上传人:n****g 文档编号:9229803 上传时间:2021-05-11 格式:PDF 页数:21 大小:792.99KB
收藏 版权申诉 举报 下载
数据处理的系统、方法及存储介质.pdf_第1页
第1页 / 共21页
数据处理的系统、方法及存储介质.pdf_第2页
第2页 / 共21页
数据处理的系统、方法及存储介质.pdf_第3页
第3页 / 共21页
文档描述:

《数据处理的系统、方法及存储介质.pdf》由会员分享,可在线阅读,更多相关《数据处理的系统、方法及存储介质.pdf(21页完成版)》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010119571.2 (22)申请日 2020.02.26 (71)申请人 中国平安人寿保险股份有限公司 地址 518000 广东省深圳市福田区益田路 5033号平安金融中心14、 15、 16、 37、 41、 44、 45、 46层 (72)发明人 赖金 (74)专利代理机构 广州三环专利商标代理有限 公司 44202 代理人 熊永强彭程 (51)Int.Cl. G06F 16/9536(2019.01) G06F 16/9535(2019.01) G06Q 50/0。

2、0(2012.01) (54)发明名称 数据处理的系统、 方法及存储介质 (57)摘要 本申请实施例公开了一种数据处理的系统、 方法及存储介质, 所述系统包括: 多端数据汇总 模块、 数据模块、 总线管道、 核心模块和业务分离 模块, 本系统采用多个模块对原数据进行处理, 并且, 通过优先处理主要逻辑数据, 其次, 对次要 逻辑数据进行分类为本地处理事件和远程处理 事件, 实现了主要逻辑数据与次要逻辑数据的解 耦, 降低了数据间的耦合性, 有利于提高系统的 稳定性。 权利要求书3页 说明书12页 附图5页 CN 111414553 A 2020.07.14 CN 111414553 A 1.一。

3、种数据处理系统, 其特征在于, 所述系统包括: 多端数据汇总模块、 数据模块、 总线 管道、 核心模块和业务分离模块; 其中, 所述多端数据汇总模块, 用于接收原数据, 将所述原数据发送至所述数据模块, 所述原 数据包括以下至少两种: 第三方系统数据、 本地系统数据和客户端数据; 所述数据模块, 用于对所述原数据进行数据组装, 得到第一数据, 所述第一数据包括以 下至少一种: 基础数据、 业务数据和事件数据; 所述总线管道, 用于传输所述第一数据至所述核心模块; 所述核心模块, 用于对所述第一数据进行数据过滤, 得到次要逻辑数据和主要逻辑数 据; 所述业务分离模块, 用于对所述次要逻辑数据进行。

4、数据转化, 得到至少一个订阅事件, 若所述至少一个订阅事件中至少一个目标订阅事件被监听到, 则对所述至少一个目标订阅 事件进行事件分类, 得到远程处理事件和本地处理事件, 调用本地handle, 通过所述本地 handle处理所述本地处理事件, 调用远程handle, 通过所述远程handle处理所述远程处理 事件; 所述总线管道, 还用于监听所述至少一个订阅事件, 传输所述远程处理事件至第三方 系统, 推送所述本地处理事件到本地系统。 2.根据权利要求1所述的系统, 其特征在于, 所述业务分离模块包括本地处理单元、 远 程处理单元、 事件选择单元和模型转化单元, 其中, 所述转化单元, 用于。

5、对所述次要逻辑数据进行数据转化, 得到所述至少一个订阅事件; 所述事件选择单元模型, 用于对所述至少一个目标订阅事件进行事件分类, 得到所述 远程处理事件和所述本地处理事件; 所述本地处理单元, 用于调用所述本地handle, 通过所述本地handle处理所述本地处 理事件; 所述远程处理单元, 用于调用所述远程handle, 通过所述远程handle处理所述远程处 理事件。 3.根据权利要求1所述的系统, 其特征在于, 所述核心模块包括数据过滤单元和核心业 务单元, 其中, 所述数据过滤器, 用于对所述第一数据进行数据过滤, 得到所述次要逻辑数据和所述 主要逻辑数据; 所述核心业务单元, 用。

6、于处理所述主要逻辑数据。 4.一种数据处理方法, 其特征在于, 所述方法应用于数据处理系统, 所述方法包括: 接收原数据, 所述原数据包括以下至少两种: 第三方系统数据、 本地系统数据和客户端 数据; 对所述原数据进行数据组装, 得到第一数据, 所述第一数据包括以下至少一种: 基础数 据、 业务数据和事件数据; 对所述第一数据进行数据过滤, 得到次要逻辑数据和主要逻辑数据; 对所述次要逻辑数据进行数据转化, 得到至少一个订阅事件; 若所述至少一个订阅事件中至少一个目标订阅事件被监听到, 则对所述至少一个目标 订阅事件进行事件分类, 得到远程处理事件和本地处理事件; 权利要求书 1/3 页 2 。

7、CN 111414553 A 2 调用本地handle, 通过所述本地handle处理所述本地处理事件, 调用远程handle, 通过 所述远程handle处理所述远程处理事件。 5.根据权利要求4所述的方法, 其特征在于, 所述对所述第一数据进行数据过滤, 得到 次要逻辑数据和主要逻辑数据, 包括: 获取预设过滤规则库, 所述预设过滤规则库中包括多个主要逻辑预设过滤规则和多个 次要逻辑预设过滤规则, 每一预设过滤规则对应一个正则表达式; 基于所述预设过滤规则库中对应的多个正则表达式, 对所述第一数据进行正则匹配, 得到与所述多个主要逻辑预设过滤规则中任一主要逻辑预设过滤规则匹配的所述主要逻 。

8、辑数据和与所述多个次要逻辑预设过滤规则中任一次要逻辑预设过滤规则匹配的所述次 要逻辑数据。 6.根据根据权利要求4所述的方法, 其特征在于, 所述对所述次要逻辑数据进行数据转 化, 得到至少一个订阅事件, 包括: 获取预设的次要逻辑集合, 所述次要逻辑集合中包括多个类别的次要逻辑; 根据所述预设的次要逻辑集合, 对所述次要逻辑数据进行分类处理, 得到至少一个目 标次要逻辑数据; 对所述至少一个目标次要逻辑数据进行事件注册, 得到所述至少一个订阅事件。 7.根据权利要求4所述的方法, 其特征在于, 所述对所述至少一个目标订阅事件进行事 件分类, 得到远程处理事件和本地处理事件, 包括: 获取预设。

9、的事件属性, 所述事件属性包括: 本地处理属性和远程处理属性; 根据所述预设的事件属性, 对所述至少一个目标订阅事件进行分类, 得到所述远程处 理属性对应的所述远程处理事件和所述本地处理属性对应的所述本地处理事件。 8.一种数据处理装置, 其特征在于, 所述装置包括: 接收单元、 数据组装单元、 数据过滤 单元、 数据转化单元、 事件分类单元和调用单元, 其中, 所述接收单元, 用于接收原数据, 所述原数据包括以下至少两种: 第三方系统数据、 本 地系统数据和客户端数据; 所述数据组装单元, 用于对所述原数据进行数据组装, 得到第一数据, 所述第一数据包 括以下至少一种: 基础数据、 业务数据。

10、和事件数据; 所述数据过滤单元, 用于对所述第一数据进行数据过滤, 得到次要逻辑数据和主要逻 辑数据; 所述数据转化单元, 用于对所述次要逻辑数据进行数据转化, 得到至少一个订阅事件; 所述事件分类单元, 用于若所述至少一个订阅事件中至少一个目标订阅事件被监听 到, 则对所述至少一个目标订阅事件进行事件分类, 得到远程处理事件和本地处理事件; 所述调用单元, 用于调用本地handle, 通过所述本地handle处理所述本地处理事件, 调 用远程handle, 通过所述远程handle处理所述远程处理事件。 9.一种数据处理装置, 其特征在于, 包括处理器、 输入设备、 输出设备和存储器, 所述。

11、处 理器、 输入设备、 输出设备和存储器相互连接, 其中, 所述存储器用于存储计算机程序, 所述 计算机程序包括程序指令, 所述处理器被配置用于调用所述程序指令, 执行如权利要求4-7 任一项所述的方法。 10.一种计算机可读存储介质, 其特征在于, 所述计算机可读存储介质存储有计算机程 权利要求书 2/3 页 3 CN 111414553 A 3 序, 所述计算机程序包括程序指令, 所述程序指令当被处理器执行时使所述处理器执行如 权利要求4-7任一项所述的方法。 权利要求书 3/3 页 4 CN 111414553 A 4 数据处理的系统、 方法及存储介质 技术领域 0001 本申请涉及数据。

12、处理技术领域, 具体涉及一种数据处理的系统、 方法及存储介质。 背景技术 0002 圈子包含话题、 问题、 观点、 回答、 资讯、 帖子、 评论等业务功能, 这些功能都属于圈 子的内容体系。 但是目前, 主要逻辑和次要逻辑之间没有解耦, 两个逻辑之间是不相干的, 例如, 在圈子中, 当用户创建话题时, 主要逻辑是根据业务逻辑生成话题, 把内容写入相关 缓存或者记录到数据库中, 而次要逻辑可指同步到搜索系统或者推荐系统中, 当在同一个 流程中执行主要逻辑和次要逻辑, 若主要逻辑执行失败, 则会造成整个流程框架混乱, 造成 系统崩溃。 发明内容 0003 本申请实施例提供一种数据处理的系统、 方法。

13、及存储介质, 解耦了系统中主要逻 辑数据和次要逻辑数据, 有利于提高系统的稳定性。 0004 本申请实施例的第一方面提供了一种数据处理的系统, 所述系统包括: 多端数据 汇总模块、 数据模块、 总线管道、 核心模块和业务分离模块; 其中, 0005 所述多端数据汇总模块, 用于接收原数据, 将所述原数据发送至所述数据模块, 所 述原数据包括以下至少两种: 第三方系统数据、 本地系统数据和客户端数据; 0006 所述数据模块, 用于对所述原数据进行数据组装, 得到第一数据, 所述第一数据包 括以下至少一种: 基础数据、 业务数据和事件数据; 0007 所述总线管道, 用于传输所述第一数据至所述核。

14、心模块; 0008 所述核心模块, 用于对所述第一数据进行数据过滤, 得到次要逻辑数据和主要逻 辑数据; 0009 所述业务分离模块, 用于对所述次要逻辑数据进行数据转化, 得到至少一个订阅 事件, 若所述至少一个订阅事件中至少一个目标订阅事件被监听到, 则对所述至少一个目 标订阅事件进行事件分类, 得到远程处理事件和本地处理事件, 调用本地handle, 通过所述 本地handle处理所述本地处理事件, 调用远程handle, 通过所述远程handle处理所述远程 处理事件; 0010 所述总线管道, 还用于监听所述至少一个订阅事件, 传输所述远程处理事件至第 三方系统, 推送所述本地处理事。

15、件到本地系统。 0011 本申请实施例的第二方面提供了一种数据处理的方法, 应用于数据处理系统, 所 述方法包括: 0012 接收原数据, 所述原数据包括以下至少两种: 第三方系统数据、 本地系统数据和客 户端数据; 0013 对所述原数据进行数据组装, 得到第一数据, 所述第一数据包括以下至少一种: 基 础数据、 业务数据和事件数据; 说明书 1/12 页 5 CN 111414553 A 5 0014 对所述第一数据进行数据过滤, 得到次要逻辑数据和主要逻辑数据; 0015 对所述次要逻辑数据进行数据转化, 得到至少一个订阅事件; 0016 若所述至少一个订阅事件中至少一个目标订阅事件被监。

16、听到, 则对所述至少一个 目标订阅事件进行事件分类, 得到远程处理事件和本地处理事件; 0017 调用本地handle, 通过所述本地handle处理所述本地处理事件, 调用远程handle, 通过所述远程handle处理所述远程处理事件。 0018 本申请实施例第三方面提供了一种数据处理装置, 所述装置包括: 接收单元、 数据 组装单元、 数据过滤单元、 数据转化单元、 事件分类单元和调用单元, 其中, 0019 所述接收单元, 用于接收原数据, 所述原数据包括以下至少两种: 第三方系统数 据、 本地系统数据和客户端数据; 0020 所述数据组装单元, 用于对所述原数据进行数据组装, 得到第。

17、一数据, 所述第一数 据包括以下至少一种: 基础数据、 业务数据和事件数据; 0021 所述数据过滤单元, 用于对所述第一数据进行数据过滤, 得到次要逻辑数据和主 要逻辑数据; 0022 所述数据转化单元, 用于对所述次要逻辑数据进行数据转化, 得到至少一个订阅 事件; 0023 所述事件分类单元, 用于若所述至少一个订阅事件中至少一个目标订阅事件被监 听到, 则对所述至少一个目标订阅事件进行事件分类, 得到远程处理事件和本地处理事件; 0024 所述调用单元, 用于调用本地handle, 通过所述本地handle处理所述本地处理事 件, 调用远程handle, 通过所述远程handle处理所。

18、述远程处理事件。 0025 本申请实施例的第四方面提供一种数据处理装置, 所述数据处理装置包括处理 器、 输入设备、 输出设备和存储器, 所述处理器、 输入设备、 输出设备和存储器相互连接, 其 中, 所述存储器用于存储计算机程序, 所述计算机程序包括程序指令, 所述处理器被配置用 于调用所述程序指令, 执行本申请实施例第二方面所述的方法。 0026 本申请实施例的第五方面提供了一种计算机可读存储介质, 其中, 上述计算机可 读存储介质存储用于电子数据交换的计算机程序, 其中, 上述计算机程序使得计算机执行 如本申请实施例第二方面所描述的部分或全部步骤。 0027 本申请实施例的第六方面提供了。

19、一种计算机程序产品, 其中, 上述计算机程序产 品包括存储了计算机程序的非瞬时性计算机可读存储介质, 上述计算机程序可操作来使计 算机执行如本申请实施例第二方面所描述的部分或全部步骤。 该计算机程序产品可以为一 个软件安装包。 0028 实施本申请实施例, 至少具有如下有益效果: 0029 通过本申请实施例提供的系统, 包括: 多端数据汇总模块、 数据模块、 总线管道、 核 心模块和业务分离模块, 本系统采用多个模块对原数据进行处理, 并且, 通过优先处理主要 逻辑数据, 其次, 对次要逻辑数据进行分类为本地处理事件和远程处理事件, 实现了主要逻 辑数据与次要逻辑数据的解耦, 降低了数据间的耦。

20、合性, 有利于提高系统的稳定性。 附图说明 0030 为了更清楚地说明本申请实施例或现有技术中的技术方案, 下面将对实施例或现 说明书 2/12 页 6 CN 111414553 A 6 有技术描述中所需要使用的附图作简单地介绍, 显而易见地, 下面描述中的附图仅仅是本 申请的一些实施例, 对于本领域普通技术人员来讲, 在不付出创造性劳动的前提下, 还可以 根据这些附图获得其他的附图。 0031 图1为本申请实施例提供了一种数据处理系统的结构示意图; 0032 图2为本申请实施例提供了一种数据处理的方法的流程示意图; 0033 图3为本申请实施例提供了一种数据处理的方法的流程示意图; 0034。

21、 图4为本申请实施例提供了一种数据处理的方法的流程示意图; 0035 图5为本申请实施例提供了一种数据处理装置的结构示意图; 0036 图6为本申请实施例提供了一种数据处理装置的结构示意图。 具体实施方式 0037 下面将结合本申请实施例中的附图, 对本申请实施例中的技术方案进行清楚、 完 整地描述, 显然, 所描述的实施例仅仅是本申请一部分实施例, 而不是全部的实施例。 基于 本申请中的实施例, 本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他 实施例, 都属于本申请保护的范围。 0038 本申请的说明书和权利要求书及上述附图中的术语 “第一” 、“第二” 等是用于区别 不同对象。

22、, 而不是用于描述特定顺序。 此外, 术语 “包括” 和 “具有” 以及它们任何变形, 意图 在于覆盖不排他的包含。 例如包含了一系列步骤或单元的过程、 方法、 系统、 产品或设备没 有限定于已列出的步骤或单元, 而是可选地还包括没有列出的步骤或单元, 或可选地还包 括对于这些过程、 方法、 产品或设备固有的其他步骤或单元。 0039 在本申请中提及 “实施例” 意味着, 结合实施例描述的特定特征、 结构或特性可以 包含在本申请的至少一个实施例中。 在说明书中的各个位置出现该短语并不一定均是指相 同的实施例, 也不是与其它实施例互斥的独立的或备选的实施例。 本领域技术人员显式地 和隐式地理解的。

23、是, 本申请所描述的实施例可以与其它实施例相结合。 0040 为了能够更好地理解本申请实施例, 下面将对应用本申请实施例的方法进行介 绍。 0041 本申请实施例中提到的数据处理装置可以包括各种具有无线通信功能的手持设 备、 车载设备、 可穿戴设备(例如智能手表、 智能手环、 计步器等)、 计算设备或连接到无线调 制解调器的其他处理设备, 以及各种形式的用户设备(User Equipment, UE), 移动台 (Mobile Station, MS), 终端设备(terminal device)等等。 为方便描述, 上面提到的设备统 称为电子设备。 0042 请参见图1, 图1是本申请实施例。

24、提供的一种数据处理系统的结构示意图, 如图1所 示, 该数据处理系统包括多端数据汇总模块101、 数据模块102、 总线管道103、 核心模块104 和业务分离模块105, 其中, 0043 所述多端数据汇总模块101, 用于接收原数据, 将所述原数据发送至所述数据模 块, 所述原数据包括以下至少两种: 第三方系统数据、 本地系统数据和客户端数据; 0044 所述数据模块102, 用于对所述原数据进行数据组装, 得到第一数据, 所述第一数 据包括以下至少一种: 基础数据、 业务数据和事件数据; 0045 所述总线管道103, 用于传输所述第一数据至所述核心模块; 说明书 3/12 页 7 CN。

25、 111414553 A 7 0046 所述核心模块104, 用于对所述第一数据进行数据过滤, 得到次要逻辑数据和主要 逻辑数据; 0047 所述业务分离模块105, 用于对所述次要逻辑数据进行数据转化, 得到至少一个订 阅事件, 若所述至少一个订阅事件中至少一个目标订阅事件被监听到, 则对所述至少一个 目标订阅事件进行事件分类, 得到远程处理事件和本地处理事件, 调用本地handle, 通过所 述本地handle处理所述本地处理事件, 调用远程handle, 通过所述远程handle处理所述远 程处理事件; 0048 所述总线管道103, 还用于监听所述至少一个订阅事件, 传输所述远程处理事。

26、件至 第三方系统, 推送所述本地处理事件到本地系统。 0049 可选地, 上述多端数据汇总模块101可包括数据注册单元和总线数据收发单元, 其 中, 0050 所述数据注册单元, 用于注册所述原数据于所述数据处理系统中; 0051 所述总线数据发送单元, 用于将所述原数据发送至所述数据模块102。 0052 可选地, 上述数据模块102可包括数据模型组装单元, 其中, 0053 所述数据模型组装单元, 用于对所述原数据进行数据组装, 得到所述第一数据。 0054 可选地, 上述总线管道103包括核心管道和次要管道, 其中, 0055 所述核心管道, 用于监听所述总线管道中的所述第一数据, 传输。

27、所述主要逻辑数 据至所述业务分离模块105; 0056 所述次要管道, 用于传输所述次要逻辑数据于所述核心模块104, 监听所述至少一 个目标订阅事件。 0057 可选地, 上述业务分离模块105包括本地处理单元、 远程处理单元、 事件选择单元 和模型转化单元, 其中, 0058 所述转化单元, 用于对所述次要逻辑数据进行数据转化, 得到所述至少一个订阅 事件; 0059 所述事件选择单元模型, 用于对所述至少一个目标订阅事件进行事件分类, 得到 所述远程处理事件和所述本地处理事件; 0060 所述本地处理单元, 用于调用所述本地handle, 通过所述本地handle处理所述本 地处理事件;。

28、 0061 所述远程处理单元, 用于调用所述远程handle, 通过所述远程handle处理所述远 程处理事件。 0062 可选地, 上述核心模块104包括数据过滤单元和核心业务单元, 其中, 0063 所述数据过滤器, 用于对所述第一数据进行数据过滤, 得到所述次要逻辑数据和 所述主要逻辑数据; 0064 所述核心业务单元, 用于处理所述主要逻辑数据。 0065 可以看出, 通过本申请实施例提供的一种数据处理系统, 可采用多个模块对原数 据进行处理, 并且, 通过优先处理主要逻辑数据, 其次, 对次要逻辑数据进行分类为本地处 理事件和远程处理事件, 实现了主要逻辑数据与次要逻辑数据的解耦, 。

29、降低了数据间的耦 合性, 有利于提高系统的稳定性。 0066 请参阅图2, 图2是本申请实施例公开的一种数据处理的方法的流程示例图, 应用 说明书 4/12 页 8 CN 111414553 A 8 于图1所示的数据处理系统, 该数据处理的方法可包括如下步骤: 0067 201、 接收原数据, 所述原数据包括以下至少两种: 第三方系统数据、 本地系统数据 和客户端数据; 0068 其中, 上述原数据可指本系统数据和来自于其他系统的数据, 上述原数据可包括 以下至少两种: 第三方系统数据、 本地数据和客户端数据等等, 在此不作限定; 当系统接收 原数据以后, 可针对上述数据进行注册, 以得到不同。

30、种类的原数据。 0069 202、 对所述原数据进行数据组装, 得到第一数据, 所述第一数据包括以下至少一 种: 基础数据、 业务数据和事件数据; 0070 其中, 由于整个系统中的原数据是多种多样的, 但是不一定能被整个系统识别, 因 此, 可对上述原数据进行数据组装, 得到第一数据, 该第一数据是能够被整个系统识别的数 据, 该第一数据可包括以下至少一种: 基础数据、 业务数据和事件数据等等, 在此不作限定。 0071 具体地, 可针对原数据进行数据分类, 得到基础数据、 业务数据和事件数据等等, 再通过基础数据模型、 业务数据模型和事件模型等等对上述三种数据进行封装, 得到整个 系统可识。

31、别的数据。 0072 此外, 上述业务数据可包括以下至少一种: 话题数据、 资讯数据、 帖子数据等等, 在 此不作限定; 由于这上述业务数据都要标题、 内容主题, 发布人等, 因此, 具有相似的属性; 再者事件数据是指一个系统层事件, 比如需要把话题数据同步到搜索系统, 那么事件数据 就会有事件的执行主体(例如, 服务器), 事件执行的具体方法块, 事件的触发源(Observed) 等等, 因此, 具有相似的属性; 又例如, 基础数据模型更多的是指整个系统框架的基础数据, 如调用链ID, 执行者id等等, 在此不作限定; 上述基础数据贯穿整个系统框架流程, 因此, 将 具有相似的属性的数据, 。

32、可作为一类数据。 0073 203、 对所述第一数据进行数据过滤, 得到次要逻辑数据和主要逻辑数据; 0074 其中, 由于在圈子应用时, 业务场景复杂, 大多场景都需要用同一个圈子对应的内 容生成业务逻辑, 例如, 推荐业务、 同步业务、 活动定制等等, 会造成整个系统的杂乱, 不好 维护管理; 因此, 可针对不同的数据划分不同的逻辑, 得到主要逻辑对应的主要逻辑数据和 次要逻辑对应的次要逻辑数据, 且上述主要逻辑数据可包括以下至少一种: 记录到数据库、 写入缓存等等, 在此不作限定; 上述次要逻辑可包括以下至少一种: 同步到搜索系统、 同步 到推荐系统、 加载到搜索系统等等, 在此不作限定。

33、。 0075 具体地, 可针对第一数据进行数据过滤, 对第一数据进行分配, 以得到次要逻辑数 据和主要逻辑数据, 该次要逻辑数据可理解为不需要本地解决的数据, 上述主要逻辑数据 可理解为在本地处理的数据。 0076 例如, 当需要把数据同步或推荐到第三方平台时, 则该数据可为次要逻辑数据; 上 述数据过滤的方法可包括以下至少一种: 比较运算、 范围运算、 空值匹配、 字符匹配和逻辑 匹配等等, 在此不作限定。 0077 可选地, 上述步骤203, 对所述第一数据进行数据过滤, 得到次要逻辑数据和主要 逻辑数据, 可包括如下步骤: 0078 31、 获取预设过滤规则库, 所述预设过滤规则库中包括。

34、多个主要逻辑预设过滤规 则和多个次要逻辑预设过滤规则, 每一预设过滤规则对应一个正则表达式; 0079 32、 基于所述预设过滤规则库中对应的多个正则表达式, 对所述第一数据进行正 说明书 5/12 页 9 CN 111414553 A 9 则匹配, 得到与所述多个主要逻辑预设过滤规则中任一主要逻辑预设过滤规则匹配的所述 主要逻辑数据和与所述多个次要逻辑预设过滤规则中任一次要逻辑预设过滤规则匹配的 所述次要逻辑数据。 0080 其中, 系统对应的服务器中可预先设置预设过滤规则库, 该预设过滤规则库中可 存储多个预设过滤规则, 且多个预设过滤规则中可包括多个主要逻辑预设过滤规则和多个 次要逻辑预。

35、设过滤规则, 可针对每一预设过滤规则设定正则表达式, 每一正则表达式与预 设过滤规则一一对应。 0081 例如, 假设次要逻辑数据为圈子内的话题数据, 则可针对圈子内的话题预设字符 串, 上述预设字符串可包括以下至少一种: 标题、 发布人、 内容主题等等, 在此不作限定, 可 针对每一字符串预设正则表达式, 如此, 可得到多个次要逻辑预设过滤规则对应的多个正 则表达式。 0082 具体地, 可通过多个正则表达式对上述第一数据进行匹配, 以得到匹配成功的次 要逻辑数据或者主要逻辑数据。 0083 204、 对所述次要逻辑数据进行数据转化, 得到至少一个订阅事件; 0084 其中, 上述订阅事件可。

36、对应一个类型或者一个次要逻辑, 在消息队列中, 一般采用 生产者和消费者模式来实现, 上述至少一个订阅事件可理解为至少一个消费者所需要的事 件, 例如, 我们订阅报纸的时候, 通常都得需要在报社或者一些中介机构进行注册, 当有新 版的报纸发刊的时候, 邮递员就需要向订阅该报纸的人, 依次发放报纸, 此时, 上述报纸就 指代上述订阅事件。 0085 可选地, 上述步骤204, 对所述次要逻辑数据进行数据转化, 得到至少一个订阅事 件, 可包括如下步骤: 0086 41、 获取预设的次要逻辑集合, 所述次要逻辑集合中包括多个类别的次要逻辑; 0087 42、 根据所述预设的次要逻辑集合, 对所述次。

37、要逻辑数据进行分类处理, 得到至少 一个目标次要逻辑数据; 0088 43、 对所述至少一个目标次要逻辑数据进行事件注册, 得到所述至少一个订阅事 件。 0089 其中, 上述次要逻辑集合中可包括在多个次要逻辑, 该次要逻辑可包括以下至少 一种: 同步到搜索系统、 同步到推荐系统、 存储到数据库等等, 在此不作限定。 每一次要逻辑 可对应一个类别, 上述订阅事件可包括以下至少一种类别: 搜索类别、 推荐类别、 点击类别, 加载类别, 关闭类别等等, 在此不作限定, 其中, 每一个次要逻辑可对应一类别, 每一类别可 对应多个次要逻辑数据。 0090 具体实现中, 可针对上述次要逻辑数据进行分类处。

38、理, 由于可能次要逻辑数据中 只包括一个类别的次要逻辑, 则可得到多个次要逻辑类别对应的至少一个目标次要逻辑数 据, 然后, 可针对至少一个目标次要逻辑数据进行事件注册, 最后, 可得到至少一个订阅事 件, 其中, 每一目标次要逻辑数据对应一个订阅事件。 0091 205、 若所述至少一个订阅事件中至少一个目标订阅事件被监听到, 则对所述至少 一个目标订阅事件进行事件分类, 得到远程处理事件和本地处理事件; 0092 其中, 由于上述系统是一个系统群, 有很多子系统或组件, 而每个组件是一个系统 集群, 可用来负责一块业务逻辑, 一些次要逻辑是分布在其他系统对应的不同的组件处理 说明书 6/1。

39、2 页 10 CN 111414553 A 10 的, 上述用于其他系统不同组件处理的事件即为远程处理事件, 用于本系统处理的事件即 为本地处理事件。 0093 具体地, 上述目标订阅事件可为用户预先设定或者系统默认, 例如, 该目标订阅事 件可为推送到推送系统, 上述系统可实时监听上述至少一个订阅事件, 当至少一个目标订 阅事件被监听到时, 可对上述至少一个目标订阅事件进行事件分类, 以得到上述本地处理 事件和远程处理事件。 0094 可选地, 上述步骤205, 对所述至少一个目标订阅事件进行事件分类, 得到远程处 理事件和本地处理事件, 可包括如下步骤: 0095 51、 获取预设的事件属。

40、性, 所述事件属性包括: 本地处理属性和远程处理属性; 0096 52、 根据所述预设的事件属性, 对所述至少一个目标订阅事件进行分类, 得到所述 远程处理属性对应的所述远程处理事件和所述本地处理属性对应的所述本地处理事件。 0097 其中, 可预先设定不同的事件属性, 该事件属性可包括以下至少一种: 本地处理属 性、 远程处理属性等等, 在此不作限定; 每一目标订阅事件可对应一个事件属性, 如此, 可根 据预设的事件属性, 对上述至少一个目标订阅事件进行分类, 以得到远程处理属性对应的 远程处理事件和本地处理属性对应的本地处理事件。 0098 206、 调用本地handle, 通过所述本地h。

41、andle处理所述本地处理事件, 调用远程 handle, 通过所述远程handle处理所述远程处理事件。 0099 其中, 处理上述远程处理事件可获取远程handle对应的目标服务器, 获取远程处 理事件对应的次要逻辑, 根据次要逻辑向目标服务器发送远程处理事件。 0100 此外, 处理上述本地处理事件可从预设内存中获取该本地处理事件对应的本地 handle, 通过本地handle处理上述上述本地处理事件。 0101 可选地, 由于上述整个系统的处理逻辑可采用事件驱动模型, 并解耦相关逻辑(主 要逻辑和次要逻辑), 同时系统中也可设置消息补偿机制, 从而确保信息最终一致性, 不丢 数据; 例。

42、如, 在上述本地处理事件被处理失败以后, 可重新拉取上述第一数据, 重新进行上 述数据处理操作。 0102 如图3所示, 为一种数据处理方法的流程示意图, 系统在接收到原数据以后, 可针 对上述原数据进行数据过滤, 得到基础数据、 业务数据和事件数据, 继而, 可根据预设的数 据过滤规则, 针对上述基础数据、 业务数据和事件数据进行过滤, 得到主要逻辑数据和次要 逻辑数据, 其中, 主要逻辑数据包括基础数据, 次要逻辑数据包括上述业务数据和事件数 据, 最后, 主要逻辑数据可由系统内部进行处理, 可根据次要逻辑数据生成订阅事件, 以得 到远程处理事件和本地处理事件, 其中, 本地处理事件可由本。

43、系统(或者服务器)处理, 远程 处理事件可由远程服务器处理, 如此, 对数据进行分类, 得到主要逻辑数据和次要逻辑数 据, 可实现了主要逻辑数据与次要逻辑数据的解耦, 降低了数据间的耦合性。 0103 可以看出, 本申请实施例中所描述的数据处理的方法, 可接收原数据, 原数据包括 以下至少两种: 第三方系统数据、 本地系统数据和客户端数据, 对原数据进行数据组装, 得 到第一数据, 第一数据包括以下至少一种: 基础数据、 业务数据和事件数据, 对第一数据进 行数据过滤, 得到次要逻辑数据和主要逻辑数据, 对次要逻辑数据进行数据转化, 得到至少 一个订阅事件, 若至少一个订阅事件中至少一个目标订。

44、阅事件被监听到, 则对至少一个目 标订阅事件进行事件分类, 得到远程处理事件和本地处理事件, 调用本地handle, 通过本地 说明书 7/12 页 11 CN 111414553 A 11 handle处理本地处理事件, 调用远程handle, 通过远程handle处理远程处理事件, 如此, 将 主要逻辑数据与次要逻辑数据区分处理, 实现了主要逻辑数据与次要逻辑数据的解耦, 降 低了数据间的耦合性, 有利于提高系统的稳定性。 0104 与上述一致地, 请参阅图4, 图4是本申请实施例公开的一种数据处理的方法的流 程示例图, 应用于如图1所述的数据处理系统, 该数据处理的方法可包括如下步骤: 。

45、0105 401、 接收原数据, 所述原数据包括以下至少两种: 第三方系统数据、 本地系统数据 和客户端数据。 0106 402、 对所述原数据进行数据组装, 得到第一数据, 所述第一数据包括以下至少一 种: 基础数据、 业务数据和事件数据。 0107 403、 对所述第一数据进行数据过滤, 得到次要逻辑数据和主要逻辑数据。 0108 404、 获取预设的次要逻辑集合, 所述次要逻辑集合中包括多个类别的次要逻辑。 0109 405、 根据所述预设的次要逻辑集合, 对所述次要逻辑数据进行分类处理, 得到至 少一个目标次要逻辑数据。 0110 406、 对所述至少一个目标次要逻辑数据进行事件注册,。

46、 得到所述至少一个订阅事 件。 0111 407、 若所述至少一个订阅事件中至少一个目标订阅事件被监听到, 则获取预设的 事件属性, 所述事件属性包括: 本地处理属性和远程处理属性。 0112 408、 根据所述预设的事件属性, 对所述至少一个目标订阅事件进行分类, 得到所 述远程处理属性对应的所述远程处理事件和所述本地处理属性对应的所述本地处理事件。 0113 409、 调用本地handle, 通过所述本地handle处理所述本地处理事件, 调用远程 handle, 通过所述远程handle处理所述远程处理事件。 0114 其中, 上述步骤401-步骤409的具体描述可以参照上述图2所描述的。

47、数据处理方法 的相应步骤, 在此不再赘述。 0115 可以看出, 本申请实施例所描述的数据处理的方法, 可接收原数据, 所述原数据包 括以下至少两种: 第三方系统数据、 本地系统数据和客户端数据, 对原数据进行数据组装, 得到第一数据, 第一数据包括以下至少一种: 基础数据、 业务数据和事件数据, 对第一数据 进行数据过滤, 得到次要逻辑数据和主要逻辑数据, 获取预设的次要逻辑集合, 次要逻辑集 合中包括多个类别的次要逻辑, 根据预设的次要逻辑集合, 对次要逻辑数据进行分类处理, 得到至少一个目标次要逻辑数据, 对至少一个目标次要逻辑数据进行事件注册, 得到至少 一个订阅事件, 若至少一个订阅。

48、事件中至少一个目标订阅事件被监听到, 则获取预设的事 件属性, 事件属性包括: 本地处理属性和远程处理属性, 根据预设的事件属性, 对至少一个 目标订阅事件进行分类, 得到远程处理属性对应的远程处理事件和本地处理属性对应的本 地处理事件, 调用本地handle, 通过本地handle处理本地处理事件, 调用远程handle, 通过 远程handle处理远程处理事件, 如此, 将主要逻辑数据与次要逻辑数据区分处理, 实现了主 要逻辑数据与次要逻辑数据的解耦, 降低了数据间的耦合性, 有利于提高系统的稳定性。 0116 与上述一致地, 请参阅图5, 图5为本申请实施例提供的一种数据处理装置的结构 。

49、示意图, 如图5所示, 包括处理器、 通信接口、 存储器以及一个或多个程序, 所述处理器、 通信 接口和存储器相互连接, 其中, 所述存储器用于存储计算机程序, 所述计算机程序包括程序 指令, 所述处理器被配置用于调用所述程序指令, 上述一个或多个程序程序包括用于执行 说明书 8/12 页 12 CN 111414553 A 12 以下步骤的指令: 0117 接收原数据, 所述原数据包括以下至少两种: 第三方系统数据、 本地系统数据和客 户端数据; 0118 对所述原数据进行数据组装, 得到第一数据, 所述第一数据包括以下至少一种: 基 础数据、 业务数据和事件数据; 0119 对所述第一数据。

50、进行数据过滤, 得到次要逻辑数据和主要逻辑数据; 0120 对所述次要逻辑数据进行数据转化, 得到至少一个订阅事件; 0121 若所述至少一个订阅事件中至少一个目标订阅事件被监听到, 则对所述至少一个 目标订阅事件进行事件分类, 得到远程处理事件和本地处理事件; 0122 调用本地handle, 通过所述本地handle处理所述本地处理事件, 调用远程handle, 通过所述远程handle处理所述远程处理事件。 0123 可以看出, 本申请实施例中所描述的数据处理装置, 可可接收原数据, 原数据包括 以下至少两种: 第三方系统数据、 本地系统数据和客户端数据, 对原数据进行数据组装, 得 到。

展开阅读全文
内容关键字: 数据处理 系统 方法 存储 介质
关于本文
本文标题:数据处理的系统、方法及存储介质.pdf
链接地址:https://www.zhuanlichaxun.net/pdf/9229803.html
关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

copyright@ 2017-2018 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1