银行系统的数据处理方法及装置.pdf

《银行系统的数据处理方法及装置.pdf》由会员分享，可在线阅读，更多相关《银行系统的数据处理方法及装置.pdf（16页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201911149205.5 (22)申请日 2019.11.21 (71)申请人 中国银行股份有限公司 地址 100818 北京市西城区复兴门内大街1 号 (72)发明人 帅红波王焰炜杨南江黄显超 (74)专利代理机构 北京集佳知识产权代理有限 公司 11227 代理人 王欢 (51)Int.Cl. G06Q 40/02(2012.01) (54)发明名称 一种银行系统的数据处理方法及装置 (57)摘要 本申请公开了一种银行系统的数据处理方 法及装置， 包括： 在切换会计日期后。

2、， 将联机子系 统中的待处理数据导出至批量子系统中； 批量子 系统从所述待处理数据中提取获得T日数据； 批 量子系统对所述T日数据进行批量处理， 得到处 理结果数据； 批量子系统将所述处理结果数据回 写至所述联机子系统。 所述银行系统的数据处理 方法及装置， 能够在切换会计日后， 在7x24小时 不间断联机交易下获取切日前一日静止数据用 于批量处理， 并在批量处理后将处理结果数据回 写至联机子系统， 该方法及装置在数据同步过程 中不会给系统带来切日时间压力， 具有很好的实 际应用意义。 权利要求书2页 说明书9页 附图4页 CN 110910238 A 2020.03.24 CN 110910。

3、238 A 1.一种银行系统的数据处理方法， 其特征在于， 包括： 在切换会计日期后， 将联机子系统中的待处理数据导出至批量子系统中； 批量子系统从所述待处理数据中提取获得T日数据； 批量子系统对所述T日数据进行批量处理， 得到处理结果数据； 批量子系统将所述处理结果数据回写至所述联机子系统。 2.根据权利要求1所述的银行系统的数据处理方法， 其特征在于， 所述将联机子系统中 的待处理数据导出至批量子系统中， 包括： 在切换会计日期后， 将联机子系统中的待处理数据导出至批量子系统中的过程为切日 窗口时期， 在所述切日窗口时期中， 若获取到交易数据， 先将T日与所述交易数据相关的数 据复制到影子。

4、表， 再将所述交易数据更新至交易主表； 将所述联机子系统中的所述交易主表和所述影子表导出至批量子系统中。 3.根据权利要求2所述的银行系统的数据处理方法， 其特征在于， 所述在所述切日窗口 时期中， 若获取到交易数据， 先将T日与所述交易数据相关的数据复制到影子表， 再将所述 交易数据更新至交易主表， 包括： 在所述切日窗口时期中， 若第一表格的内容涉及修改， 检查其上一次修改日期是否为T +1日； 若否， 将所述第一表格的内容复制到影子表中后， 再修改所述第一表格。 4.根据权利要求2所述的银行系统的数据处理方法， 其特征在于， 所述批量子系统从所 述待处理数据中获得T日数据， 包括： 批量。

5、子系统将所述影子表中的数据覆盖至所述交易主表中对应数据上， 获得包含T日 静止数据的交易主表； 将所述T日静止数据确定为T日数据。 5.根据权利要求2所述的银行系统的数据处理方法， 其特征在于， 所述交易主表和所述 影子表的结构相同。 6.根据权利要求1所述的银行系统的数据处理方法， 其特征在于， 所述将联机子系统中 的待处理数据导出至批量子系统中， 包括： 通过异构数据源离线同步工具DataX以脏读模式从联机子系统中获取全量数据同步至 批量子系统。 7.根据权利要求1所述的银行系统的数据处理方法， 其特征在于， 所述批量子系统通过 日志交易将所述处理结果数据回写至所述联系子系统。 8.根据权。

6、利要求1所述的银行系统的数据处理方法， 其特征在于， 所述批量子系统将所 述处理结果数据回写至所述联机子系统， 包括： 所述批量子系统直接将所述处理结果数据操作回写至所述联机子系统。 9.根据权利要求1所述的银行系统的数据处理方法， 其特征在于， 在所述批量子系统将 所述处理结果数据回写至所述联机子系统后， 还包括： 停止批量处理， 清理T日数据。 10.一种银行系统的数据处理装置， 其特征在于， 包括： 数据导出模块， 用于在切换会计日期后， 将联机子系统中的待处理数据导出至批量子 系统中； 权利要求书 1/2 页 2 CN 110910238 A 2 数据获取模块， 用于使批量子系统从所述。

7、待处理数据中提取获得T日数据； 数据处理模块， 用于使批量子系统对所述T日数据进行批量处理， 得到处理结果数据； 数据回写模块， 用于使批量子系统将所述处理结果数据回写至所述联机子系统。 权利要求书 2/2 页 3 CN 110910238 A 3 一种银行系统的数据处理方法及装置 技术领域 0001 本发明涉及数据处理技术， 更具体的说， 是涉及一种银行系统的数据处理方法及 装置。 背景技术 0002 在银行的核心系统上做一笔联机交易， 非常有可能需要对大量的后台数据库表信 息进行更新， 如果每笔联机交易都对该交易的所有涉及的表更新的同时， 保持对客户的高 响应性， 以现有的计算机能力的是很。

8、不现实的。 因此， 在核心银行系统中通过联机交易+批 量处理的方式解决这个难题， 联机交易时仅记录交易的余额和一些交易的状态， 在批量处 理时， 在进行账户的计息、 计税、 计提、 费用以及账务等进行处理。 0003 典型的银行批量处理分为切夜、 日终批量、 切日三部分。 然而在批量处理时， 批量 需要一个静止的T日日终数据进行加工， 如果联机交易对数据进行了更新， 则批量就无法获 取T日准确的数据。 例如， 批量要进行计息处理， 需要T日日终的余额进行计息， 但是客户有 可能会在凌晨进行存取款交易(联机交易)， 这就会导致账户的余额发生变动， 但是这个变 动应该体现在T+1日， 批量不能以这。

9、个变动后的数据进行T日的数据加工， 也就是说批量需 要一个T日纯净没有被T+1日的交易污染的数据。 0004 为了保证得到T日准确的数据， 现有技术中， 存在一种分库分表的方式， 即系统数 据分为日间数据库和夜间数据库， 白天联机操作日间数据库， 夜间批量处理日间数据库， 联 机操作夜间数据库， 在批量处理完成后， 将夜间数据库联机的交易在日间数据库进行 Reposting。 其中， Reposting即对于分库分表方式下的7x24小时系统， 在批量期间， 批量子 系统处理日表， 联机子系统处理夜表。 在批量子系统完成批量后， 为了联机子系统在夜表中 的交易同步回日表的日间系统的操作。 000。

10、5 对于分库分表架构， T+1夜间进来的交易需要通过Reposting在日间重做一次， 以 保证夜表发送的交易数据同步到日表。 然而， 在一些特殊的日子， 如商家活动促销的日子， 如双十一， 夜间交易会剧增， 整个系统在Reposting阶段的压力也陡然增大， 整个Reposting 的批量时间也随之大大延长， 可能对切日操作带来时间上的压力。 发明内容 0006 有鉴于此， 本发明提供了一种银行系统的数据处理方法及装置， 以克服现有技术 中分库分表架构下采用Reposting进行数据同步而给系统带来切日时间压力的问题。 0007 为实现上述目的， 本发明提供如下技术方案： 0008 一种银行。

11、系统的数据处理方法， 包括： 0009 在切换会计日期后， 将联机子系统中的待处理数据导出至批量子系统中； 0010 批量子系统从所述待处理数据中提取获得T日数据； 0011 批量子系统对所述T日数据进行批量处理， 得到处理结果数据； 0012 批量子系统将所述处理结果数据回写至所述联机子系统。 说明书 1/9 页 4 CN 110910238 A 4 0013 可选的， 所述将联机子系统中的待处理数据导出至批量子系统中， 包括： 0014 在切换会计日期后， 将联机子系统中的待处理数据导出至批量子系统中的过程为 切日窗口时期， 在所述切日窗口时期中， 若获取到交易数据， 先将T日与所述交易数。

12、据相关 的数据复制到影子表， 再将所述交易数据更新至交易主表； 0015 将所述联机子系统中的所述交易主表和所述影子表导出至批量子系统中。 0016 可选的， 所述在所述切日窗口时期中， 若获取到交易数据， 先将T日与所述交易数 据相关的数据复制到影子表， 再将所述交易数据更新至交易主表， 包括： 0017 在所述切日窗口时期中， 若第一表格的内容涉及修改， 检查其上一次修改日期是 否为T+1日； 0018 若否， 将所述第一表格的内容复制到影子表中后， 再修改所述第一表格。 0019 可选的， 所述批量子系统从所述待处理数据中获得T日数据， 包括： 0020 批量子系统将所述影子表中的数据覆。

13、盖至所述交易主表中对应数据上， 获得包含 T日静止数据的交易主表； 0021 将所述T日静止数据确定为T日数据。 0022 可选的， 所述交易主表和所述影子表的结构相同。 0023 可选的， 所述将联机子系统中的待处理数据导出至批量子系统中， 包括： 0024 通过异构数据源离线同步工具DataX以脏读模式从联机子系统中获取全量数据同 步至批量子系统。 0025 可选的， 所述批量子系统通过日志交易将所述处理结果数据回写至所述联系子系 统。 0026 可选的， 所述批量子系统将所述处理结果数据回写至所述联机子系统， 包括： 0027 所述批量子系统直接将所述处理结果数据操作回写至所述联机子系统。

14、。 0028 可选的， 在所述批量子系统将所述处理结果数据回写至所述联机子系统后， 还包 括： 0029 停止批量处理， 清理T日数据。 0030 一种银行系统的数据处理装置， 包括： 0031 数据导出模块， 用于在切换会计日期后， 将联机子系统中的待处理数据导出至批 量子系统中； 0032 数据获取模块， 用于使批量子系统从所述待处理数据中提取获得T日数据； 0033 数据处理模块， 用于使批量子系统对所述T日数据进行批量处理， 得到处理结果数 据； 0034 数据回写模块， 用于使批量子系统将所述处理结果数据回写至所述联机子系统。 0035 经由上述的技术方案可知， 与现有技术相比， 本。

15、发明实施例公开了一种银行系统 的数据处理方法及装置， 包括： 在切换会计日期后， 将联机子系统中的待处理数据导出至批 量子系统中； 批量子系统从所述待处理数据中提取获得T日数据； 批量子系统对所述T日数 据进行批量处理， 得到处理结果数据； 批量子系统将所述处理结果数据回写至所述联机子 系统。 所述银行系统的数据处理方法及装置， 能够在切换会计日后， 在7x24小时不间断联机 交易下获取切日前一日静止数据用于批量处理， 并在批量处理后将处理结果数据回写至联 机子系统， 该方法及装置在数据同步过程中不会给系统带来切日时间压力， 具有很好的实 说明书 2/9 页 5 CN 110910238 A 。

16、5 际应用意义。 附图说明 0036 为了更清楚地说明本发明实施例或现有技术中的技术方案， 下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍， 显而易见地， 下面描述中的附图仅仅是本 发明的实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下， 还可以根据 提供的附图获得其他的附图。 0037 图1为本发明实施例公开的一种银行系统的数据处理方法流程图； 0038 图2为本发明实施例公开的导出待处理数据的流程图； 0039 图3为本发明实施例公开的获得T日数据的流程图； 0040 图4为本发明实施例公开的银行系统的数据处理方法的具体实现流程图； 0041 图5为本发明实。

17、施例公开的切日窗口时期主表修改逻辑示意图； 0042 图6为本发明实施例公开的一种银行系统的数据处理装置的结构示意图； 0043 图7为本发明实施例公开的数据导出模块的结构示意图； 0044 图8为本发明实施例公开的数据获取模块的结构示意图。 具体实施方式 0045 为了引用和清楚起见， 下文中使用的技术名词的说明、 简写或缩写总结如下： 0046 7x24小时： 随着技术和业务的迅猛发展， 业务处理不再受时间、 空间限制， 要求核 心银行系统提供全天候联机服务， 因此需要核心银行系统提供7*24小时联机交易服务。 0047 Reposting： 对于分库分表方式下的7x24小时系统， 在批量。

18、期间， 批量子系统处理 日表， 联机子系统处理夜表。 在批量子系统完成批量后， 为了联机子系统在夜表中的交易同 步回日表的日间系统的操作叫做Reposting。 0048 DJ： Day Journal(简称DJ)为内部批量账务处理子系统， 主要用于处理系统内部账 务处理。 Day Journal可以在日始处理中运行， 或由手工在日间系统发起， 通过调用后台相 应的联机交易模块完成数据的处理。 处理不成功的交易在日终处理时重新处理， 并提供处 理状态报告。 0049 下面将结合本发明实施例中的附图， 对本发明实施例中的技术方案进行清楚、 完 整地描述， 显然， 所描述的实施例仅仅是本发明一部分。

19、实施例， 而不是全部的实施例。 基于 本发明中的实施例， 本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他 实施例， 都属于本发明保护的范围。 0050 图1为本发明实施例公开的一种银行系统的数据处理方法流程图， 参见图1所示， 银行系统的数据处理方法可以包括： 0051 步骤101： 在切换会计日期后， 将联机子系统中的待处理数据导出至批量子系统 中。 0052 会计日期一般在每天的凌晨切换， 每天在切换会计日期后， 例如， 在T-T+1切日 后， 由于新的业务数据都被划分为T+1日的数据， 因此T日的业务数据已经确定且不会再发 生变化， 这时可以从联机子系统中将已经确定的T日数。

20、据(即所述待处理数据)导出至批量 处理子系统， 以使所述批量处理子系统按照预设的处理流程对所述T日数据进行对应的批 说明书 3/9 页 6 CN 110910238 A 6 量处理。 0053 步骤102： 批量子系统从所述待处理数据中提取获得T日数据。 0054 所述待处理数据中可能包括有用的数据， 也包括无用的或者不准确的数据， 因此， 在从联机子系统中获取到所有的待处理数据后， 需要首先对所述待处理数据进行一些处 理， 以获取准确的T日数据， 基于准确的T日数据进行批量处理， 才能够得到准确的处理数 据。 0055 其中， 对待处理数据进行一些处理以得到准确的T日数据过程中的具体处理可以。

21、 根据待处理数据中包括的数据内容以及数据内容类型进行对应配置， 在下面的实施例中， 将对得到准确的T日数据的具体实现做详细介绍。 0056 步骤103： 批量子系统对所述T日数据进行批量处理， 得到处理结果数据。 0057 所述批量子系统对所述T日数据进行的批量处理， 是根据银行实际业务需要对特 定数据进行处理以得到目标数据的过程， 由于银行业务数据量巨大， 且一些数据的处理流 程相同， 因此对数据的处理为批量处理。 0058 步骤104： 批量子系统将所述处理结果数据回写至所述联机子系统。 0059 当将T日的数据批量处理完成后， 可以将处理得到的结果数据更新至所述联机子 系统， 以使得后续。

22、相关业务数据可以在所述结果数据的基础上进行， 保证银行业务的持续 顺利开展。 0060 本实施例中， 所述银行系统的数据处理方法， 能够在切换会计日后， 在7x24小时不 间断联机交易下获取切日前一日静止数据用于批量处理， 并在批量处理后将处理结果数据 回写至联机子系统， 该方法取消了分库分表方案所必需的Reposting阶段， 降低了 Reposting阶段给系统带来的切日时间压力， 具有很好的实际应用意义。 0061 上述实施例中， 所述将联机子系统中的待处理数据导出至批量子系统的具体过程 可以参见图2， 图2为本发明实施例公开的导出待处理数据的流程图， 如图2所示， 可以包括： 0062。

23、 步骤201： 在切日窗口时期中， 若获取到交易数据， 先将T日与所述交易数据相关的 数据复制到影子表， 再将所述交易数据更新至交易主表。 0063 其中， 在切换会计日期后， 将联机子系统中的待处理数据导出至批量子系统中的 过程为切日窗口时期。 0064 将T日与所述交易数据相关的数据复制到影子表， 再将所述交易数据更新至交易 主表的过程可以包括： 在所述切日窗口时期中， 若第一表格的内容涉及修改， 检查其上一次 修改日期是否为T+1日； 若否， 将所述第一表格的内容复制到影子表中后， 再修改所述第一 表格； 若是， 则直接修改所述第一表格。 即在切日时间窗口时期中， 在切日后的第一笔联机 。

24、交易数据产生时， 先将切日前完整准确的T日的数据复制到一个影子表中， 记录与所述第一 笔联机交易数据相关的数据在T日的准确数据， 然后再将所述第一笔联机交易数据更新至 交易主表。 0065 步骤202： 将所述联机子系统中的所述交易主表和所述影子表导出至批量子系统 中。 0066 由于在切日窗口时期中， 并不是所有用户的业务数据都会有更新， 因此只有少部 分用户的T日数据会复制在影子表中， 因此， 在需要对所有T日数据进行批量处理时， 需要将 所述联机子系统中的所述交易主表和所述影子表都导出至批量子系统中。 说明书 4/9 页 7 CN 110910238 A 7 0067 基于上述内容， 所。

25、述批量子系统从所述待处理数据中获得T日数据的具体过程可 以参见图3， 图3为本发明实施例公开的获得T日数据的流程图， 如图3所示， 可以包括： 0068 步骤301： 批量子系统将所述影子表中的数据覆盖至所述交易主表中对应数据上， 获得包含T日静止数据的交易主表。 0069 由于影子表中的数据， 是T日日终时的一些数据， 而交易主表中与所述影子表中数 据相关的数据已经是进入T+1日后更新过的数据， 因此， 在需要对T日数据进行批量处理时， 需要先获取准确的T日日终时的所有数据， 因此， 需要将所述影子表中的数据覆盖至所述交 易主表中对应数据上。 例如， 所述交易主表中共包括1万个表格数据， 所。

26、述影子表中包括100 个表格数据， 则在获得包含T日静止数据的交易主表过程中， 需要将影子表中100个表格数 据替换交易主表中与100个表格对应的100个表格。 0070 为了简化操作和处理， 可以将所述交易主表和所述影子表配置为相同的数据结 构。 0071 步骤302： 将所述T日静止数据确定为T日数据。 0072 上述实施例详细介绍了导出待处理数据以及从待处理数据中提取获得T日数据的 详细过程， 有利于更好的了解实施银行系统的数据处理方法， 在不会给系统带来切日时间 压力的前提下实现7x24小时不间断联机交易。 0073 上述实施例中， 所述将联机子系统中的待处理数据导出至批量子系统中， 。

27、可以包 括： 通过异构数据源离线同步工具DataX以脏读模式从联机子系统中获取全量数据同步至 批量子系统。 脏读模式是即使数据库对该表进行加锁了， 也对数据进行读取， 读取出来的数 据可能是旧的数据。 交易主表和影子表的数据同步方案由于使用的是脏读模式， 所以即使 在数据同步时， 也不影响联机交易， 使得联机交易可以继续操作联机子系统或联机数据库， 与此同时批量子系统也能获取到所需的T日日终数据用于批量加工。 0074 上述实施例中， 所述批量子系统将所述处理结果数据回写至所述联机子系统， 可 以包括： 所述批量子系统直接将所述处理结果数据操作回写至所述联机子系统； 或， 所述批 量子系统通过。

28、日志交易将所述处理结果数据回写至所述联系子系统。 0075 在其他的实施例中， 银行系统的数据处理方法在所述批量子系统将所述处理结果 数据回写至所述联机子系统后， 还可以包括停止批量处理， 清理T日数据的步骤。 在将处理 结果数据回写至联机子系统后， 批量子系统中的T日数据已经使用完毕， 在没有其他用途的 情况下， 可以将T日数据清理， 以释放系统资源。 0076 图4为本发明实施例公开的银行系统的数据处理方法的具体实现流程图， 其中所 述批量交易子系统即批量子系统， 所述联机交易子系统即联机子系统。 可结合图4理解下述 内容。 0077 在T-T+1切日后窗口时间里， 如果一个表的内容涉及修。

29、改， 检查其上一次修改日 期， 如果上一次修改日期不是T+1日， 则将修改前的内容先复制到对应影子表中， 再修改当 前主表。 0078 本实施例可实现7X24小时不间断联机服务， 可包括以下三个阶段： 0079 1、 系统处于T日联机正常模式， 这个时候进来的只读查询交易访问联机读的数据 库， 金融交易需要update数据库表的访问联机写数据库， 交易流水记录对应为T日的记录。 0080 2、 T日日终后， 系统直接切换会计日到第二天。 此时， 对于联机的交易来讲， 已经进 说明书 5/9 页 8 CN 110910238 A 8 入第二天(T+1)， 发生的交易仍然按照上面的模式， 只读查询。

30、交易访问联机读数据库， 金融 交易访问联机写数据库， 但是交易流水记录对应为T+1日的流水， 但在T+1发生的第一笔交 易， 需要先把上笔T日的数据写到影子表， 然后再更新主表的数据。 对于批量处理的T日完整 数据， 可以根据影子表的数据再加上主表T日的数据获取。 0081 这个阶段对于联机来讲， 已经是T+1日， 发生的交易视为T+1日的交易。 但对于批量 处理来讲， 处理的数据仍然是T日的数据。 0082 3、 T日批量处理完后， 系统状态更新为联机正常模式， 批量也开始进入第二天， 部 分数据通过DJ发起更新数据表。 0083 在切日后， 通过DataX以脏读模式获取Oracle(备机)。

31、全量数据， 获取数据表需要按 先主表后影子表的顺序进行。 数据同步完成后即可结束切日窗口时期， 这样窗口时间会很 短， 估计不会超过半小时， 这样影子表中的数据也很少。 批量首先将影子表合并到主表中， 后续主批就只操作主表即可(需要过滤掉T+1新增的数据)， 简化了后续的操作。 0084 数据从联机只读数据库同步到批量数据库后， 这个时候进入T日的批量时间窗口 (即切日窗口时期)， 批量在批量子系统的数据库进行批量处理， 处理完后再把批量处理的 数据表回写到联机数据库。 0085 为减轻DJ的压力， 避免所有的数据都通过DJ的方式更新到联机写数据库， 对具体 的回写情况进行了以下六种情况的分类。

32、处理。 0086 1、 数据栏位只是批量更新， 联机不更新， 这种方式批量业务处理完直接更新联机 写的数据库表； 0087 2、 数据栏位只是联机使用， 批量只读， 但需要在批量的时间窗口进行更新， 比如会 计日， 系统状态等； 0088 3、 数据栏位联机， 批量都会更新， 但是最终数据以T+1联机交易的更新为准， 这种 情况批量在更新的时候需要根据数据的最后修改日期做判断， 如果日期大于T日， 批量最后 结果不更新到联机写数据库； 0089 4、 数据栏位联机， 批量都会更新， 但是最终数据以T日批量处理的结果为准， 这种 情况批量业务处理完也是直接更新联机写的数据库； 0090 5、 数。

33、据栏位联机， 批量都会更新， 但是联机T+1交易处理结果需要依赖T日批量处 理完的数据(例如倒退日交易)， 这种情况为保证最终结果的准确， 如果联机能自行完成所 需部分的数据加工， 则由联机在做T+1日交易前先进行该账户的数据加工， 再进行联机交 易， 并在处理数据表的时候在相应的记录先打标， 批量回写时将不再对这些数据进行回写， 以联机当时计算的结果为准； 0091 6、 联机、 批量交易数据无先后顺序， 按照时间优先进行更新的， 则通过DJ方式完成 批量数据的回写到联机数据库， 如存款批量结息， 转不动户等。 0092 切日后批量窗口时间(切日窗口时期)内对存在影子表的主表进行修改时按图5。

34、所 示逻辑处理。 0093 联机系统按照业务工作日期不间断运行， 分为联机交易阶段、 日期切换阶段(或系 统维护阶段)。 联机系统绝大部分时间处于联机交易阶段， 响应不同渠道发起的交易， 为系 统主要的工作阶段； 日期切换阶段为系统的一个数据静止点， 在将会计日期切换为下一日 后， 系统开始将联机系统的数据同步到批量系统中， 为批量系统提供批量数据， 此时， 联机 说明书 6/9 页 9 CN 110910238 A 9 系统对存在影子表的主表做更新操作时需要同步考虑影子表的处理。 0094 批量系统分为批量准备阶段、 批量处理阶段、 批量数据输出阶段。 批量准备阶段为 批量处理作准备， 清理。

35、上一工作日批量产生的日志、 临时文件等， 在联机系统日切之前完 成； 批量处理阶段为系统进行批量加工处理阶段， 在联机系统日切之后进行； 批量数据输出 阶段是将批量加工处理产生的数据输出到相应系统中的阶段， 在批量处理完成之后进行。 0095 对于前述的各方法实施例， 为了简单描述， 故将其都表述为一系列的动作组合， 但 是本领域技术人员应该知悉， 本发明并不受所描述的动作顺序的限制， 因为依据本发明， 某 些步骤可以采用其他顺序或者同时进行。 其次， 本领域技术人员也应该知悉， 说明书中所描 述的实施例均属于优选实施例， 所涉及的动作和模块并不一定是本发明所必须的。 0096 上述本发明公开。

36、的实施例中详细描述了方法， 对于本发明的方法可采用多种形式 的装置实现， 因此本发明还公开了一种装置， 下面给出具体的实施例进行详细说明。 0097 图6为本发明实施例公开的一种银行系统的数据处理装置的结构示意图， 参见图6 所示， 银行系统的数据处理装置60可以包括： 0098 数据导出模块601， 用于在切换会计日期后， 将联机子系统中的待处理数据导出至 批量子系统中。 0099 会计日期一般在每天的凌晨切换， 每天在切换会计日期后， 例如， 在T-T+1切日 后， 由于新的业务数据都被划分为T+1日的数据， 因此T日的业务数据已经确定且不会再发 生变化， 这时可以从联机子系统中将已经确定。

37、的T日数据(即所述待处理数据)导出至批量 处理子系统， 以使所述批量处理子系统按照预设的处理流程对所述T日数据进行对应的批 量处理。 0100 数据获取模块602， 用于使批量子系统从所述待处理数据中提取获得T日数据。 0101 所述待处理数据中可能包括有用的数据， 也包括无用的或者不准确的数据， 因此， 在从联机子系统中获取到所有的待处理数据后， 需要首先对所述待处理数据进行一些处 理， 以获取准确的T日数据， 基于准确的T日数据进行批量处理， 才能够得到准确的处理数 据。 0102 数据处理模块603， 用于使批量子系统对所述T日数据进行批量处理， 得到处理结 果数据。 0103 所述批量。

38、子系统对所述T日数据进行的批量处理， 是根据银行实际业务需要对特 定数据进行处理以得到目标数据的过程， 由于银行业务数据量巨大， 且一些数据的处理流 程相同， 因此对数据的处理为批量处理。 0104 数据回写模块604， 用于使批量子系统将所述处理结果数据回写至所述联机子系 统。 0105 当将T日的数据批量处理完成后， 可以将处理得到的结果数据更新至所述联机子 系统， 以使得后续相关业务数据可以在所述结果数据的基础上进行， 保证银行业务的持续 顺利开展。 0106 本实施例中， 所述银行系统的数据处理装置， 能够在切换会计日后， 在7x24小时不 间断联机交易下获取切日前一日静止数据用于批量。

39、处理， 并在批量处理后将处理结果数据 回写至联机子系统， 该装置取消了分库分表方案所必需的Reposting阶段， 降低了 Reposting阶段给系统带来的切日时间压力， 具有很好的实际应用意义。 说明书 7/9 页 10 CN 110910238 A 10 0107 图7为本发明实施例公开的数据导出模块的结构示意图， 如图7所示， 数据导出模 块601可以包括： 0108 数据复制模块701， 用于在切日窗口时期中， 若获取到交易数据， 先将T日与所述交 易数据相关的数据复制到影子表， 再将所述交易数据更新至交易主表。 0109 其中， 在切换会计日期后， 将联机子系统中的待处理数据导出至。

40、批量子系统中的 过程为切日窗口时期。 0110 将T日与所述交易数据相关的数据复制到影子表， 再将所述交易数据更新至交易 主表的过程可以包括： 在所述切日窗口时期中， 若第一表格的内容涉及修改， 检查其上一次 修改日期是否为T+1日； 若否， 将所述第一表格的内容复制到影子表中后， 再修改所述第一 表格； 若是， 则直接修改所述第一表格。 即在切日时间窗口时期中， 在切日后的第一笔联机 交易数据产生时， 先将切日前完整准确的T日的数据复制到一个影子表中， 记录与所述第一 笔联机交易数据相关的数据在T日的准确数据， 然后再将所述第一笔联机交易数据更新至 交易主表。 0111 数据导出子模块702。

41、， 用于将所述联机子系统中的所述交易主表和所述影子表导 出至批量子系统中。 0112 由于在切日窗口时期中， 并不是所有用户的业务数据都会有更新， 因此只有少部 分用户的T日数据会复制在影子表中， 因此， 在需要对所有T日数据进行批量处理时， 需要将 所述联机子系统中的所述交易主表和所述影子表都导出至批量子系统中。 0113 基于上述内容， 所述数据获取模块的具体结构可参见图8， 如图8所示， 数据获取模 块602可以包括： 0114 数据合并模块801， 用于控制批量子系统将所述影子表中的数据覆盖至所述交易 主表中对应数据上， 获得包含T日静止数据的交易主表。 0115 由于影子表中的数据，。

42、 是T日日终时的一些数据， 而交易主表中与所述影子表中数 据相关的数据已经是进入T+1日后更新过的数据， 因此， 在需要对T日数据进行批量处理时， 需要先获取准确的T日日终时的所有数据， 因此， 需要将所述影子表中的数据覆盖至所述交 易主表中对应数据上。 0116 为了简化操作和处理， 可以将所述交易主表和所述影子表配置为相同的数据结 构。 0117 数据确定模块802， 用于将所述T日静止数据确定为T日数据。 0118 上述实施例详细介绍了导出待处理数据以及从待处理数据中提取获得T日数据的 详细过程， 有利于更好的了解实施银行系统的数据处理方法， 在不会给系统带来切日时间 压力的前提下实现7。

43、x24小时不间断联机交易。 0119 上述实施例中， 所述数据导出模块具体可用于： 通过异构数据源离线同步工具 DataX以脏读模式从联机子系统中获取全量数据同步至批量子系统。 交易主表和影子表的 数据同步方案由于使用的是脏读模式， 所以即使在数据同步时， 也不影响联机交易， 使得联 机交易可以继续操作联机子系统或联机数据库， 与此同时批量子系统也能获取到所需的T 日日终数据用于批量加工。 0120 上述实施例中， 所述数据回写模块604具体可用于： 控制所述批量子系统直接将所 述处理结果数据操作回写至所述联机子系统； 或， 所述批量子系统通过日志交易将所述处 说明书 8/9 页 11 CN 。

44、110910238 A 11 理结果数据回写至所述联系子系统。 0121 在其他的实施例中， 银行系统的数据处理装置还可以包括数据清理模块， 用于在 所述数据回写模块使批量子系统将所述处理结果数据回写至所述联机子系统后， 控制停止 批量处理， 清理T日数据的步骤。 在将处理结果数据回写至联机子系统后， 批量子系统中的T 日数据已经使用完毕， 在没有其他用途的情况下， 可以将T日数据清理， 以释放系统资源。 0122 本说明书中各个实施例采用递进的方式描述， 每个实施例重点说明的都是与其他 实施例的不同之处， 各个实施例之间相同相似部分互相参见即可。 对于实施例公开的装置 而言， 由于其与实施例。

45、公开的方法相对应， 所以描述的比较简单， 相关之处参见方法部分说 明即可。 0123 还需要说明的是， 在本文中， 诸如第一和第二等之类的关系术语仅仅用来将一个 实体或者操作与另一个实体或操作区分开来， 而不一定要求或者暗示这些实体或操作之间 存在任何这种实际的关系或者顺序。 而且， 术语 “包括” 、“包含” 或者其任何其他变体意在涵 盖非排他性的包含， 从而使得包括一系列要素的过程、 方法、 物品或者设备不仅包括那些要 素， 而且还包括没有明确列出的其他要素， 或者是还包括为这种过程、 方法、 物品或者设备 所固有的要素。 在没有更多限制的情况下， 由语句 “包括一个” 限定的要素， 并不。

46、排除在 包括所述要素的过程、 方法、 物品或者设备中还存在另外的相同要素。 0124 结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、 处理器执 行的软件模块， 或者二者的结合来实施。 软件模块可以置于随机存储器(RAM)、 内存、 只读存 储器(ROM)、 电可编程ROM、 电可擦除可编程ROM、 寄存器、 硬盘、 可移动磁盘、 CD-ROM、 或技术 领域内所公知的任意其它形式的存储介质中。 0125 对所公开的实施例的上述说明， 使本领域专业技术人员能够实现或使用本发明。 对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的， 本文中所定义的 一般原理可以在不脱离本发明的精神或范围的情况下， 在其它实施例中实现。 因此， 本发明 将不会被限制于本文所示的这些实施例， 而是要符合与本文所公开的原理和新颖特点相一 致的最宽的范围。 说明书 9/9 页 12 CN 110910238 A 12 图1 图2 说明书附图 1/4 页 13 CN 110910238 A 13 图3 图4 说明书附图 2/4 页 14 CN 110910238 A 14 图5 图6 说明书附图 3/4 页 15 CN 110910238 A 15 图7 图8 说明书附图 4/4 页 16 CN 110910238 A 16 。