(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211123895.9 (22)申请日 2022.09.15 (71)申请人 中国建设银行股份有限公司 地址 100033 北京市西城区金融大街25号 申请人 建信金融科技有限责任公司 (72)发明人 鲜伟　 (74)专利代理 机构 北京同立钧成知识产权代理 有限公司 1 1205 专利代理师 孙静　臧建明 (51)Int.Cl. G06F 16/22(2019.01) G06F 16/23(2019.01) G06F 16/27(2019.01) G06Q 40/00(2012.01) (54)发明名称 大数据拉链表处理方法、 装置、 设备及存储 介质 (57)摘要 本申请提供一种大数据拉链表处理方法、 装 置、 设备及存储介质， 涉及数据处理领域。 该方法 包括： 获取拉链表的增量数据， 所述拉链表的主 键包括客户标识和产品标识， 所述拉链表的信息 变化键包括消费明细、 收益明细、 资产明细中的 至少一种； 根据所述增量数据所占的存储空间， 获取用于处理拉链表的基于Spark框架的并发 数； 根据每个并发数所对应的增量数据以及所述 拉链表的主键和 信息变化键， 对 所述拉链表进行 处理。 本申请的方法， 解决了现有的系统在低成 本和高效率的满足用户的需求方面有所欠缺的 问题。 权利要求书2页 说明书9页 附图3页 CN 115422198 A 2022.12.02 CN 115422198 A 1.一种大 数据拉链 表处理方法， 其特 征在于， 包括： 获取拉链表 的增量数据， 所述拉链表的主键包括客户标识和产品标识， 所述拉链表的 信息变化键包括消费明细、 收益明细、 资产明细中的至少一种； 根据所述增量数据所占的存 储空间， 获取用于处 理拉链表的基于Spark框架的并发数； 根据每个并发数所对应的增量数据以及所述拉链表的主键和信 息变化键， 对所述拉链 表进行处 理。 2.根据权利要求1所述的方法， 其特征在于， 所述根据所述增量数据所占的存储空间， 获取用于处 理拉链表的基于Spark框架的并发数， 包括： 根据所述增量数据所占的存储空间和每个并发线程所对应的增量数据的处理量， 获取 用于处理拉链表的基于Spark框架的并发数； 其中， 每 个并发线程对应的处 理量相同。 3.根据权利要求1所述的方法， 其特征在于， 所述根据每个并发数所对应的增量数据以 及所述拉链 表的主键和信息变化键， 对所述拉链 表进行处 理， 包括： 针对每个并发线程所对应的增量数据， 以所述主键进行前缀匹配， 获取信息变化键下 相对于开链数据发生信息变化的目标 数据； 对所述目标数据对应的开链数据进行闭链操作， 根据所述目标数据生成新的开链数 据， 并将所述 新的开链数据存 储在HBase 数据库中。 4.根据权利要求1所述的方法， 其特征在于， 所述获取拉链表的增量数据之前， 所述方 法还包括： 构建所述拉链表， 所述拉链表还包括开始时间和结束时间， 其中， 所述结束时间设置为 预设时间， 用于指示 最新数据， 所述 开始时间设置为数据发生变化的时间。 5.根据权利要求3所述的方法， 其特征在于， 所述将所述新的开链数据存储在HBase数 据库中， 所述方法还 包括： 通过bulkload方式将所述 新的开链数据存 储至所述HBase 数据库中。 6.根据权利 要求5所述的方法， 其特征在于， 所述通过bulkload方式将所述新的开链数 据存储至所述HBase 数据库中， 包括： 根据所述HBase 数据库的regi on分布， 通过 所述新的开链数据生成Hfi le文件； 将所述Hfi le文件注 册到所述HBase 数据库。 7.根据权利要求 4所述的方法， 其特 征在于， 所述方法还 包括： 根据所述拉链 表中同一主键的开链日期字段， 从下至上获取多条表单 数据； 根据所述多条表单 数据， 进行历史趋势统计。 8.一种大 数据拉链 表处理设备， 其特 征在于， 包括： 获取模块， 用于获取拉链表的增量数据， 所述拉链表的主键包括客户标识和产品标识， 所述拉链 表的信息变化键包括消费明细、 收益明细、 资产明细中的至少一种； 计算模块， 用于根据所述增量数据所占的存储空间， 获取用于处理拉链表的基于Spark 框架的并发数； 处理模块， 根据每个并发数所对应的增量数据以及所述拉链表的主键和信息变化键， 对所述拉链 表进行处 理。 9.一种电子设备， 包括： 处 理器和存 储器； 所述存储器存储计算机执 行指令；权　利　要　求　书 1/2 页 2 CN 115422198 A 2所述处理器执行所述存储器存储的计算机执行指令， 使得所述电子设备执行权利要求 1至7中任一项所述的方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质中存储有计算机 执行指令， 所述计算机执行指 令被处理器执行时用于实现如权利要求 1至7任一项 所述的一 种大数据拉链 表处理方法。 11.一种计算机程序产品， 包括计算机程序， 该计算机程序被处理器执行时实现权利要 求1‑7中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115422198 A 3