一、背景

商业银行传统的IOE架构存在弹性扩展能力有限、硬件平台兼容性差、开发和运维主要依赖于服务厂商，服务成本高并且无法做到完全自主掌控等多方面瓶颈。因此，由国外主机平台向国产分布式平台迁移是大势所趋。正因为迁移的必要性以及迁移的困难程度之大，迁移前后，数据库中数据的一致性的验证，变得十分重要。

二、案例介绍

某股份制银行需将原DB2数据库超18T的数据，在48小时之内，100%正确率要求下全量移植到新核心分布式数据库。并在数据迁移的过程中完成全量迁移数据的字段级比对校验。

二、客户痛点

1) 如何做到全库全表、全数据、全面覆盖的快速比对

2) 表结构复杂：大对象字段固定结构（含中文、P类型、S类型等）和可变结构（按交易码选择结构类型）

3) 如何避免对生产环境造成影响

4) 如何做到全字段级的数据比对

5) 如何对比对失败的记录进行数据补录

四、解决方案

1、全数据量的快速比对

通过产品本身的大数据引擎，并通过块比对、行比对、字段级比对的方式，对两个系统的同一数据进行快速校验

2、在表结构中含有大字段的情况下完成数据比对

1) 将大字段数据采用统一规则进行转换，再将转换后的数据进行比对

2) 通过字段关联可以解决字段动态变化的问题

3、在不影响生产环境的情况下进行对

1) 只抽取备库的日志与目标库的数据进行比对

2) 通过从备库抽取数据的方式与目标库的数据进行比对

4、字段级的数据比对

按行为最小粒度计算特征值, 按指定区块为单位(通常以百万行划分)进行区块特征值比对

5. 数据补录修正

通过比对引擎将所有比对失败的记录进行汇总，根据业务规则，生成修订语句并在目标数据库执行，完成补录。