龙空技术网

数图互通高校房产管理系统——数据整合过程

数图互通软件 30

前言:

目前同学们对“oracle数据库快照的步骤”大体比较看重,大家都想要知道一些“oracle数据库快照的步骤”的相关文章。那么小编在网摘上网罗了一些有关“oracle数据库快照的步骤””的相关内容,希望同学们能喜欢,看官们一起来了解一下吧!

1、数据提取

在进行数据整合中,为了不影响原系统的正常运行,需要将数据从源系统中不失真的复制到中间过程数据库中。在数据提取过程中主要对源数据表进行一对一的数据复制。数据提取对不同的源数据需要采用不同的复制技术。考虑到数据更新,采用的数据复制技术包括ORACLE的快照复制技术、ETL工具。需要确定更新频次。另外考虑到源数据表中部分表无时间戳标志,无法判断数据自上次复制以来是否被更新,因此需要在整合数据库对应的表中建立时间戳和更新标志,并在源系统表中建立相应的触发器,将时间戳和更新标志回填到整合数据库的对应表中。

2、数据转换

当数据复制到整合数据库中后,需要按照中心数据库数据接口规范和业务规则进行数据转换,将复制的数据转换到接口数据库数据表中。由于数据转换涉及的转化规则比较复杂,因此数据转化将通过ORACALE的PL/SQL程序进行,对于部分转化规则比较简单的数据可以通过ETL工具实现数据转换。根据中心数据库中不同的业务表对象,有不同的PL/SQL过程分别完成,转化过程需要记录转换日期和不满足规则的数据。对日志何为转换成功的数据的记录通过统一的PL/SQL过程完成。

3、数据清洗

数据经过提取、转换到接口数据库表中之后,需要对数据作进一步的清洗,以确保数据满足中心数据库的要求。数据清洗主要对数据对的一致性和完整性进行校验和调整。方式主要由系统统计出不符合中心数据库规范要求的数据,再由系统对数据进行自动检验和校对,然后有数据维护人员手工对仍不符合规范的数据进行修改,决定是进行剔除或矫正。

4、数据加载

当数据通过提取、转换、清洗之后,就可以按照规则将数据加载到中心数据库中。数据加载的方法主要通过ETL工具或ORACLE的快照复制技术进行数据加载。

5、数据转换模型

确定如何抽取、转换数据并非易事,因为它往往存储在多个地方,可能是一个RDMS、一个文本文件、一个Excel文件、一个DBF文件或者其他类型文件,从设计角度讲最好忽视一些连接问题,把主要精力集中在源数据如何映射目标数据上。

6、数据整合技术

在整合过程中,由于现有系统数据不完整、不一致的情况比较多,因此在整合过程中需要通过人工干预的方式对数据进行补充和调整。,为此需要开发一套基于B/S结构对中心数据库进行录入、修改、删除、查询的应用系统。在对数据进行整合的各个阶段,应尽量采用ETL工具。

7、数据更新技术

对于需要更新的数据,首先必须要识别源数据是否已被更新,对一般的系统,源数据表中应该有主键和时间戳,通过时间戳比较可判断数据是否被更新过,然后通过主键确定目标表中对应表的数据记录,通过更新数规则对目标表进行更新。如果源表中没有主键或时间戳的表的数据的更新处理起来相对复杂。数据更新的方式根据实时性要求可采用的技术有Oracle数据库快照、数据库触发器(及时更新)、ETL工具等,可在实际运行时根据不同的需求采用不同的数据更新技术方案。

由于目前高校房产类型很多,房产数据也很多样化。数图互通房产管理数据整合能完美的将这些数据整合,并运用到实际管理中去。

标签: #oracle数据库快照的步骤