龙空技术网

ODS、DW、DM傻傻分不清楚

善用科技 229

前言:

如今小伙伴们对“dw2020实时视图”大概比较关切,看官们都需要了解一些“dw2020实时视图”的相关资讯。那么小编在网摘上汇集了一些有关“dw2020实时视图””的相关内容,希望大家能喜欢,同学们快快来了解一下吧!

目录

一、基本概念

二、相关特征

三、ODS、DW、DM协作层次图

四、ODS、DW、DM协作关系

五、ODS到DW集成示例

六、数据中心架构形式

一、基本概念

ODS

操作性数据(Operational Data Store) 简称ODS,是一个面向主题的、集成的、可变的、当前的细节数据集合,用于支持企业对于即时性的、操作性的、集成的全体信息的需求。ODS存储的是当前的数据情况,给使用者提供当前的状态,提供即时性的、操作性的、集成的全体信息的需求。ODS作为数据库到数据仓库的一种过渡形式,能提供高性能的响应时间,ODS设计采用混合设计方式。ODS中的数据是"实时值",而数据仓库的数据却是"历史值",一般ODS中储存的数据不超过一个月,而数据仓库为10年或更多。

DW

数据仓库(Data Warehouse) 简称DW,数据仓库是一个面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,用于支持管理决策(Decision Making Support)。数据仓库是一个很大的数据存储集合,出于企业的分析性报告和决策支持目的而创建,对多样的业务数据进行筛选与整合。它为企业提供一定的BI(商业智能)能力,指导业务流程改进、监视时间、成本、质量以及控制。数据仓库存储是一个面向主题(移动的用户分析也可作为一个主题)的,反映历史变化数据,用于支撑管理决策。

DM

数据集市(Data Mart)简称DM,为了特定的应用目的或应用范围,而从数据仓库中独立出来的一部分数据,也可称为部门数据或主题数据(subjectarea)。在数据仓库的实施过程中往往可以从一个部门的数据集市着手,以后再用几个数据集市组成一个完整的数据仓库。需要注意的就是在实施不同的数据集市时,同一含义的字段定义一定要相容,这样在以后实施数据仓库时才不会造成大麻烦。数据集市,以某个业务应用为出发点而建设的局部DW,DW只关心自己需要的数据,不会全盘考虑企业整体的数据架构和应用,每个应用有自己的DM。

二、ODS、DW、DM相关特征

特征

ODS

ODS直接存放从业务抽取过来的数据,这些数据从结构和数据上与业务系统保持一致,降低了数据抽取的复杂性。

转移一部分业务系统的细节查询功能,因为ODS存放的数据与业务系统相同,原来有业务系统产生的报表,现在可以从ODS中产生。

完成数据仓库中不能完成的功能,ODS存放的是明细数据,数据仓库DW或数据集市DM都存放的是汇聚数据,ODS提供查询明细的功能。

ODS数据只能增加不能修改,而且数据都是业务系统原样拷贝,所以可能存在数据冲突的可能,解决办法是为每一条数据增加一个时间版本来区分相同的数据。

DW

效率足够高,要对进入的数据快速处理。

数据质量高,数据仓库是提供很多决策需要的数据支撑,DW的数据应该是唯一的具有权威性的数据,企业的所有系统只能从DW取数据,所以需要定期对DW里面的数据进行质量审,保证DW里边数据的唯一、权威、准确性。

扩展性,企业业务扩展和降低企业建设数据仓库的成本考虑

面向主题,数据仓库中的数据是按照一定的主题域进行组织的,每一个主题对应一个宏观的分析领域,数据仓库排除对决策无用的数据,提供特定主题的简明视图。

数据仓库主要提供查询服务,并且需要查询能够及时响应

DW的数据也是只允许增加不允许删除和修改,数据仓库主要是提供查询服务,删除和修改在分布式系统.

DM

DM结构清晰,针对性强,扩展性好,因为DM仅仅是单对一个领域而建立,容易维护修改

DM建设任务繁重,公司有众多业务,每个业务单独建立表。

DM的建立更多的消耗存储空间,单独一个DM可能数据量不大,但是企业所有领域都建立DM这个数据量就会增加多倍。

三、ODS、DW、DM协作层次图

部门

聚焦领域的、面向具体的一类对象、教务、财务、学工、科研

数据仓库DW

随着时间变化、集成的、面向主题

操作性数据

细节、逐日、当前值、访问的高可能性、来源应用

四、ODS、DW、DM协作关系

ODS

DW

DM

张三

2018年 副教授

张三

1998年 助教

助教 20

讲师 120

教授 38

张三

2004年 讲师

张三

2018年 副教授

五、ODS到DW集成示例

ODS

DW

人事信息

张三

1977-07-01

沈阳人

张三

1977-07-01

沈阳人

发表论文3篇

科研获奖1次

主题交流1次

2020年课时数48节

科研信息

发表论文3篇

科研获奖1次

主题交流1次

教务信息

2020年课时数48节

六、数据中心架构形式

1、ODS、DW并行

优点:DW不用受限,灵活度和扩展度都很高。

缺点:DW和ODS可能出现数据不统一的情况。

2、业务数据-ODS-DW

优点:这样做的好处是ODS的数据与数据仓库的数据高度统一。

缺点:数据仓库需要的所有数据都需要走ODS,那么DW的灵活性必然受到影响。

标签: #dw2020实时视图