龙空技术网

数据库行业发展研究报告

认是 1555

前言:

眼前我们对“oracle对某一列数据剔重”大概比较看重,你们都想要剖析一些“oracle对某一列数据剔重”的相关文章。那么小编也在网上收集了一些对于“oracle对某一列数据剔重””的相关内容,希望兄弟们能喜欢,小伙伴们快快来了解一下吧!

(报告出品方/作者:华福证券,钱劲宇)

核心观点:

数据库应用的发展趋势:混合事务分析处理(HTAP) 针对OLTP和OLAP单独的数据应用需求,如果由各自专有系统处理,一般来说性能将比混合通用系统性能高 一到两个数量级,但未来整合的趋势更明显,客户需要可以满足混合需求的通用系统,HTAP基于一体化架构 高度融合,在事务支持和数据时效上更有保证,同时减少专有系统数据迁移处理下的同步成本。数据库架构的发展趋势:分布式架构 分布式数据库继承了传统单机数据库的核心特性,同时还拥有分布式系统的处理能力,具有可水平扩展、高 性能、高可用、混合负载、更安全等优点。原生分布式架构数据库直接改变底层结构,因此性能不受底层数 据库制约,也天然契合云原生理念。

1、数据库行业介绍及发展趋势

数据库基本概念及分类

数据库(DBS)是一个按数据结构来存储和管理数据的 计算机软件系统。 数据库管理系统(DBMS)是数据库系统(DBS)的核心组 成部分,主要完成对数据库的操作与管理功能,实现 数据库对象的创建、数据库存储数据的查询、添加、 修改与删除操作和数据库的用户管理、权限管理等。

NoSQL数据库是对关系型数据库的有益补充

关系型数据库的不足:高并发读写性能低:关系型数据库的性能和访问承载能力,在面向单一数据节点的企业级应用时代无可挑 剔。但随着数据量和节点急剧提升,已很难继续支撑巨大的规模系统,甚至成为应用系统的瓶颈;不适合储存半结构和非结构类型数据:二维表格数据模型不能有效地处理多维数据,不能有效处理互联网 应用中半结构化和非结构化的海量数据,如Web页面、电子邮件、音频、视频等;容量有限:当一个应用系统的用户量和访问量与日俱增的时候,传统的关系型数据库却没有办法简单地通 过添加更多的硬件和服务节点来扩展性能和负载能力。

NewSQL集成了NoSQL和关系型数据库的优点

数据库诞生于20C60s,前后经历了网状数据库、层次数据库、关系型数据库、云数据库、云原生数据库。网状数据库:1964年,通用电气公司发布世界上第一个网状数据库系统IDS(Integrated Data Storage集 成数据存储),IDS是网状数据库,奠定了数据库发展的基础。层次数据库:1968年,IBM发布世界上第一个层次数据库系统IMS(Information Management System 信息管理系统),是第一个大型商用的数据库系统。关系型数据库:1978年,第一个关系型数据库Oracle 1.0 诞生,后续几十年中关系型数据库一直占据市 场主导地位,直至移动互联网时代到来。NoSQL数据库:随着WEB 2.0网站兴起,NoSQL数据库应运而生,解决了大规模数据集合和多种数据类 型的处理挑战。

数据库应用的发展趋势:混合事务分析处理(HTAP)

2014年,Gartner提出 HTAP(Hybrid Transaction/Analytical Processing)混合事务分析处理的概念。 HTAP基于一体化架构,是高度融合的一个系统,在技术上更难,但对事务的支持和数据的时效上更有保证 ,同时减少数据在链条流动存在的多份数据冗余保存的负担,节省了技术、人力、时间和数据同步成本。 而如果用“OLTP+OLAP”模式,两套系统让迁移适配成本大幅上升,且为系统后续的开发和运维带来难处 ,同时也没法保证对事务的支持能力和数据的时效。OLAP本身不生产数据,需通过对OLTP操作数据的转 化清洗迁移后,才可以进行专题需求分析。

数据库架构:从单机到分布式数据库

从早期的单机关系型数据库到NoSQL再到如今的NewSQL,数据库领域不管是场景还是技术都发生了巨大 的变化。在当下云原生时代,任何软件系统拥有分布式能力似乎成了标配。分布式数据库继承了传统单机数据库的核心特性,同时还拥有分布式系统的处理能力。分布式数据库可水平扩展、高性能、高可用、混合负载、更安全。

数据库架构:分布式架构的三条技术路线

1、 分布式中间件+单机数据库:通过数据在逻辑层的线性切割 实现性能和存储容量的扩展,但能力受单机数据库自身制约。且 移动扩展困难、数据迁移困难、运维难度高。 2、 分布式存储:大部分公有云数据库都属此类,以共享存储和 非对称计算节点实现数据一致性和读写分流,有限解决了扩展性 问题。如GaussDB(for MySQL)、TDSQL-C、SequoiaDB等。3、 原生分布式数据库:各计算 节点提供对等的读写服务,TiDB 、OceanBase、ZNBase等。

数据库部署:从本地到云部署

据Gartner 2021年数据库产品提供商排名,Microsoft 凭借云数据库的后发优势,抢占了Oracle占据十年 的榜首,前十名中有四家以云服务为主的企业,分别为 Microsoft/Amazon/Google/阿里云。Gartner预 测到2023年,全球75%的数据库将完成云平台的迁徙,仅有 5%的数据保持在原本的本地部署。 据中国信通院,2020 年中国公有云数据库市场规模为 107.68 亿元,后续5年公有云数据库市场年复合增长 率将达到36.1%,预计到2025年,中国公有云数据库市场总规模将达到 503.31 亿元。

2、国外数据库市场主要玩家

Microsoft:2020-2021蝉联数据库市场份额榜首

1、Access:1992年推出的Access与专业数据库比简单易用,但它又只支持有限的使用范围。从2013年起, Access就已不再推新并不断削减功能,如dBASE导入旧格式功能、数据迁移至SQL Server的升级向导等; 2、SQL Server:至今为止已发布30+个版本,最新的Microsoft SQL Server 2019具有三大特性:核心引擎:SQL Server是HTAP混合负载能力的行业引领者,早在2017年的版本中就已实现了在单一引擎 中对 OLTP 和 OLAP 工作负载的同时支撑;数据虚拟化:为维护在企业整体架构中的核心地位,数据库必须支持多模型多范式,针对客观存在的异构 数据源,在传统建立ETL通道外,数据虚拟化是更先进的理念。

Amazon:云原生数据库鼻祖

从云数据库到云原生数据库:近几年随着云基础设施的高速发展,同时具有按需扩展、按需付费优异特性的 云数据库获得中小企业及互联网客户的青睐。然后云数据库本质不是针对云场景或云环境来设计或构建的, 只是用到了云的资源,因此存在一些天然的问题,比如存储空间浪费、计算资源浪费、较大的恢复时间目标 和数据滞后、系统性能受限、网络带宽消耗大等,从而限制了业务发展。云原生数据库应运而生。

Oracle:关系型数据库巨头

1970年,IBM研究员发表论文提出关系数据模型的概念,奠定了关系数据模型的理论基础。1978年,Larry Ellison在为中情局做数据项目时发现了关系数据库的商机。同年Oracle1.0诞生,Oracle 成为第一家销售RDBMS软件的公司,在1982年一年内年收入就达到250万美元。

IBM:传统巨头经久不衰

在传统数据库领域,海外厂商起步较早,包括 Oracle、IBM、Microsoft 等,通过早期不断的技术积累和产品 迭代主导了传统数据库市场,具有先发优势。IBM 在1973年就启动 SystemR 项目来研发关系型数据库, 1983年发布商业版数据库 DB2。DB2代表了一组完整的数据管理系统,包括可在云环境中使用的服务器。早 期 DB2 支持关系数据库模型,但现在很多产品已经扩展为支持关系和非关系结构。IBM 在2019年为 DB2 制 定的目标是成为帮助增强认知应用程的人工智能数据库,在数据库产品中融入 AI 功能,帮助用户跨本地和多 云环境实现结构化数据和非结构化数据管理,并加速他们的 AI 应用程序开发。Gartner 在2021年云数据库管 理系统魔力象限中再次将 IBM 提名为领导者。

Snowflake:云原生时代下的独立厂商

云原生时代下,大数据的爆发带来多元化需求,传统数据库厂商难以满足各类复杂场景下的业务需求,一 大批独立厂商、初创厂商快速崛起。独立厂商 Snowflake 于2012年成立,专注于数据仓库的开发,主要 应用于分析类场景。Snowflake 云数据平台基于公有云实现智能基础设施、产品弹性和优化的存储。核心 产品数据仓库建立在云原生构架上,创造存储、计算以及管理服务分离的架构,摆脱了传统大厂数仓架构 带来的局限性,能够满足客户对数据仓库并发性、易用性、扩展性的诉求,确保客户在各种分析场景下安 全访问数据,同时支持在 Amazon AWS、Microsoft Azure、Google Cloud 三大公有云进行灵活部署, 符合未来多云部署的发展趋势。

3、国内数据库市场及竞争格局

中国数据库市场规模及增速

中国信通院测算,2020 年全球数据库市场规模671亿美元,其中中国数据库市场占全球 5.2%,约35亿美 元。 预计到 2025年,全球数据库市场规模将达到798亿美元。中国 IT 总支出在全球占比为12.3%。 预计2025年中国数据库市场在全球的占比接近中国IT支出在全球的占比,因此2025年中国数据库市场总规 模将达到 688 亿元,年复合增长率(CAGR) 23.4%。

国产数据库市占率持续扩大

根据 IDC 数据,2021年下半年国内数据库厂商在关系型数据库市场的市占率继续扩大。其中公有云模式 市场前五有三家国内厂商,两家海外厂商份额均下降,腾讯、华为市场份额都扩大。在本地部署模式市场 ,国内厂商正在快速追赶 Oracle、IBM 等海外厂商。达梦市场份额扩大接近一倍;人大金仓过去一年在 政府行业获得大量订单;华为在政企、金融行业也获得突破。总体国内厂商的份额不断扩大。 国内,达梦、人大金仓等是老牌数据库厂商,PingCAP 是初创厂商代表,凭借开源数据库TiDB在市场中 占据一定份额。国内阿里云OceanBase和PolarDB,华为云openGauss 和GaussDB则纷纷乘云而上。

PingCAP:不同于老牌厂商的定位

受到国产替代化的影响,PingCAP、Sequoia、易鲸捷等 初创厂商纷纷涌入数据库市场,国产厂商阵营日渐强大。 2022年,PingCAP 入选 Gartner 云数据库领域的 Peer Insights“Voice of the Customer”,成为唯一入选的中 国企业级开源分布式数据库厂商,并在 Strong Performer 象限位列第一。公司旗下的 TiDB 数据库获得 94% 全球用 户的高度认可。

阿里:OceanBase&PolarDB

OceanBase 是全球唯一在 TPC-C 和 TPC-H 测试上都刷新了世界纪录的国产原生分布式数据库,实现 100%自研,没有基于任何开源数据库模块,兼顾分布式架构的扩展性与集中式架构的性能优势,用一套 引擎同时支持 OLTP 和 OLAP 的混合负载,具备数据强一致、高扩展、高可用、高性价比、高度兼容 Oracle/MySQL、稳定可靠等特征,不断用技术降低企业使用数据库的门槛。OceanBase 经历开源到闭 源,2021年6月再次开源,以开放化的方式让软件本身和上下游技术以及应用生态对接,共建分布式数 据库的未来。

报告节选:

(本文仅供参考,不代表我们的任何投资建议。如需使用相关信息,请参阅报告原文。)

精选报告来源:【未来智库】

标签: #oracle对某一列数据剔重