拓源讲堂（五) | 大数据技术介绍与应用--基础篇###

“拓源讲堂”第五讲来了！本期内容的主题是“大数据技术介绍与应用——基础篇”。

随着互联网的发展和云时代的到来，大数据成为了很多人关注的方面。那具体什么是大数据技术呢？小编这就带你一探究竟，让我们共同开启大数据的奥妙之旅吧！

05

大数据技术介绍

与应用

课程分为3个部分对大数据知识进行了基础介绍。

o 大数据介绍

2015年9月，国务院印发《促进大数据发展行动纲要》。《纲要》部署三方面主要任务——

一要加快政府数据开放共享，推动资源整合，提升治理能力。大力推动政府部门数据共享，稳步推动公共数据资源开放，统筹规划大数据基础设施建设，支持宏观调控科学化，推动政府治理精准化，推进商事服务便捷化，促进安全保障高效化，加快民生服务普惠化。

二要推动产业创新发展，培育新兴业态，助力经济转型。发展大数据在工业、新兴产业、农业农村等行业领域应用，推动大数据发展与科研创新有机结合，推进基础研究和核心技术攻关，形成大数据产品体系，完善大数据产业链。

三要强化安全保障，提高管理水平，促进健康发展。健全大数据安全保障体系，强化安全支撑。

大数据一般具有5V（大量-Volume、高速-Velocity、多样-Variety、低价值密度-Value、真实-Veracity）特征及复杂性和可变性。数据种类可包括结构化、半结构化、非结构化数据，数据量可达到百亿以上及 PB 级别。

大数据的发展历程主要分为以下四个阶段：

（1）无大数据概念

只有部分关键数据历史分析还称不上大数据

能产生数据但没有采集

（2）了解大数据

运营过程发现大数据产生

有数据流处理过程但过程数据未作保留

（3）大数据管理

针对业务过程开始收集大数据

对数据进行分析并改善生产能力

（4）大数据创新

大数据与AI结合预测结果和改进生产能力

互联网+大数据创新，实现智能化管理

o 大数据技术四部分

大数据技术可分为四个部分（4D），分别是大数据采集(DI)、大数据存储(DS)、大数据计算(DC)以及大数据分析&应用(DA)。

o 大数据技术的使用

(1) 数据采集-Data Integration

数据采集的来源根据不同的数据类型和场景，可分为关系及非关系型数据库，应用产生的日志，多媒体文档以及消息类型的数据。不同的类型的数据需要采用不同的数据采集方式。

(2) 大数据存储-Data Storage

大数据存储的方式也有多种多样，如文档存储可采用 DFS，关系型数据可采用 Hive 或 Clickhouse，K-V 型数据可以采用HBase。一般会根据数据的类型及使用场景选择一种或多种的存储方式。大数据存储一般也配搭传统关系数据库作为辅助，如存储索引、统计结果等。

(3) 大数据计算-Data Compute

大数据计算通常可分为流式计算，内存计算。也可以是基于 SQL 的运算，如 Presto 等。

(4) 大数据分析&应用-Data Application

大数据应用场景很广泛，常见的就是 BI 报表或统计报表、分析报表，也可以直接提供数据服务。

(5) 企业应用大数据平台

以上就是本期“大数据技术介绍与应用——基础篇”的所有内容，希望通过本期内容的分享，能够帮助大家对大数据技术知识体系有简单的了解与认知，便于大家后续对大数据技术有更深层次的学习。

之后，“拓源讲堂”依旧继续推进2022年技术分享交流计划，按照技术热点及公司技术产品进展为大家实时更新更多技术分享。

课程除了通过线下讲堂/线上视频课堂的方式进行培训，还会不定期通过「恒拓开源」与「恒赢智航」的微信公众号发表技术文章，欢迎大家关注实时动态，并参与进分享学习的大军，一起用领先的技术推动行业进步！

拓 源 讲 堂

2022年度技术交流分享计划

序号

分享

题目

内容

梗概

课程回顾

1

微服务架构相关技术介绍

微服务架构漫谈，微服务架构及相关的技术介绍，技术中台发展方向

2

容器化技术介绍与应用-Docker

普及 Docker 相关的基础知识及应用场景，Docker 的安装使用等线上实践教学

3

容器化技术介绍与应用-K8S

容器化技术的高级课程，介绍 K8S 原理及安装使用等实践教学，介绍 K8S 相关的技术

4

信创基础知识入门

了解信创是什么；我们为什么需要推行信创；信创有哪些相关的相术

5

大数据技术介绍与应用1

介绍目前大数据相关的技术，为初识大数据技术的人员提供入门基础

本期

图文

6

大数据技术介绍与应用2

深入介绍大数据的实用技术，如 Hadoop 的安装使用等及应用场景案例等，为实践大数据项目提供经验参考

待开展

7

区块链技术介绍

带大家了解区块链，区块链技术介绍、产品及应用场景

待开展

8

低代码平台介绍

什么是LCNC，低代码平台技术介绍、行业适用场景

待开展

9

AI技术介绍与应用1

了解 AI 技术，语音/图像/人脸识别/机器学习

待开展

10

AI技术介绍与应用2

AI 技术的应用，语音/图像/人脸识别/机器学习

待开展

11

信创技术介绍与应用

介绍项目如何做到信创兼容，信创技术在项目中的应用

待开展

12

BI技术介绍与应用1

介绍目前的 BI 技术及产品，为初识BI技术的人员提供入门基础

（非 BI 理论介绍）

待开展

13

BI技术介绍与应用2

深入介绍BI 技术的应用，如 Presto，SuperSet 等应用实践

待开展

14

前端技术介绍与应用

漫谈前端技术，除了 VUE、React，还有哪些好用的前端技术及 UI 框架

待开展

15

新兴语言介绍

除了 Java、.Net 等常见的编程语言，还有哪些新兴编程语言是有比较前景的，希望通过本次学习能让大家扩充编程技能提升自身价值

待开展

16

规则与决策技术介绍

介绍规则与决策技术，我们在项目方案过程可以借鉴哪些规则引擎产品的实施经验

待开展

17

Serverless介绍

Serverless这个技术随着微服务出现在人们的视野，这里介绍Serverless有哪些相关技术，如何实现Serverless

待开展

18

其他技术介绍与应用

聊聊我们都可能接触的技术