什么是hive1.1. hive基本思想

Hive是基于Hadoop的一个数据仓库工具(离线)，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。

1.2. 为什么使用Hive

Ø 直接使用hadoop所面临的问题 （50%）

人员学习成本太高

项目周期要求太短

MapReduce实现复杂查询逻辑开发难度太大

Ø 为什么要使用Hive

操作接口采用类SQL语法，提供快速开发的能力。

避免了去写MapReduce，减少开发人员的学习成本。

功能扩展很方便。

1.3. Hive的特点

Ø 可扩展

Hive可以自由的扩展集群的规模，一般情况下不需要重启服务。

Ø 延展性

Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数。

Ø 容错

良好的容错性，节点出现问题SQL仍可完成执行。

2. hive的基本架构

Jobtracker是hadoop1.x中的组件，它的功能相当于：

Resourcemanager+MRAppMaster

TaskTracker 相当于：

Nodemanager + yarnchild

3. hive安装3.1. 最简安装：用内嵌derby作为元数据库

（hive内部自带的元数据库，不支持多用户的模式）

准备工作：安装hive的机器上应该有HADOOP环境（安装目录，HADOOP_HOME环境变量）

安装：直接解压一个hive安装包即可

此时，安装的这个hive实例使用其内嵌的derby数据库作为记录元数据的数据库

此模式不便于让团队成员之间共享协作

3.2. 标准安装：将mysql作为元数据库3.2.1. mysql安装

yum安装

①　给root用户授予从任何机器上登陆mysql服务器的权限：

mysql> grant all privileges on *.* to 'root'@'%' identified by '你的密码' with grant option;

Query OK, 0 rows affected (0.00 sec)

mysql> flush privileges;

Query OK, 0 rows affected (0.00 sec)

注意点：要让mysql可以远程登录访问

最直接测试方法：从windows上用Navicat去连接，能连，则可以，不能连，则要去mysql的机器上用命令行客户端进行授权：

在mysql的机器上,启动命令行客户端：

mysql -uroot -proot

mysql>grant all privileges on *.* to 'root'@'%' identified by 'root的密码' with grant option;mysql>flush privileges;

3.2.2. hive的元数据库配置

vi hive-site.xml

<configuration><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value><description>JDBC connect string for a JDBC metastore</description></property> <property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value><description>Driver class name for a JDBC metastore</description></property> <property><name>javax.jdo.option.ConnectionUserName</name><value>root</value><description>username to use against metastore database</description></property> <property><name>javax.jdo.option.ConnectionPassword</name><value>123456</value><description>password to use against metastore database</description></property></configuration>

2、上传一个mysql的驱动jar包到hive的安装目录的lib中

3、配置HADOOP_HOME 和HIVE_HOME到系统环境变量中：/etc/profile

4、source /etc/profile

5、hive启动测试

然后用命令启动hive交互界面：

[root@hdp20-04 ~]# hive

4. hive使用方式4.1. 最基本使用方式

启动一个hive交互shell

bin/hive

hive>

设置一些基本参数，让hive使用起来更便捷，比如：

1、让提示符显示当前库：

hive>set hive.cli.print.current.db=true;

2、显示查询结果时显示字段名称：

hive>set hive.cli.print.header=true;

set hive.resultset.use.unique.column.names=false;

set hive.exec.mode.local.auto=true;

4.2. 脚本化运行

大量的hive查询任务，如果用交互式shell来进行输入的话，显然效率及其低下，因此，生产中更多的是使用脚本化运行机制：

该机制的核心点是：hive可以用一次性命令的方式来执行给定的hql语句

[root@hdp20-04 ~]# hive -e "insert into table t_dest select * from t_src;"

然后，进一步，可以将上述命令写入shell脚本中，以便于脚本化运行hive任务，并控制、调度众多hive任务，示例如下：

vi t_order_etl.sh

#!/bin/bashhive -e "select * from db_order.t_order"hive -e "select * from default.t_user"hql="create table  default.t_bash as select * from db_order.t_order"hive -e "$hql" 

如果要执行的hql语句特别复杂，那么，可以把hql语句写入一个文件：

vi x.hql

select * from db_order.t_order;select count(1) from db_order.t_user; 

然后，用hive -f /root/x.hql 来执行

5. hive建库建表与数据导入5.1. 建库

hive中有一个默认的库：

库名： default

库目录：hdfs://hdp20-01:9000/user/hive/warehouse

新建库：

create database db_order;

库建好后，在hdfs中会生成一个库目录：

hdfs://hdp20-01:9000/user/hive/warehouse/db_order.db

5.2. 建表5.2.1. 基本建表语句

use db_order;

create table t_order(id string,create_time string,amount float,uid string);

表建好后，会在所属的库目录中生成一个表目录

/user/hive/warehouse/db_order.db/t_order

只是，这样建表的话，hive会认为表数据文件中的字段分隔符为 ^A（\001）

正确的建表语句为：

create table t_order(id string,create_time string,amount float,uid string)

row format delimited

fields terminated by ',';

这样就指定了，我们的表数据文件中的字段分隔符为 ","

5.2.2. 删除表

drop table t_order;

删除表的效果是：

hive会从元数据库中清除关于这个表的信息；

hive还会从hdfs中删除这个表的表目录；

5.2.3. 内部表与外部表

内部表(MANAGED_TABLE)：表目录按照hive的规范来部署，位于hive的仓库目录/user/hive/warehouse中

外部表(EXTERNAL_TABLE)：表目录由建表用户自己指定

create external table t_access(ip string,url string,access_time string)

row format delimited

fields terminated by ','

location '/access/log';

外部表和内部表的特性差别：

1、内部表的目录在hive的仓库目录中 VS 外部表的目录由用户指定

2、drop一个内部表时：hive会清除相关元数据，并删除表数据目录

3、drop一个外部表时：hive只会清除相关元数据；

一个hive的数据仓库，最底层的表，一定是来自于外部系统，为了不影响外部系统的工作逻辑，在hive中可建external表来映射这些外部系统产生的数据目录；

然后，后续的etl操作，产生的各种中间表建议用managed_table（内部表）

5.2.4. 分区表

分区表的实质是：在表目录中为数据文件创建分区子目录，以便于在查询时，MR程序可以针对分区子目录中的数据进行处理，缩减读取数据的范围。

比如，网站每天产生的浏览记录，浏览记录应该建一个表来存放，但是，有时候，我们可能只需要对某一天的浏览记录进行分析

这时，就可以将这个表建为分区表，每天的数据导入其中的一个分区；

当然，每日的分区目录，应该有一个目录名（分区字段）

5.2.4.1. 一个分区字段的实例：

示例如下：

1、创建带分区的表

create table t_access(ip string,url string,access_time string)partitioned by(dt string)row format delimitedfields terminated by ',';

注意：分区字段不能是表定义中的已存在字段

2、向分区中导入数据

load data local inpath '/root/access.log.2017-08-04.log' into table t_access partition(dt='20190527');

load data local inpath '/root/access.log.2017-08-05.log' into table t_access partition(dt='20190528');

3、针对分区数据进行查询

a、统计8月4号的总PV：

select count(*) from t_access where dt='20190527';

实质：就是将分区字段当成表字段来用，就可以使用where子句指定分区了

b、统计表中所有数据总的PV：

select count(*) from t_access;

实质：不指定分区条件即可

5.3. 数据导入导出5.3.1. 将数据文件导入hive的表

方式1：导入数据的一种方式：

手动用hdfs命令，将文件放入表目录；

方式2：在hive的交互式shell中用hive命令来导入本地数据到表目录

hive>load data local inpath '/root/order.data.2' into table t_order;

方式3：用hive命令导入hdfs中的数据文件到表目录

hive>load data inpath '/access.log.2017-08-06.log' into table t_access;

注意：导本地文件和导HDFS文件的区别：

本地文件导入表：复制

hdfs文件导入表：移动

5.3.2. 将hive表中的数据导出到指定路径的文件

1、将hive表中的数据导入HDFS的文件

insert overwrite directory '/root/access-data'

row format delimited fields terminated by '::'

select * from student;

2、将hive表中的数据导入本地磁盘文件

insert overwrite local directory '/root/access-data'

row format delimited fields terminated by ','

select * from t_stu limit 100000;

5.4. 数据类型5.4.1. 数字类型

TINYINT (1字节整数)

SMALLINT (2字节整数)

INT/INTEGER (4字节整数)

BIGINT (8字节整数)

FLOAT (4字节浮点数)

DOUBLE (8字节双精度浮点数)

示例：

create table t_test(a string ,b int,c bigint,d float,e double,f tinyint,g smallint)

5.4.2. 时间类型

TIMESTAMP (时间戳) (包含年月日时分秒的一种封装)

DATE (日期)（只包含年月日）

示例，假如有以下数据文件：

1,zhangsan,1985-06-30

2,lisi,1986-07-10

3,wangwu,1985-08-09

那么，就可以建一个表来对数据进行映射

create table t_customer(id int,name string,birthday date)

row format delimited fields terminated by ',';

然后导入数据

load data local inpath '/root/customer.dat' into table t_customer;

然后，就可以正确查询

5.4.3. 字符串类型

STRING

VARCHAR (字符串1-65355长度，超长截断)

CHAR (字符串，最大长度255)

5.4.4. 其他类型

BOOLEAN（布尔类型）：true false

BINARY (二进制)：

5.4.5. 复合类型

5.4.5.1. array数组类型

arrays: ARRAY<data_type> )

示例：array类型的应用

假如有如下数据需要用hive的表去映射：

流浪地球,吴京:吴孟达:李光洁,2019-02-06三生三世十里桃花,杨幂:迪丽热巴:高伟光,2017-08-20都挺好,姚晨:倪大伟:郭京飞,2019-03-01

设想：如果主演信息用一个数组来映射比较方便

建表：

create table t_movie(name string,actors array<string>,times string)row format delimited fields terminated by ','collection items terminated by ':';

导入数据：

load data local inpath '/root/movie.dat' into table t_movie;

查询：

select * from t_movie;

select moive_name,actors[0] from t_movie;

select moive_name,size(actors) from t_movie;

5.4.5.2. map类型

maps: MAP<primitive_type, data_type>

1) 假如有以下数据： map集合

1,zhangsan,father:xiaoming#mother:xiaohuang#brother:xiaoli,282,lisi,father:mayun#mother:huangyi#brother:mahuateng,223,wangwu,father:wangjianlin#mother:ruhua#sister:jingtian,294,mayun,father:mayongzhen#mother:angelababy,26可以用一个map类型来对上述数据中的家庭成员进行描述

2) 建表语句：

create table t_person(id int,name string,family_members map<string,string>,age int)row format delimited fields terminated by ','collection items terminated by '#'map keys terminated by ':';

3) 查询

select * from t_person;

## 取map字段的指定key的值

select id,name,family_members['father'] as father from t_person;

## 取map字段的所有key

select id,name,map_keys(family_members) as relation from t_person;

## 取map字段的所有value

select id,name,map_values(family_members) from t_person;

select id,name,map_values(family_members)[0] from t_person;

## 综合：查询有brother的用户信息

select id,name,fatherfrom(select id,name,family_members['brother'] as father from t_person) tmpwhere father is not null; 

5.4.5.3. struct类型

structs: STRUCT<col_name : data_type, ...>

1) 假如有如下数据： array<String>

1,zhangsan,18:male:beijing2,lisi,28:female:shanghai3,wangwu,38:male:henan4,zhaoliu,30:female:shanxi

其中的用户信息包含：年龄：整数，性别：字符串，地址：字符串

设想用一个字段来描述整个用户信息，可以采用struct

2) 建表：

create table t_person_struct(id int,name string,info struct<age:int,sex:string,addr:string>)row format delimited fields terminated by ','collection items terminated by ':';

3) 查询

select * from t_person_struct;

select id,name,info.age from t_person_struct;

视频教程

视频加载中...