龙空技术网

Hadoop快速查询系统——Impala

天津旅游本地君 415

前言:

目前你们对“apachehadoopimpala”大致比较看重,我们都想要学习一些“apachehadoopimpala”的相关知识。那么小编也在网摘上汇集了一些关于“apachehadoopimpala””的相关内容,希望你们能喜欢,咱们一起来了解一下吧!

#Hadoop# #大数据# #大数据分析# #HDFS# #HBase#

1 概述

Impala是Cloudera公司主导开发的新型查询系统,它提供SQL语义,能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义,但由于Hive底层执行使用的是MapReduce引擎,仍然是一个批处理过程,难以满足查询的交互性。相比之下,Impala的最大特点也是最大卖点就是它的快速。

1.1 功能、作用

1) 使用C++编写,基于MPP架构,基于内存进行计算,能够对PB级数据进行交互式实时查询、分析,毫秒级查询。

2) 无需转换为MR,直接使用SQL读取HDFS及Hbase数据 ,从而大大降低了延迟。

3) Impala是性能最高的SQL引擎(提供类似RDBMS的体验),它提供了访问存储在Hadoop分布式文件系统中的数据的最快方法。

4) Impala不提供任何对序列化和反序列化的支持。

5) Impala只能读取文本文件,而不能读取自定义二进制文件。

6) 每当新的记录/文件被添加到HDFS中的数据目录时,该表需要被刷新

1.2 架构

2 环境设置

注意:需要HDFS支持。

2.1 下载安装

手动安装比较麻烦,推荐使用CM安装。

/usr/lib/impalaimpala的HOME目录

/etc/impala/confimpala配置目录

/var/log/impalaimpala日志目录

3 应用

查询

标签: #apachehadoopimpala