相信对Hadoop生态系统熟络的大数据开发者对ORC都不会陌生，笔者也是，那么ORC具体是什么？有哪些应用呢？我们今天来看一看这个在Hadoop生态系统中具有举足轻重地位的存储格式 - Apache ORC

一、Apache ORC简介

Apache ORC(optimizedRC File) 存储源自于RC这种存储格式，是一种列式存储引擎，对schema的变更(修改schema需要重新生成数据)支持较差，主要是在压缩编码、查询性能方面做了优化。

ORC最早创建于2013年1月份，起初是为了提升Apache Hive数据在Apache Hadoop中的存储效率，后来发展势头不错，独立成一个单独的Apache项目。ORC是一种自描述列式文件格式，专门为Hadoop生态设计，用于大批量流式读取场景。以列的格式组织存储数据使数据读取、解压缩和处理仅需要处理一小部分数据。由于ORC文件是类型敏感的，写操作随着文件在写的过程中，会选择为对应类型创建最合适的内部索引。

很多大型的Hadoop用户都在使用ORC，比如Facebook使用ORC节约了他们数据仓库的大量空间并宣称ORC存储格式比RC和Parquet存储格式要快很多。ORC发展到今天，已经具备一些非常高级的feature，比如：

支持update操作支持ACID：包括ACID事务和快照隔离；支持复杂类型：当前支持所有的Hive类型，包括符合类型，如：structs、lists、maps和unions；支持内建索引：在每一列的查询处理上，都可以使用包括最小、最大和布隆过滤的索引方式跳到对应的查询数据上；二、Apache ORC当前使用情况Apache Hadoop

ORC文件支持Hadoop MapReduce的读写操作，从ORC 1.1.0版本开始不再需要Hive可执行jar包及其依赖的支持。OrcStruct当前也已经实现了MapReduce shuffle操作的可写适配。

Apache Spark

Apache Spark当前已经提供ORC文件的读写支持，支持列存项目和谓词下推。

Apache Arrow

Apache Arrow当前支持ORC格式文件的读写。

Apache Flink

Apache Flink使用Table API的方式提供ORC文件的读写支持。

Apache Iceberg

Apache Iceberg使用ORC表提供ORC格式的支持。

Apache Druid

Apache Druid通过ORC扩展的方式支持ORC数据格式。

Apache Hive

Apache Hive可以说是ORC的亲爹了。ORC格式强壮的类型系统、压缩、列存、谓词下推和向量化支持，在Hive众多的数据格式中可谓是性能优越、独树一帜。

Apache Gobblin

Apache Gobblin通过Hive的SerDe库来支持写数据到ORC文件。

Apache Nifi

Apache Nifi也增加了写ORC文件的支持。

Apache Pig

Apache Pig从Pig 14.0开始提供ORC文件的读写支持。

EEL

EEL是一个Scala大数据API，支持包括ORC在内的各种文件格式和存储系统。EEL支持ORC的谓词和预测下推。有一个特殊的使用场景，可以讲JDBC的数据抽取出来然后转换成ORC文件存储在HDFS中，或者直接存储成ORC格式的Hive表。

Facebook

Facebook是一个早期的生产用户，已经将超过300PB的数据存储为ORC格式。

LinkedIn

LinkedIn在使用Apache Iceberg元数据平台和Apache Gobblin时，底层存储使用ORC文件格式。

Trino（之前叫Presto SQL）

Trino团队在集成ORC到他们的SQL引擎中付出了很多精力，当然他们也收到了很好的效果。

Vertica

HPE Vertica对ORC C++库有巨大的贡献。ORC是Vertica SQL-on-Hadoop（VSQLoH）的重要组成部分，通过使用ORC为Vertica分析型数据库的Hadoop生态系统带来了性能、可靠性和标准适配的诸多优势。

三、Apache ORC支持的数据类型

ORC文件属于完全自描述格式，不依赖Hive Metastore和其他任何外部元数据。ORC文件包含所存储对象的所有类型和编码信息。由于其自描述性，想要正确理解文件内容并不依赖任何特定的用户环境。

ORC提供丰富的数据类型，包括

Integer boolean (1 bit) tinyint (8 bit) smallint (16 bit) int (32 bit) bigint (64 bit)Floating point float doubleString types string char varcharBinary blobs binaryDate/time timestamp timestamp with local time zone dateCompound types struct list map union

所有ORC文件按照相同的类型对象进行逻辑顺序组合。Hive通常使用带有顶级列信息的struct作为根对象类型，但这并不是必要条件。ORC中的所有类型都可以包含null值。另外需要注意，因为timestamp有两种表示形式，所以在使用时一定要做好选择，大多数情况下，建议优先使用timestamp with local time zone格式，除非你的应用确实是使用的UTC时间作为标准。

下面给出一个Foobar表的定义示例，并给出了一个文件结构树示意图：

create table Foobar ( myInt int, myMap map<string, struct<myString : string, myDouble: double>>, myTime timestamp);