Hive 常用存储、压缩格式

1. Hive常用的存储格式

TEXTFI
textfile为默认存储格式
存储方式：行存储
磁盘开销大 数据解析开销大
压缩的text文件 hive 无法进行合拆分

SEQUENCEFILE
sequencefile二进制文件，以的形式序列到文件中
存储方式：行存储
可以分割、压缩
一般选择block压缩
优势是和Hadoop api中的mapfile相互兼容的

RCFILE
存储方式：数据按行分块 每块按照列存储
压缩快 快速列存取
读记录尽量涉及到的block最少
读取需要的列只需要读取每个row group的头部定义
读取全量数据的操作 性能可能比sequence没有明显的优势

ORC
存储方式:数据按行分块，每块按照列存储
压缩快 压缩按照列存取
效率比rcfile高，是rcfile的改良版本

Apache ORC
ORC（OptimizedRC File）存储源自于RC（RecordColumnar File）这种存储格式，RC是一种列式存储引擎，
对schema演化（修改schema需要重新生成数据）支持较差，而ORC是对RC改进，但它仍对
schema演化支持较差，
主要是在压缩编码，查询性能方面做了优化。RC/ORC最初是在Hive中得到使用，最后发展势头不错，独立成一个单独的项目。
1
2
3
4
5

PARQUET

Apache Parquet
源自于google Dremel系统（可下载论文参阅），Parquet相当于Google Dremel中的数据存储引擎，
而Apache顶级开源项目Drill正是Dremel的开源实现。
Apache Parquet 最初的设计动机是存储嵌套式数据，比如Protocolbuffer，thrift，json等，将这类数据存储成列式格式，
以方便对其高效压缩和编码，且使用更少的IO操作取出需要的数据，
这也是Parquet相比于ORC的优势，
它能够透明地将Protobuf和thrift类型的数据进行列式存储，在Protobuf和thrift被广泛使用的今天，与parquet进行集成，
是一件非容易和自然的事情。 
除了上述优势外，相比于ORC, Parquet没有太多其他可圈可点的地方，
比如它不支持update操作（数据写成后不可修改），不支持ACID等。
1
2
3
4
5
6
7
8
9
10

Avro格式
自定义格式

2. Hive压缩算法