Hive中常用SerDe介绍

SerDe 是Serializer 和 Deserializer 的简称。它是 Hive用来处理记录并且将它们映射到 Hive 表中的字段数据类型。为了更好的阐述使用 SerDe 的场景，我们需要了解一下 Hive 是如何读写数据的(类似于 HDFS 中数据的读写操作)：

读取数据：

1. 从 HDFS 读取数据
2. 通过 InputFormat 来处理数据，根据定义的数据类型来将文件分割成键值对记录。在 Hive 中，我们可以通过 Create Table。。。Stored As <File_Format> 来指定使用哪种 InputFormat 来读取数据。
3. SerDe 中 JAVA 的 Deserializer 会被调用来格式化数据并且映射到表中对应的字段和数据类型。
   对于数据读取，我们希望使用 JSON SerDe 来从 HDFS 中读取文本文件格式数据，并且根据正确的schema将JSON每一行的属性和值与Hive表中的行进行转换。

写入数据：

1. 写入的数据(例如 Insert 语句)会通过 SerDe 定义的 Serlializer 类进行转换成 OutputFormat 类能够读取的格式。
2. 数据会被OutputFormat 继承类进行处理，创建 RecordWrite 对象。类似于 InputFormat 的实现。OutputFormat 的实现方法跟表写入数据的方式相同。
3. 将数据写入到表中(数据将保存在 HDFS)
   在实际写入数据的时候，我们可以使用 JSON SerDe来 Hive 表中一个 行列转数据转换成 JSON 文本，保存到 HDFS 中。

接下来我们将详细介绍一下 Hive中常用的 SerDe ：

1. LazySimpleSerDe: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe，用来处理文本文件格式：TEXTFILE

CREATE TABLE test_serde_lz STORED AS TEXTFILE AS
SELECT  name
FROM employee;
1
2
3

2. ColumnarSerDe: org.apache.hadoop.hive.serde2.columnar.ColumnarSerDe用来处理 RCFile

CREATE TABLE test_serde_cs 
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.columnar.ColumnarSerDe' 
STORED AS RCFile AS
SELECT  name
FROM employee
1
2
3
4
5

3. OrcSerde：org.apache.hadoop.hive.ql.io.orc.OrcSerde 用来处理 ORCFile

CREATE TABLE test_serde_parquet
STORED AS ORCFILE AS
SELECT name from employee;
1
2
3

4. ParquetHiveSerDe: org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe用来在 Hive 中读写 Parquet 数据格式的内置 SerDe。从 Hive 0.13.0 版本开始本地支持。

CREATE TABLE test_serde_parquet
STORED AS PARQUET AS
SELECT name from employee;
1
2
3

5. JSONSerDe: org.openx.data.jsonserde.JsonSerDe这是一个第三方的 SerDe，用来利用 Hive 读取 JSON 数据记录。你可以通知下载源码进行安装(https://github.com/rcongiu/Hive-JSON-Serde)

CREATE TABLE test_serde_js(
name string,
sex string,
age string
)
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
STORED AS TEXTFILE;
1
2
3
4
5
6
7

6. HBaseSerDe: org.apache.hadoop.hive.hbase.HBaseSerDe内置的 SerDe，可以让 Hive 跟 HBase 进行集成。我们可以利用 HBaseSerDe 来将 Hive 表存储到 HBase 中。
   注意：前提是 HBase 已经安装

CREATE TABLE test_serde_hb(
id string,
name string,
sex string,
age string
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.hbase.HBaseSerDe'
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping"=":key,info:name,info:sex,info:age")
TBLPROPERTIES("hbase.table.name" = "test_serde");
1
2
3
4
5
6
7
8
9
10

最后，为了应对目前存在的各式各样的数据格式以及数据存储系统。Hive 允许用户可以自定义 SerDe 来处理自己的文件格式。更多关于 自定义SerDe 请参考： https://cwiki.apache.org/confluence/display/Hive/DeveloperGuide#DeveloperGuide-HowtoWriteYourOwnSerDe .

当然，为了呼应本次主题，特地跑到 Jira 上搜了一些各个 SerDe 的使用情况，随着大家对这些SerDe的深入研究，需求也越来越多，功能也逐渐被完善着：

LazySimpleSerDe ：https://issues.apache.org/jira/browse/HIVE-292?jql=text%20~%20%22LazySimpleSerDe%22
ColumnarSerDe ： https://issues.apache.org/jira/browse/HIVE-756?jql=text%20~%20%22ColumnarSerDe%22
HBaseSerDe ：https://issues.apache.org/jira/browse/HIVE-6677?jql=text%20~%20%22HBaseSerDe%22
ParquetHiveSerDe：https://issues.apache.org/jira/browse/HIVE-9333?jql=text%20~%20%22ParquetHiveSerde%22
JSONSerDe ： https://issues.apache.org/jira/browse/HIVE-6166?jql=text%20~%20%22JSONSerDe%22