Hive 分桶表

什么是分桶表？

分桶是将数据集分解成更容易管理的若干数据文件的技术。相较于分区操作，分桶针对的是数据文件，而分区针对的是数据的存储路径。通俗来说，分区其实就是创建文件夹，而分桶则是创建文件。

分桶表

创建分桶表

create databases if not exists test;
use test;

create table student(id int, name string)
clustered by(id) sorted by (id) into 4 buckets
row format delimited fields terminated by '\t';
1
2
3
4
5
6

分桶表关键解析

clustered by(id)：指定进行分桶的字段，这里是根据字段 id 进行分桶。

sorted by (id)：根据指定字段在每个分桶内进行排序，这里表示根据字段 id ，为每个分桶进行排序（升序）。

into 4 buckets：设置桶的个数，这里表示设置了 4 个桶。

插入数据

注意，往分桶表中插入数据时不要使用 load 方法，用 insert 方法。

这是由于分桶表插入数据要跑 MR 程序，有可能跑 MapTask 的节点本地没有数据。如果实在要使用 load 方法，尽量加载在 HDFS 上的数据。

往创建的表中添加数据：

insert into table student values(1,'zhangsan'),(2,'lisi'),(3,'wangwu'),(4,'zhaoliu'),(5,'tianqi'),(6,'liuliuil'),(7,'skt'),(8,'skt'),(9,'drx'),(10,'edg'),(11,'rng'),(12,'geng'),(13,'t1'),(14,'jdg');
1

查看

插入完成后，我们进入 HDFS 的 web 界面，查看分桶表的文件目录：

可以看到，按照我们的设定，它被分为了 4 个存储文件，接着我们可以查看它的文件内容：

如果你在查看文件内容时出现错误： Couldn’t preview the file.

那么你只需要在本地 hosts 文件设置集群 IP 映射即可，该文件一般情况位于 C:\Windows\System32\drivers\etc 目录中。

添加内容如下所示：

分区分桶表

在 Hive 中，我们可以通过创建分区分桶表来对数据文件进行更加细粒度的管理。

create table student2(id int,name string)
partitioned by (dt string)
clustered by (id) sorted by (id desc) into 4 buckets
row format delimited fields terminated by '\t';
1
2
3
4

需要注意的是，创建表时，分区必须位于分桶前面，其它操作都一样。