HIVE基本查询操作（二）——第3关：Hive抽样查询

第3关：Hive抽样查询

---

任务描述

本关任务：计算每个股票每天的总交易量。

相关知识

为了完成本关任务，你需要掌握：1.随机抽样 2.桶表抽样 3.数据块抽样

随机抽样

使用RAND()函数和LIMIT关键字来获取样例数据，使用DISTRIBUTE和SORT关键字来保证数据是随机分散到mapper和reducer的。ORDER BY RAND()语句可以获得同样的效果，但是性能没这么高。

/**从table表里随机抽取5行数据*/
//第一种：
SELECT * FROM table DISTRIBUTE BY RAND() SORT BY RAND() LIMIT 2;
//第二种(性能不太好)：
SELECT * FROM table ORDER BY RAND() LIMIT 2;
1
2
3
4
5

桶表抽样

① *Hive分桶*

对于每一个表（table）或者分区， Hive 可以进一步组织成桶，也就是说桶是更为细粒度的数据范围划分。Hive 也是 针对某一列进行桶的组织。Hive 采用对列值哈希，然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中。

桶（bucket）是指将表或分区中指定列的值为key进行hash，hash到指定的桶中，这样可以支持高效采样工作。

把表（或者分区）组织成桶（Bucket）有两个理由：

获得更高的查询处理效率。桶为表加上了额外的结构，Hive 在处理有些查询时能利用这个结构。具体而言，连接两个在（包含连接列的）相同列上划分了桶的表，可以使用 Map 端连接 （M