三十一、《大数据项目实战之用户行为分析》Spark SQL与Hive整合

Hive是一个基于Hadoop的数据仓库架构，使用SQL语句读、写和管理大型分布式数据集。Hive可以将SQL语句转化为MapReduce（或Apache Spark、Apache Tez）任务执行，大大降低了Hadoop的使用门槛，减少了开发MapReduce程序的时间成本。可以将Hive理解为一个客户端工具，其提供了一种类SQL查询语言，称为 HiveQL。这使得Hive十分适合数据仓库的统计分析，能够轻松使用HiveQL开启数据仓库任务，如提取/转换/加载（ETL）、分析报告和数据分析。Hive不仅可以分析HDFS文件系统中的数据，也可以分析其他存储系统，例如HBase。

Spark SQL与Hive整合后，可以在Spark SQL中使用HiveQL轻松操作数据仓库。与Hive不同的是，Hive的执行引擎为MapReduce，而Spark SQL的执行引擎为Spark RDD。

整合Hive的步骤

Spark SQL与Hive的整合比较简单，总体来说只需要以下两步：

（1）将$HIVE_HOME/conf中的hive-site.xml文件复制到$SPARK_HOME/conf中。

（2）在Spark配置文件spark-env.sh中指定Hadoop及其配置文件的主目录。<