大数据可视化——Sqoop与Hive的安装详解

Sqoop安装教程

下载Sqoop

点这里=> 这是Sqoop官网下载路径
本次Sqoop使用的是1.4.2的版本

下载sqoop-xxx.bin__hadoop.tar.gz 版本自选

安装与配置Sqoop

下载完成后，将压缩包通过ssh连接工具（此处使用的是FinalShell连接工具）上传到Linux

将压缩包上传完成后，使用tar命令解压到合适路径（此处选择的解压路径为/usr/local）

解压完成后进入sqoop路径下的conf文件中（此处为cd /usr/local/sqoop-1.4.2.bin_had/conf）
通过示例文件创建并配置配置文件
cp sqoop-env-template.sh sqoop-env.sh
编辑配置文件

export HADOOP_COMMON_HOME=/usr/local/hadoop-2.7.7
export HADOOP_MAPRED_HOME=/usr/local/hadoop-2.7.7
export HIVE_HOME=/usr/local/apache-hive-1.2.2-bin
1
2
3

将mysql的驱动包mysql-connector-java-5.1.46-bin.jar复制到Sqoop安装目录下的lib文件夹中(在mysql中可以找到的)

配置环境变量

#sqoop
export SQOOP_HOME=/usr/local/sqoop-1.4.7.bin__hadoop-2.6.0
export PATH=$PATH:$SQOOP_HOME/bin

source ~/.bashrc
1
2
3
4
5

配置完成后检查是否Sqoop成功
sqoop version

成功配置Sqoop显示版本号后，去自己的本机或者服务器启动本地Mysql服务，要事先检查Mysql是否可以远程连接

启动Mysql服务后，使用Sqoop查看本地数据库
sqoop list-databases --connect jdbc:mysql://localhost:3306 --username root --password 123456

``

Hive安装

Hive下载与全局路径配置

点这里=> 官方下载路径
同理下载tar.gz压缩包，下载完成后上传到Linux上并解压，此处的路径也是/usr/local

使用tar命令解压

配置/etc/profile配置文件，配置hive全局路径

重启配置文件

Hive配置

进入hive安装目录的conf文件

配置hive-env.sh

将hive-env模板文件拷贝进行自定义配置
cp hive-env.sh.template hive-env.sh
配置这两个路径，要根据自己本机安装路径来

配置hive-site.xml

同理cp hive-site.xml.template hive-site.xml
配置hive-site.xml

<configuration>


<property>

<name>javax.jdo.option.ConnectionURLname>
//所连接的MySQL数据库实例，这里的yurrize要改成自己的数据库ip地址
<value>jdbc:mysql://yurrize:3306/hive?createDatabaseIfNotExist=truevalue>

property>


<property>

<name>javax.jdo.option.ConnectionDriverNamename>
//连接的MySQL数据库驱动 
<value>com.mysql.jdbc.Drivervalue>

property>


<property>

<name>javax.jdo.option.ConnectionUserNamename>
//连接的MySQL数据库用户名 
<value>yurrizevalue>

property>


<property>

<name>javax.jdo.option.ConnectionPasswordname>
//连接的MySQL数据库密码 
<value>密码value>

property>

configuration>

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41

设置hive日志

cd conf

cp hive-log4j2.properties.template hive-log4j2.properties

vim hive-log4j2.properties

修改以下内容：

property.hive.log.dir = /usr/local/apache-hive-2.3.9-bin/log


本地数据库连接成功

Hive安装常见问题

FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

遇到此类型报错，请再次检查hive-site.xml数据库连接信息以及自己的ip地址