教小白白Hue安装部署

1. 写在前面

        工欲善其事，必先利其器，网上教程往往让你安装一半丈二和尚摸不着头脑

        本文包含安装部署及遇到的错误排错思路，其他方法安装遇到错误亦可能可在本文找到答案

        本文安装环境CentOS 7

        安装目录  /export/server

        软件包存放位置 /export/software

        已安装好Hadoop3.3.2、Hive3.1.2、Kafka2.12-3.2.1等，可查看专栏其他文章

2. Hue介绍

        HUE=Hadoop User Experience大数据软件生涩的命令行和蹩脚的可视化界面，让许多孩子望而生畏

        通过使用Hue，可以在浏览器端的Web控制台上与Hadoop集群进行交互，来分析处理数据，例如操作HDFS上的数据，运行MapReduce Job，执行Hive的SQL语句，浏览HBase数据库等等。

3. Hue可以干什么？

1）访问HDFS和文件浏览

2）通过web调试和开发hive以及数据结果展示

3）查询solr和结果展示，报表生成

4）通过web调试和开发impala交互式SQL Query

5）spark调试和开发

6）Pig开发和调试

7）oozie任务的开发，监控，和工作流协调调度

8）Hbase数据查询和修改，数据展示

9）Hive的元数据（metastore）查询

10）MapReduce任务进度查看，日志追踪

11）创建和提交MapReduce，Streaming，Java job任务

12）Sqoop2的开发和调试

13）Zookeeper的浏览和编辑

14）数据库（MySQL，PostGres，SQlite，Oracle）的查询和展示

4. Hue架构

5. 安装包下载部署

        Hue的安装支持多种方式，包括rpm包的方式进行安装、tar.gz包的方式进行安装以及cloudera  manager的方式来进行安装等，我们这里使用tar.gz包的方式来进行安装。

Hue的压缩包的下载地址：

http://archive.cloudera.com/cdh5/cdh/5/http://archive.cloudera.com/cdh5/cdh/5/

我们这里使用的是CDH5.14.0这个对应的版本，具体下载地址为

http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.14.0.tar.gzhttp://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.14.0.tar.gz

1）上传压缩包至安装目录

 
#在安装目录下进行软件解压
cd /export/servers/
 
tar -zxvf hue-3.9.0-cdh5.14.0.tar.gz

解压后目录如下图

 6. 联网安装各种必须的依赖包

yum install -y asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make openldap-devel python-devel sqlite-devel gmp-devel

 安装完毕如下图：

 7. Hue初始化配置

1）相关配置

cd /export/server/hue-3.9.0-cdh5.14.0/desktop/conf/
 
#原生编辑器没问题，我更习惯用notepad++
vim hue.ini

如需使用notepad++编辑，参考教小白30分钟实现分库分表_不图安逸的小码农的博客-CSDN博客

 打开初始如上图，

2）通用具体配置项如下

#通用配置
[desktop]
 
#任意随机字符，会话hash加密
secret_key=hjsahjsa%43&65*42@1][^&$##FDD
 
#主机名
http_host=node1
 
is_hue_4=true
 
#时区
time_zone=Asia/Shanghai
 
#用户
server_user=root
 
server_group=root
 
default_user=root
 
default_hdfs_superuser=root

3）数据库配置项如下，在文件588行

Ctrl + s  保存

 4）因为设置了hue的数据库相关信息，包括数据库名，此时需先去node1上MySQL创建hue数据库（空数据库）

create database hue default character set utf8 default collate utf8_general_ci;

 

 8. 编译Hue

cd /export/server/hue-3.9.0-cdh5.14.0/
 
make apps

如果编译成功，此时MySQL数据库的hue库中应该有84张表新建成功

9. 排错

本文安装编译出现错误，根据log进行排错

 gcc错误，重新执行

yum install -y gcc openssl-devel
 
yum install -y gcc gcc-c++ kernel-devel

 回头继续执行make apps编译，继续报错mysql_config not found

 查看

 执行以下语句

yum install -y mysql-server mysql mysql-devel

查看mysql文件夹

执行

rpm -ivh mysql-community-libs-compat-5.7.38-1.el7.x86_64.rpm 

思考：现在需要mysql_config ,那需要执行mysql-devel

yum install mysql-devel

继续报错：要求安装mariadb-server-5.5.65-1.el7.x86_64 ，另外mariadb依赖其lib

思考：当初是卸载CentOS自带mariadb,安装MySQL，现在因为安装hue再给装回来？

系统要求安装mariadb,是为了解决没有mysql_config文件的问题，那么MySQL数据库的mysql_config文件在哪里？

devel！devel?刚刚去查看MySQL文件夹，如下图，我们正常在安装MySQL时，会执行以下4条

rpm -ivh mysql-community-common-5.7.38-1.el7.x86_64.rpm mysql-community-libs-5.7.38-1.el7.x86_64.rpm mysql-community-client-5.7.38-1.el7.x86_64.rpm mysql-community-server-5.7.38-1.el7.x86_64.rpm

即common\libs\client\server进行安装，刚刚libs-compat也安装了！

看没看见！！！看没看见？？！！第四个devel,执行

rpm -ivh mysql-community-devel-5.7.38-1.el7.x86_64.rpm

未报错，回去编译

cd /export/server/hue-3.9.0-cdh5.14.0/
 
make apps

完成，去查看node1的MySQL中hue数据库共84张表

 10. 启动Hue \Web UI 访问

#启动命令时路径，可以设置环境变量，然后在所有路径下启动，本文未设置
cd /export/server/hue-3.9.0-cdh5.14.0/
 
#启动命令
build/env/bin/supervisor 

继续报错：KeyError: "Couldn't get user id for user hue"  

狗头.gif

#启动命令时路径
cd /export/server/hue-3.9.0-cdh5.14.0/
 
#添加用户hue，用户在hue.ini里是配置的，不确定为啥找不到，再加一次
useradd hue
 
#启动
build/env/bin/supervisor 

 页面访问路径

http://node1:8888

第一次访问的时候，需要输入设置超级管理员用户和密码，重要！！！记住！！！

本文用户：root 密码：hadoop