Hue在大数据生态圈的集成

1. 写在前面

        工欲善其事，必先利其器，网上教程往往让你安装一半丈二和尚摸不着头脑

        其他方法安装遇到错误亦可能可在本文的思路中找到答案

        本文安装环境CentOS 7

        安装目录  /export/server

        软件包存放位置 /export/software

        已安装好Hadoop3.3.2、Hive3.1.2、Kafka2.12-3.2.1等，可查看专栏其他文章

2. hue可视化

        hue在大数据生态圈的可视化功能的方便性，不用多言，下面开始集成各大组件

        未安装hue的小伙伴可以查看教小白白Hue安装部署_不图安逸的小码农的博客-CSDN博客

3. HDFS集成

3.1 HDFS方面

1）node1上core-site.xml修改

#core-site.xml路径
cd /export/server/hadoop-3.3.2/etc/hadoop/
 
#这是系统编辑器，我更习惯notepad++编辑
vim core-site.xml

notepad++如何连接编辑参考此文内容教小白30分钟实现分库分表_不图安逸的小码农的博客-CSDN博客

增加以下内容

<property>
    <name>hadoop.proxyuser.root.hostsname>
    <value>*value>
property>
<property>
    <name>hadoop.proxyuser.root.groupsname>
    <value>*value>
property>

#将node1配置好的core-site.xml复制给node2\node3
scp -r core-site.xml node2:/export/server/hadoop-3.3.2/etc/hadoop/
 
scp -r core-site.xml node3:/export/server/hadoop-3.3.2/etc/hadoop/

2）node1上hdfs-site.xml修改

#hdfs-site.xml路径
cd /export/server/hadoop-3.3.2/etc/hadoop/
 
#这是系统编辑器，我更习惯notepad++编辑
vim hdsf-site.xml

增加以下内容

<property>
	<name>dfs.webhdfs.enabledname>
	<value>truevalue>
property>

 #将node1配置好的hdfs-site.xml复制给node2\node3
 scp -r hdfs-site.xml node2:/export/server/hadoop-3.3.2/etc/hadoop/
 
 scp -r hdfs-site.xml node3:/export/server/hadoop-3.3.2/etc/hadoop/

3.2 HUE方面

修改hue.ini

#hue.ini修改路径
cd /export/server/hue-3.9.0-cdh5.14.0/desktop/conf/
 
#推荐notepad++，原生vi亦可
vim hue.ini

搜索hdfs_clusters

修改成为以下内容

[hadoop]
 
  # Configuration for HDFS NameNode
  # ------------------------------------------------------------------------
  [[hdfs_clusters]]
    # HA support by using HttpFs
 
    [[[default]]]
      # Enter the filesystem uri
      fs_defaultfs=hdfs://node1:9000
 
      webhdfs_url=http://node1:9870/webhdfs/v1
 
      # Directory of the Hadoop configuration
      # hadoop_conf_dir=$HADOOP_CONF_DIR when set or '/etc/hadoop/conf'
	  hadoop_hdfs_home= /export/server/hadoop-3.3.2
      hadoop_bin=/export/server/hadoop-3.3.2/bin
      hadoop_conf_dir=/export/server/hadoop-3.3.2/etc/hadoop
 
  # Configuration for YARN (MR2)
  # ------------------------------------------------------------------------

 重要提示：注意两个端口号9000和9870

关于9000：在前面Hadoop安装中core-site.xml中，之前设置为8020，现改为9000，即一致即可，ps:20221217记录：建议一直8020，会乱，吸取教训再改为8020

 关于9870：hdfs 2.x   默认50070。hdfs  3.X   默认9870，查看网站是用哪个端口号，即写哪个

 

 HDFS集成完毕

3.3 重启HDFS、HUE

#启动hdfs
start-dfs.sh
 
#启动HUE
cd /export/server/hue-3.9.0-cdh5.14.0/
build/env/bin/supervisor

4. YARN集成

4.1 YARN方面

#yarn-site.xml路径
cd /export/server/hadoop-3.3.2/etc/hadoop/
 
#这是系统编辑器，我更习惯notepad++编辑
vim yarn-site.xml

 增加以下内容（根据本人专栏下Hadoop文章安装的话，此处已经配置，查看一下即可）

<property>  ##是否启用日志聚集功能。
    <name>yarn.log-aggregation-enablename>
    <value>truevalue>
property>
 
<property>  ##设置日志保留时间，单位是秒。
    <name>yarn.log-aggregation.retain-secondsname>
    <value>604800value>
property>

 #将node1配置好的yarn-site.xml复制给node2\node3（之前Hadoop安装已有可不做）
 scp -r yarn-site.xml node2:/export/server/hadoop-3.3.2/etc/hadoop/
 
 scp -r yarn-site.xml node3:/export/server/hadoop-3.3.2/etc/hadoop/

4.2 HUE方面

修改hue.ini

#hue.ini修改路径
cd /export/server/hue-3.9.0-cdh5.14.0/desktop/conf/
 
#推荐notepad++，原生vi亦可
vim hue.ini

搜索yarn_clusters

修改成为以下内容

[[yarn_clusters]]
 
    [[[default]]]
      # Enter the host on which you are running the ResourceManager
      resourcemanager_host=node1
 
      # The port where the ResourceManager IPC listens on
      resourcemanager_port=8032
 
      # Whether to submit jobs to this cluster
      submit_to=True
 
      # URL of the ResourceManager API
      resourcemanager_api_url=http://node1:8088
 
      # URL of the HistoryServer API
      history_server_api_url=http://node1:19888

 4.3  重启yarn 、hue

start-yarn.sh
 
build/env/bin/supervisor