• 从零开始的Hadoop学习（四）| SSH无密登录配置、集群配置

    1. SSH 无密登录配置

    1.1 配置 ssh

    （1）基本语法

    ssh 另一台电脑的IP地址

    （2）ssh 连接时出现 Host key verification failed 的解决方法

    [atguigu@hadoop102 ~]$ ssh hadoop103

    • 1

    （3）回退到 hadoop102

    [atguigu@hadoop103 ~]$ exit

    • 1

    1.2 无密钥配置

    （1）免密登录原理
    在这里插入图片描述

    （2）生成公钥和私钥

    [atguigu@hadoop102 .ssh]$ pwd
/home/atguigu/.ssh

[atguigu@hadoop102 .ssh]$ ssh-keygen -t rsa

    • 1
    • 2
    • 3
    • 4

    然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

    （3）将公钥拷贝到要免密登录的目标机器上

    [atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop102
[atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop103
[atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop104

    • 1
    • 2
    • 3

    注意：

    还需要在hadoop103上采用atguigu账号配置一下无密登录到hadoop102、hadoop103、hadoop104服务器上。

    还需要在hadoop104上采用atguigu账号配置一下无密登录到hadoop102、hadoop103、hadoop104服务器上。

    还需要在hadoop102上采用root账号，配置一下无密登录到hadoop102、hadoop103、hadoop104服务器上。

    1.3 .ssh 文件夹下（~/.ssh）的文件功能解释

    known_hosts记录ssh访问过计算机的公钥（public key）
    id_rsa生成的私钥
    id_rsa.pub生成的公钥
    authorized_keys存放授权过的无密登录服务器公钥

    2. 集群配置

    2.1 集群部署规划

    注意：

    • NameNode和SecondaryNameNode不要安装在同一台服务器
    • ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。
    hadoop102hadoop103hadoop104
    HDFSNameNodeDataNodeDataNodeSecondaryNameNodeDataNode
    YARNNodeManagerResourceManagerNodeManagerNodeManager

    2.2 配置文件说明

    Hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。

    （1）默认配置文件：

    要获取的默认文件文件存放在Hadoop的jar包中的位置
    [core-default.xml]hadoop-common-3.1.3.jar/core-default.xml
    [hdfs-default.xml]hadoop-hdfs-3.1.3.jar/hdfs-default.xml
    [yarn-default.xml]hadoop-yarn-common-3.1.3.jar/yarn-default.xml
    [mapred-default.xml]hadoop-mapreduce-client-core-3.1.3.jar/mapred-default.xml

    （2）自定义配置文件：

    ​ core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 四个配置文件存放在$HADOOP_HOME/etc/hadoop这个路径上，用户可以根据项目需求重新进行修改配置。

    2.3 配置集群

    2.3.1 配置文件

    （1）核心配置文件

    配置core-site.xml

    [atguigu@hadoop102 ~]$ cd $HADOOP_HOME/etc/hadoop
[atguigu@hadoop102 hadoop]$ vim core-site.xml

    • 1
    • 2

    文件内容如下：

    


<configuration>
    
    <property>
        <name>fs.defaultFSname>
        <value>hdfs://hadoop102:8020value>
    property>

    
    <property>
        <name>hadoop.tmp.dirname>
        <value>/opt/module/hadoop-3.1.3/datavalue>
    property>

    
    <property>
        <name>hadoop.http.staticuser.username>
        <value>atguiguvalue>
    property>
configuration>

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22

    （2）HDFS 配置文件

    配置hdfs-site.xml

    [atguigu@hadoop102 hadoop]$ vim hdfs-site.xml

    • 1

    文件内容如下：

    


<configuration>
	
	<property>
        <name>dfs.namenode.http-addressname>
        <value>hadoop102:9870value>
    property>
	
    <property>
        <name>dfs.namenode.secondary.http-addressname>
        <value>hadoop104:9868value>
    property>
configuration>

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15

    （3）YARN 配置文件

    配置 yarn-site.xml

    [atguigu@hadoop102 hadoop]$ vim yarn-site.xml

    • 1

    文件内容如下：

    


<configuration>
    
    <property>
        <name>yarn.nodemanager.aux-servicesname>
        <value>mapreduce_shufflevalue>
    property>

    
    <property>
        <name>yarn.resourcemanager.hostnamename>
        <value>hadoop103value>
    property>

    
    <property>
        <name>yarn.nodemanager.env-whitelistname>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOMEvalue>
    property>
configuration>

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22

    （4）MapReduce 配置文件

    配置 mapred-site.xml

    [atguigu@hadoop102 hadoop]$ vim mapred-site.xml

    • 1

    文件内容如下：

    


<configuration>
	
    <property>
        <name>mapreduce.framework.namename>
        <value>yarnvalue>
    property>
configuration>

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    2.3.2 在集群上分发配置好的 Hadoop 配置文件
    [atguigu@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc/hadoop/

    • 1
    2.3.3 去103 和 104 上查看文件分发情况
    [atguigu@hadoop103 ~]$ cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml
[atguigu@hadoop104 ~]$ cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml

    • 1
    • 2

    3. 群起集群

    3.1 配置 workers

    [atguigu@hadoop102 hadoop]$ vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

    • 1

    在该文件中增加如下内容

    hadoop102
hadoop103
hadoop104

    • 1
    • 2
    • 3

    注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

    同步所有节点配置文件

    [atguigu@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc

    • 1

    3.2 启动集群

    （1）如果集群是第一次启动，需要在hadoop102节点格式化NameNode（注意：格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化NameNode的话，一定要先停止namenode和datanode进程，并且要删除所有机器的data和logs目录，然后再进行格式化。）

    [atguigu@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh

    • 1

    （2）启动HDFS

    [atguigu@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh

    • 1

    （3）在配置了 ResourceManager的节点（hadoop103）启动YARN

    [atguigu@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh

    • 1

    （4）Web端查看HDFS的NameNode

    （5）Web端查看YARN的ResourceManager

    3.3 集群基本测试

    （1）上传文件到集群

    • 上传小文件

      [atguigu@hadoop102 ~]$ hadoop fs -mkdir /input
[atguigu@hadoop102 ~]$ hadoop fs -put $HADOOP_HOME/wcinput/word.txt /input

      • 1
      • 2

    在这里插入图片描述

    • 上传大文件

      [atguigu@hadoop102 ~]$ hadoop fs -put /opt/software/jdk-8u212-linux-x64.tar.gz  /

      • 1

    在这里插入图片描述

    （2）上传文件后查看文件存放在什么位置

    • 查看 HDFS文件存储路径

      [atguigu@hadoop102 subdir0]$ pwd
/opt/module/hadoop-3.1.3/data/ 

      • 1
      • 2

    • 查看 HDFS 在磁盘存储文件内容

      [atguigu@hadoop102 subdir0]$ cat blk_1073741825
hadoop yarn
hadoop mapreduce 
atguigu
atguigu

      • 1
      • 2
      • 3
      • 4
      • 5

    （3）拼接

    -rw-rw-r–. 1 atguigu atguigu 134217728 5月 23 16:01 blk_1073741836

    -rw-rw-r–. 1 atguigu atguigu 1048583 5月 23 16:01 blk_1073741836_1012.meta

    -rw-rw-r–. 1 atguigu atguigu 63439959 5月 23 16:01 blk_1073741837

    -rw-rw-r–. 1 atguigu atguigu 495635 5月 23 16:01 blk_1073741837_1013.meta

    [atguigu@hadoop102 subdir0]$ cat blk_1073741836>>tmp.tar.gz
[atguigu@hadoop102 subdir0]$ cat blk_1073741837>>tmp.tar.gz
[atguigu@hadoop102 subdir0]$ tar -zxvf tmp.tar.gz

    • 1
    • 2
    • 3

    （4）下载

    [atguigu@hadoop104 software]$ hadoop fs -get /jdk-8u212-linux-x64.tar.gz ./

    • 1

    （5）执行 wordcount 程序

    [atguigu@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

    • 1

    4. 配置历史服务器

    为了查看程序的历史运行情况，需要配置一下历史服务器。

    1）配置 mapred-site.xml

    [atguigu@hadoop102 hadoop]$ vim mapred-site.xml

    • 1

    在该文件里面增加如下配置。

    
<property>
    <name>mapreduce.jobhistory.addressname>
    <value>hadoop102:10020value>
property>


<property>
    <name>mapreduce.jobhistory.webapp.addressname>
    <value>hadoop102:19888value>
property>

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11

    2）分发配置

    [atguigu@hadoop102 hadoop]$ xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml

    • 1

    3）在 hadoop102 启动历史服务器

    [atguigu@hadoop102 hadoop]$ mapred --daemon start historyserver

    • 1

    4）查看历史服务器是否启动

    [atguigu@hadoop102 hadoop]$ jps

    • 1

    5）查看 JobHistory

    http://hadoop102:19888/jobhistory
    在这里插入图片描述

    5. 配置日志的聚集

    日志聚集概念：应用运行完成以后，将程序运行日志信息上传到 HDFS 系统上。
    在这里插入图片描述

    日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。

    注意：开启日志聚集功能，需要重新启动 NodeManager、ResourceManager和HistoryServer。

    开启日志聚集功能具体步骤如下：

    1）配置 yarn-site.xml

    [atguigu@hadoop102 hadoop]$ vim yarn-site.xml

    • 1

    在该文件里面增加如下配置

    
<property>
    <name>yarn.log-aggregation-enablename>
    <value>truevalue>
property>

<property>  
    <name>yarn.log.server.urlname>  
    <value>http://hadoop102:19888/jobhistory/logsvalue>
property>

<property>
    <name>yarn.log-aggregation.retain-secondsname>
    <value>604800value>
property>

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15

    2）分发配置

    [atguigu@hadoop102 hadoop]$ xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml

    • 1

    3）关闭 NodeManager、ResourceManager 和 HistoryServer

    [atguigu@hadoop103 hadoop-3.1.3]$ sbin/stop-yarn.sh
[atguigu@hadoop103 hadoop-3.1.3]$ mapred --daemon stop historyserver

    • 1
    • 2

    4）启动 NodeManager、ResourceManager 和 HistoryServer

    [atguigu@hadoop103 ~]$ start-yarn.sh
[atguigu@hadoop102 ~]$ mapred --daemon start historyserver

    • 1
    • 2

    5）删除 HDFS 上已经存在的输出文件

    [atguigu@hadoop102 ~]$ hadoop fs -rm -r /output

    • 1

    6）执行 WordCount 程序

    [atguigu@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

    • 1

    7）查看日志

    （1）历史服务器地址

    http://hadoop102:19888/jobhistory

    （2）历史任务列表
    在这里插入图片描述

    （3）查看任务运行日志
    在这里插入图片描述

    （4）运行日志详情
    在这里插入图片描述

    6. 集群启动/停止方式总结

    1）各个模块分开启动/停止（配置 ssh 是前提）常用

    • 整体启动/停止 HDFS

      start-dfs.sh/stop-dfs.sh


      • 1
      • 2

    • 整体启动/停止 YARN

      start-yarn.sh/stop-yarn.sh


      • 1
      • 2

    2）各个服务组件逐一启动/停止

    • 分别启动/停止 HDFS 组件

      hdfs --daemon start.stop namenode/datanode/secondarynamenode


      • 1
      • 2

    • 启动/停止 YARN

      yarn --daemon start/stop resourcemanager/nodemanager

      • 1

    7. 编写 Hadoop 集群常用脚本

    1）Hadoop 集群启停脚本（包含 HDFS、Yarn、Historyserver）：myhadoop.sh

    [atguigu@hadoop102 ~]$ cd /home/atguigu/bin
[atguigu@hadoop102 bin]$ vim myhadoop.sh

    • 1
    • 2

    • 输入如下内容

      #!/bin/bash

if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi

case $1 in
"start")
        echo " =================== 启动 hadoop集群 ==================="

        echo " --------------- 启动 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
        echo " --------------- 启动 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
        echo " --------------- 启动 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
        echo " =================== 关闭 hadoop集群 ==================="

        echo " --------------- 关闭 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
        echo " --------------- 关闭 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
        echo " --------------- 关闭 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
    echo "Input Args Error..."
;;
esac

      • 1
      • 2
      • 3
      • 4
      • 5
      • 6
      • 7
      • 8
      • 9
      • 10
      • 11
      • 12
      • 13
      • 14
      • 15
      • 16
      • 17
      • 18
      • 19
      • 20
      • 21
      • 22
      • 23
      • 24
      • 25
      • 26
      • 27
      • 28
      • 29
      • 30
      • 31
      • 32
      • 33

    • 保存后退出，然后赋予脚本执行权限

      [atguigu@hadoop102 bin]$ chmod +x myhadoop.sh

      • 1

    2）查看三台服务器 Java 进程脚本：jpsall

    [atguigu@hadoop102 ~]$ cd /home/atguigu/bin
[atguigu@hadoop102 bin]$ vim jpsall

    • 1
    • 2

    • 输入如下内容

      #!/bin/bash

for host in hadoop102 hadoop103 hadoop104
do
        echo =============== $host ===============
        ssh $host jps 
done

      • 1
      • 2
      • 3
      • 4
      • 5
      • 6
      • 7

    • 保存后退出，然后赋予脚本执行权限

      [atguigu@hadoop102 bin]$ chmod +x jpsall

      • 1

    3）分发/home/atguigu/bin 目录，保证自定义脚本在三台机器上都可以使用

    [atguigu@hadoop102 ~]$ xsync /home/atguigu/bin/

    • 1

    8. 常用端口号说明

    端口名称Hadoop2.xHadoop3.x
    NameNode内部通信端口8020 / 90008020 / 9000/9820
    NameNode HTTP UI500709870
    MapReduce查看执行任务端口80888088
    历史服务器通信端口1988819888

    9. 集群时间同步

    如果服务器在公网环境（能连接外网），可以不采用集群时间同步，因为服务器会定期和公网时间进行校准；

    如果服务器在内网环境，必须要配置集群时间同步，否则时间久了，会产生时间偏差，导致集群执行任务时间不同步。

    9.1 需求

    找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，生产环境根据任务对时间的准确程度要求周期同步，测试环境为了尽快看到效果，采用1分钟同步一次。
    在这里插入图片描述

    9.2 时间服务器配置（必须root用户）

    （1）查看所有节点 ntpd 服务状态和开机自启动状态

    [atguigu@hadoop102 ~]$ su root
[root@hadoop102 atguigu]# systemctl status ntpd
[root@hadoop102 atguigu]# systemctl start ntpd
[root@hadoop102 atguigu]# systemctl is-enabled ntpd

    • 1
    • 2
    • 3
    • 4

    （2）修改 hadoop102 的 ntp.conf 配置文件

    [root@hadoop102 atguigu]# vim /etc/ntp.conf

    • 1

    修改内容如下：

    • （a）修改1（授权192.168.10.0-192.168.10.255网段上的所有机器可以从这台机器上查询和同步时间）

      #restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap

为restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap

      • 1
      • 2
      • 3

    • （b）修改2（集群在局域网中，不使用其他互联网上的时间）

      server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst

      • 1
      • 2
      • 3
      • 4

      为

      #server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst

      • 1
      • 2
      • 3
      • 4

    • （c）添加3（当该节点丢失网络连接，依然可以采用本地时间作为时间服务器为集群中的其他节点提供时间同步）

      server 127.127.1.0
fudge 127.127.1.0 stratum 10

      • 1
      • 2

    （3）修改 hadoop102 的/etc/sysconfig/ntpd 文件

    [root@hadoop102 ~]# vim /etc/sysconfig/ntpd

    • 1

    增加内容如下（让硬件时间与系统时间一起同步）

    SYNC_HWCLOCK=yes

    • 1

    （4）重新启动 ntpd 服务

    [root@hadoop102 ~]# systemctl start ntpd

    • 1

    （5）设置ntpd服务开机启动

    [root@hadoop102 ~]#systemctl enable ntpd

    • 1

    9.3 其他机器配置（必须root用户）

    （1）关闭所有节点上 ntp 服务和自启动

    [atguigu@hadoop102 ~]$ su root
[root@hadoop103 ~]# systemctl stop ntpd
[root@hadoop103 ~]# systemctl disable ntpd
[root@hadoop104 ~]# systemctl stop ntpd
[root@hadoop104 ~]# systemctl disable ntpd

    • 1
    • 2
    • 3
    • 4
    • 5

    （2）在其他机器上配置 1 分钟与时间服务器同步一次

    [root@hadoop103 ~]# crontab -e

    • 1

    编写定时任务如下：

    */1 * * * * /usr/sbin/ntpdate hadoop102


    • 1
    • 2

    （3）修改任意机器时间

    [root@hadoop103 ~]# date -s "2021-9-11 11:11:11"

    • 1

    （4）1 分钟后查看机器是否与时间服务器同步

    [root@hadoop103 ~]# date

    • 1

    10. 常见错误及解决方案

    1）防火墙没关闭、或者没有启动YARN

    INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032

    2）主机名称配置错误

    3）IP地址配置错误

    4）ssh没有配置好

    5）root用户和atguigu两个用户启动集群不统一

    6）配置文件修改不细心

    7）不识别主机名称

    java.net.UnknownHostException: hadoop102: hadoop102
        at java.net.InetAddress.getLocalHost(InetAddress.java:1475)
        at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:146)
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290)
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287)
        at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7

    解决办法：

    • （1）在/etc/hosts文件中添加192.168.10.102 hadoop102
    • （2）主机名称不要起hadoop hadoop000等特殊名称

    8）DataNode和NameNode进程同时只能工作一个。
    在这里插入图片描述

    9）执行命令不生效，粘贴Word中命令时，遇到-和长–没区分开。导致命令失效

    解决办法：尽量不要粘贴Word中代码。

    10）jps发现进程已经没有，但是重新启动集群，提示进程已经开启。

    原因是在Linux的根目录下/tmp目录中存在启动的进程临时文件，将集群相关进程删除掉，再重新启动集群。

    11）jps不生效

    原因：全局变量hadoop java没有生效。解决办法：需要source /etc/profile文件。

    12）8088端口连接不上

    [atguigu@hadoop102 桌面]$ cat /etc/hosts

    注释掉如下代码

    #127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

    #::1 hadoop102

  • 相关阅读:
    Numpy根据国家名称对手机号码进行前缀匹配
    Linux：gcc编译器
    PHP报错：Warning: preg_match_all(): Unknown modifier ‘＜‘
    AI搜索，围攻百度
    Linux 关闭防火墙
    Java NIO 文件通道 FileChannel 用法
    毕业旅行 | 伦敦5日游行程推荐
    【Pytorch学习笔记】9.分类器的分类结果如何评估——使用混淆矩阵、F1-score、ROC曲线、PR曲线等（以Softmax二分类为例）
    [项目管理-32]：项目经理六阶段职业成长之路: 达克效应=＞短板理论=＞刻意练习=＞长版板子理论=＞精进=＞布道
    工业RFID系统识别原理
  • 原文地址：https://blog.csdn.net/remsqks/article/details/132563847