Hadoop学习笔记

一、Hadoop安装配置文档及注意事项

hadoop集群安装配置（精简）
hadoop集群安装配置（详细）
尚硅谷Hadoop教学
  前两个链接是文本教程都可以用，一个精简一些也可以配置好，但是如果出了什么小问题有时候不好找，看个人所需，前一个所用的时间比较少。视频是尚硅谷hadoop教程，其中有安装与配置教程。
  如果途中遇见问题，建议别尝试解决，直接照着视频来配置
  本文后面也会有配置教程但是因本人使用的是OpenStack并不是本地虚拟机，但是还是将虚拟机搭建Hadoop方法写上（只是虚拟机需要前置配置）
  说一下安装过程中可能遇到的问题以及解决办法：

• 两篇文章的hadoop版本不一样，第一篇是hadoop2，第二个是hadoop3；所以在配置环境变量时，前者全局变量文件路径为 /root/.bash_profile ，后者为：/etc/profile，本文是基于hadoop3的环境编写
• 在每次修改完环境变量之后必须使用 source 环境变量PATH 命令来加载环境变量文件
• 建议使用jdk8版本，避免后续报版本不兼容错误
• 建议把要操作的文件权限修改为全权限，避免报permission denied错误
• Cannot execute /usr/bin/hadoop/libexec/hdfs-config.sh 如果有全局变量就修改全局变量或者直接删除，然后再检查文件内配的环境变量是否有问题
• 配置好免密登录之后出现登陆失败问题：建议直接把免密登录的文件删除重新来过一次
• 按照尚硅谷视频配置完成之后后面有一个群体分发脚本文件xsync如果运行报rsync 未找到命令，在所有的主机上使用命令yun -y install rsync命令下载rsync

二、Hadoop概述

2.1、Hadoop是什么

• Hadoop是一个由Apache基金会所开发的分布式系统基础结构。
• 主要解决，海量数据的存储和海量数据的分析计算的问题。
• 广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态园

2.2、Hadoop的发展历史

如果对一些历史时间比较感兴趣，可以访问腾讯云开发社区的文章“Hadoop的发家简史”链接：Hadoop的发家简史

2.3、Hadoop三大发行版本

Hadoop三大发行版本：Apache、Cloudera、Hortonworks。

• Apache版本最原始（最基础）的版本，对于入门学习最好。（2006年）
• Cloudera内部集成了很多大数据框架，对应产品CDH。（2008年）
• Hortonworks文档较好，对应产品HDP。（2011年）
  • Hortonworks现在已经被Cloudera公司收购，推出新的品牌CDP。

2.3.1 Apache Hadoop

官网地址
下载地址

2.3.2 Cloudera Hadoop

官网地址
下载地址

• 2008年成立的Cloudera是最早将Hadoop商用的公司，为合作伙伴提供Hadoop的商用解决方案，主要是包括支持、咨询服务、培训。
• 2009年Hadoop的创始人Doug Cutting也加盟Cloudera公司。Cloudera产品主要为CDH，Cloudera Manager，Cloudera Support
• CDH是Cloudera的Hadoop发行版，完全开源，比Apache Hadoop在兼容性，安全性，稳定性上有所增强。Cloudera的标价为每年每个节点10000美元。
• Cloudera Manager是集群的软件分发及管理监控平台，可以在几个小时内部署好一个Hadoop集群，并对集群的节点及服务进行实时监控。

2.3.3 Hortonworks Hadoop

官网地址
下载地址

• 2011年成立的Hortonworks是雅虎与硅谷风投公司Benchmark Capital合资组建。
• 公司成立之初就吸纳了大约25名至30名专门研究Hadoop的雅虎工程师，上述工程师均在2005年开始协助雅虎开发Hadoop，贡献了Hadoop80%的代码。
• Hortonworks的主打产品是Hortonworks Data Platform（HDP），也同样是100%开源的产品，HDP除常见的项目外还包括了Ambari，一款开源的安装和管理系统。
• 2018年Hortonworks目前已经被Cloudera公司收购。

2.4、Hadoop优势

1. 高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。
2. 高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。
3. 高效性：在Map Reduce的思想下，Hadoop是并行工作的，以加快任务处理速度。
4. 高容错性：能够自动将失败的任务重新分配。

2.5、Hadoop组成

  在Hadoop1.x时代，Hadoop中的Map Reduce同时处理业务逻辑运算和资源的调度，耦合性较大。在Hadoop2.x时代，增加了Yarn。Yarn只负责资源的调度，Map Reduce只负责运算。Hadoop3.x在组成上没有变化。
如果对理论感兴趣，可以点击尚硅谷Hadoop教学

2.5.1 HDFS架构概述

Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。

1. NameNode（nn）：存储文件的元数据，如文件名、文件目录结构、文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块列表所在的DataNode等。
2. DataNode（dn）：在本地文件系统存储文件块数据，以及块数据的校验和。
3. Seconday NameNode（2nn）：每隔一段时间对NameNode元数据备份

2.5.2 YARN架构概述

Yet Another Resource Negotiator 简称YARN，另一种资源协调者，是Hadoop的资源管理器。

1. ResourceManager（RM）：整个集群资源（内存、CPU等）的老大
2. NodeManager（NM）：单个节点服务器资源老大
3. ApplicationMaster（AM）：单个任务运行的老大
4. Container：容器，相当于一台独立的服务器，里面封装了任务运行所需要的资源，如内存、CPU、磁盘、网络等。

备注：

• 客户端可以有多个
• 集群上可以运行多个ApplicationMaster
• 每个NodeManager上可以有多个Container

2.5.3 MapReduce架构概述

MapReduce将计算过程发呢为：Map和Reduce

1. Map阶段并行处理输入结果
2. Reduce阶段对Map结果进行汇总

2.5.4 HDFS、YARN、MapReduce三者关系

2.6、大数据技术生态体系

图中涉及的技术名词解释如下：

1. Sqoop：Sqoop是一款开源的工具，主要用于在Hadoop、Hive与传统的数据库（MySQL）间进行数据的传递，可以将一个关系型数据库（例如 ：MySQL，Oracle 等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
2. Flume：Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；
3. Kafka：Kafka是一种高吞吐量的分布式发布订阅消息系统；
4. Spark：Spark是当前最流行的开源大数据内存计算框架。可以基于Hadoop上存储的大数据进行计算。
5. Flink：Flink是当前最流行的开源大数据内存计算框架。用于实时计算的场景较多。
6. Oozie：Oozie是一个管理Hadoop作业（job）的工作流程调度管理系统。
7. HBase：HBase是一个分布式的、面向列的开源数据库。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。
8. Hive：Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
9. ZooKeeper：它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。

2.7、推线系统框架图

三、搭建环境（虚拟机需做前三配置）

3.1、虚拟机环境准备

1. 安装虚拟机，IP地址设置为192.168.10.100、主机名称hadoop100、内存4G、硬盘50G
2. hadoop100虚拟机配置要求如下（本文Linux系统全部以CentOS7为例）
   • 使用yum安装需要虚拟机可以正常上网，yum安装前可以先测试一下虚拟机联网情况
     使用ping命令测试当前虚拟机有无网络，若遇到没有网络等问题，VM安装配置以及安装Linux
     该链接可以指导你安装
   • 安装epel-release
     • 注：Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包，适用于RHEL、CentOS和Scientific Linux。相当于是一个软件仓库，大多数rpm包在官方 repository 中是找不到的），使用下面的命令来下载包：

     • yum install -y epel-release

   • net-tool：工具包集合，包含ifconfig等命令

     • yum install -y net-tooles

   • vim：编辑器

     • yum install -y vim

3.2、克隆虚拟机

  利用模板（Hadoop100）克隆两台虚拟机注意：克隆时要关闭Hadoop100
  修改克隆机IP，因环境问题，以下用Hadoop101举例说明：
修改静态IP

vim /etc/sysconfig/network-scripts/ifcfg-ens33
1

  将文件内容改成（你也可以自己该，这里改了后面配置的时候一起改也一样）：

DEVICE=ens33
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
NAME="ens33"
IPADDR=192.168.10.102
PREFIX=24
GATEWAY=192.168.10.2
DNS1=192.168.10.2
1
2
3
4
5
6
7
8
9

查看Linux虚拟网络，在VM的界面中依次点击 编辑->虚拟网络编辑器->VMnet8

查看Windows系统适配器VMware Network Adapter VMnet8的IP地址（在网络适配器里）

保证Linux系统ifcfg-ens33文件中IP地址、虚拟网络编辑器地址和Windows系统VM8网络IP地址相同。

3.3、修改主机名

以下修改用Hadoop101举例

vim /etc/hostname
1

输入上例命令，然后将内容修改为 hadoop101（可以根据自己想要的取，在专业角度上建议不要定义无意义名字）
配置Linux主机名映射文件，打开/etc/hosts

vim /etc/hosts
1

添加如下内容：

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108
1
2
3
4
5
6
7
8
9

这些内容可以不用添加那么多，用多少添加多少就行。如果IP和主机名不一致记得更改
然后使用命令：

reboot
1

来重启虚拟机。
本地虚拟机还要修改host文件，路径如下：

C:\Windows\System32\drivers\etc
1

打开之后添加如下内容：

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108
1
2
3
4
5
6
7
8
9

这里的内容要和你上面在Linux中host文件添加的内容一致。
之后的内容都是一致的了

3.4、在hadoop102中安装JDK

3.4.1 卸载现有JDK

  注意：安装JDK前，一顶顶确保提前删除了虚拟机或服务器上自带的JDK。

3.4.2 用XShell传入jdk压缩包

其中上传的Linux路径根据自己需求来控制。
首先进入jdk所在的目录：

cd /opt/sotware
1

在使用命令去解压到另一个文件夹

tar -zxvf jdk-8u212-linux-x64.tar.gz -C /usr/local/src/
1

该解压路径可以自己改写。
随后配置JDK环境变量：
我在学习的时候看见两种方法，下面只说我尝试的：
已尝试：
使用命令修改环境变量配置文件：
路径是你环境变量的路径，在文章开头有提到

vim /etc/profile
1

在文件里面添加两行内容：

#JAVA_HOME
export JAVA_HOME=/usr/local/src/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin
1
2
3

在Linux中修改了环境变量文件之后
一定要使用source来更改环境变量
一定要使用source来更改环境变量
一定要使用source来更改环境变量
重要的事情说三遍！命令如下：

source /etc/profile
1

然后在命令行输入以下命令来检测Java是否安装：

java -version
1

若返回版本号那jdk就安装完成了。

3.5、安装Hadoop

Hadoop下载地址
利用XShell文件传输工具将hadoop-3.1.3.tar.gz导入到Linux中，文件目录自适应

使用命令进入传入Hadoop的目录

cd /opt/sofftware
1

然后使用命令解压文件

tar -zxvf hadoop-3.1.3.tar.gz -C /usr/local/src
1

vim /etc/profile
1

在将hadoop添加到环境变量

#HADOOP_HOME
export HADOOP_HOME=/usr/local/src/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
1
2
3
4

记得source一下环境变量文件。
使用以下命令来检测hadoop是否安装成功

hadoop  -version
1

若返回版本号那么就是安装成功

3.6、Hadoop目录结构

3.6.1 查看hadoop结构

[root@hadoop102 hadoop-3.1.3]$ ll
总用量 52
drwxr-xr-x. 2 root root 4096 5月  22 2017 bin
drwxr-xr-x. 3 root root 4096 5月  22 2017 etc
drwxr-xr-x. 2 root root 4096 5月  22 2017 include
drwxr-xr-x. 3 root root 4096 5月  22 2017 lib
drwxr-xr-x. 2 root root 4096 5月  22 2017 libexec
-rw-r--r--. 1 root root 15429 5月  22 2017 LICENSE.txt
-rw-r--r--. 1 root root 101 5月  22 2017 NOTICE.txt
-rw-r--r--. 1 root root 1366 5月  22 2017 README.txt
drwxr-xr-x. 2 root root 4096 5月  22 2017 sbin
drwxr-xr-x. 4 root root 4096 5月  22 2017 share
1
2
3
4
5
6
7
8
9
10
11
12

3.6.2 重要目录

（1）bin目录：存放对Hadoop相关服务（hdfs，yarn，mapred）进行操作的脚本
（2）etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件
（3）lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）
（4）sbin目录：存放启动或停止Hadoop相关服务的脚本
（5）share目录：存放Hadoop的依赖jar包、文档、和官方案例

四、Hadoop运行模式

1. Hadoop官方网站
2. Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式
   • 本地模式：单机运行，只是用来演示一下官方案例。生产环境不用。
   • 伪分布式模式：也是单机运行，但是具备Hadoop集群的所有功能，一台服务器模拟一个分布式的环境。个别缺钱的公司用来测试，生成环境不用
   • 完全分布式模式：多台服务器组成分布式环境。生产环境使用。

4.1、本地运行模式（官方WordCount）

1. 在hadoop-3.1.3文件夹下面创建一个wcinput文件夹

mkdir wcinput
1

2. 在wcinput文件夹下创建一个word.txt

cd wcinput
1

3. 编辑word.txt文件

vim word.txt
1

在文件中输入如下内容：

hadoop yarn
hadoop mapreduce
sherry
sherry
1
2
3
4

保存退出 :wq

4. 回到目录：hadoop3.1.3
   

5. 执行程序

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput
1

因原来的集群所有任务全配置在master，不知道为什么master直接崩溃，所以推到重来，使用vm虚拟机创建hadoop102、hadoop103、hadoop104，从这里开始均使用尚硅谷教程开始
会看见一长串执行，在下面就能看见Map Reduce

执行完成之后输出的文件夹为wcoutput，进入文件夹，并输入命令查看执行结果

cd wcoutput
1

cat part-r-00000
1

4.2、完全分布式运行模式（开发重点）

1. 准备3太客户机（关闭防火墙、静态IP、主机名称）
2. 安装 JDK
3. 配置环境变量
4. 安装Hadoop
5. 配置环境变量
6. 配置集群
7. 单点启动
8. 配置ssh
9. 群起并测试集群

4.2.1 虚拟机准备

详见3.1、3.2、3.3节。

4.2.2 编写集群分发脚本xsync

4.2.2.1 scp（secure copy）安全拷贝

• scp定义
  scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）
• 基本语法

scp   -r        $pdir/$fname              $user@$host:$pdir/$fname
1

命令  递归    要拷贝的文件路径/名称   目的地用户@主机:目的地路径/名称
上面这一行是对命令的解释
（3）案例实操
前提：在hadoop102、hadoop103、hadoop104都已经创建好的/opt/module、/opt/software两个目录，并且已经把这两个目录修改为sherry:sherry（这个是你的主机名）

sudo chown sherry:sherry -R /opt/module
1

（a）在hadoop102上，将hadoop102中/opt/module/jdk1.8.0_212目录拷贝到hadoop103上。

scp -r /opt/module/jdk1.8.0_212  sherry@hadoop103:/opt/module
1

（b）在hadoop103上，将hadoop102中/opt/module/hadoop-3.1.3目录拷贝到hadoop103上。

scp -r sherry@hadoop102:/opt/module/hadoop-3.1.3 /opt/module/
1

（c）在hadoop103上操作，将hadoop102中/opt/module目录下所有目录拷贝到hadoop104上。

scp -r sherry@hadoop102:/opt/module/* sherry@hadoop104:/opt/module
1

4.2.2.2 rsync远程同步工具

rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。
rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文件都复制过去。

• 基本语法

rsync    -av       $pdir/$fname             $user@$host:$pdir/$fname
1

命令   选项参数   要拷贝的文件路径/名称   目的地用户@主机:目的地路径/名称
上面这一行是对命令的解释

• 案例实操

1. 删除hadoop103中/opt/module/hadoop-3.1.3/wcinput

rm -rf wcinput/
1

2. 同步hadoop102中的/opt/module/hadoop-3.1.3到hadoop103

rsync -av hadoop-3.1.3/ sherry@hadoop103:/opt/module/hadoop-3.1.3/
1

4.2.2.3 xsync 集群分发脚本

1. 需求：循环复制文件到所有节点的相同目录下
2. 需求分析：
   （a）rsync命令原始拷贝：

rsync  -av     /opt/module  		 atguigu@hadoop103:/opt/
1

（b）期望脚本：
   xsync要同步的文件名称
（c）期望脚本在任何路径都能使用（脚本放在声明了全局环境变量的路径）

echo $PATH
1

结果

/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/home/sherry/.local/bin:/home/sherry/bin:/opt/module/jdk1.8.0_212/bin:/opt/module/jdk1.8.0_212/bin:/opt/module/hadoop-3.1.3/bin:/opt/module/hadoop-3.1.3/sbin
1

3. 脚本实现
   （a）在/home/atguigu/bin目录下创建xsync文件

cd /home/sherry
mkdir bin
cd bin
vim xsync
1
2
3
4

在文件中编写如下代码：

#!/bin/bash

#1. 判断参数个数
if [ $# -lt 1 ]
then
    echo Not Enough Arguement!
    exit;
fi

#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
    echo ====================  $host  ====================
    #3. 遍历所有目录，挨个发送

    for file in $@
    do
        #4. 判断文件是否存在
        if [ -e $file ]
            then
                #5. 获取父目录
                pdir=$(cd -P $(dirname $file); pwd)

                #6. 获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file does not exists!
        fi
    done
done

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33

（b）修改脚本 xsync 具有执行权限

chmod +x xsync
1

（c）测试脚本

xsync /home/atguigu/bin
1

（d）将脚本复制到/bin中，以便全局调用

sudo cp xsync /bin/
1

（e）同步环境变量配置（root所有者）

sudo ./bin/xsync /etc/profile.d/my_env.sh
1

注意：如果用了sudo，那么xsync一定要给它的路径补全。
让环境变量生效

source /etc/profile
1

4.2.3 SSH免密登录配置

1. 配置ssh

（1）基本语法
   ssh另一台电脑的IP地址
（2）ssh连接时出现Host key verification failed的解决方法

ssh hadoop103
1

• 如果出现如下内容：
  Are you sure you want to continue connecting (yes/no)?
  输入yes，并回车

（3）退回到hadoop102

exit
1

2. 无密钥配置

（1）免密登录原理

（2）生成公钥和私钥

pwd
/home/sherry/.ssh

ssh-keygen -t rsa
1
2
3
4

注意：
  还需要在hadoop103上采用sherry账号配置一下无密登录到hadoop102、hadoop103、hadoop104服务器上。
  还需要在hadoop104上采用sherry账号配置一下无密登录到hadoop102、hadoop103、hadoop104服务器上。
  还需要在hadoop102上采用root账号，配置一下无密登录到hadoop102、hadoop103、hadoop104；

3. .ssh文件下（~/.ssh）的文件功能解释

4.2.4 集群配置

4.2.4.1 进群部署规划

  注意：
    > NameNode 和 SecondaryNameNode不要安装在同一服务器
    > ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上

4.2.4.2 配置文件说明

  Hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户向修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。

1. 默认配置文件：

2. 自定义配置文件：
   core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml四个配置文件都存放在：$HADOOP_HOME/etc/hadoop这个路径上，用户可以根据项目需求重新进行修改配置。

4.2.4.3 配置集群

1. 核心配置文件
   配置core-site.xml

cd $HADOOP_HOME/etc/hadoop
1

vim core-site.xml
1

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:8020</value>
    </property>

    <!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
    </property>

    <!-- 配置HDFS网页登录使用的静态用户为atguigu -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>atguigu</value>
    </property>
</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

2. HDFS配置文件
   配置hdfs-site.xml

vim hdfs-site.xml
1

文件内容如下;

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- nn web端访问地址-->
	<property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop102:9870</value>
    </property>
	<!-- 2nn web端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop104:9868</value>
    </property>
</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

3. YARN配置文件

vim yarn-site.xml
1

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
    </property>

    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

4. MapReduce配置文件
   配置mapred-site.xml

vim mapred-site.xml
1

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
1
2
3
4
5
6
7
8
9
10

4.2.4.4 分发配置好的Hadoop配置文件

xsync /opt/module/hadoop-3.1.3/etc/hadoop/
1

4.2.4.5 在103、104上查看分发情况

分别在hadoop103、104上输入

cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml
1

4.2.5 群起集群

4.2.5.1 配置workers

vim /opt/module/hadoop-3.1.3/etc/hadoop/workers
1

在文件中增加如下内容：

hadoop102
hadoop103
hadoop104
1
2
3

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行
同步所有节点的配置文件

xsync /opt/module/hadoop-3.1.3/etc
1

4.2.5.2 启动集群

1. 如果是第一次启动，需要在hadoop102节点格式化NameNode（注意：格式化NameNode，会产生新的id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化NameNode的话，需要先停止namenode和datanode进程，并且和删除所有机器的data和logs目录，然后再进行格式化）

hdfs namenode -format
1

2. 启动HDFS

start-dfs.sh
1

3. 再配置了ResourceManager的节点（hadoop103）启动YARN

sbin/start-yarn.sh
1

4. Web端查看HDFS的NameNode
   （a）浏览器中输入：http://hadoop102:9870
   （b）查看HDFS上存储的数据信息
5. Web端查看YARN的ResourceManager
   （a）浏览器中输入：http://hadoop103:8088
   （b）查看YARN上运行的Job信息
   如果配置好了那么上面的链接是可以点的。

4.2.5.3 集群基本测试

1. 上传文件到集群

• 上传小文件

hadoop fs -mkdir /input
hadoop fs -put $HADOOP_HOME/wcinput/word.txt /input
1
2

• 上传大文件

hadoop fs -put  /opt/software/jdk-8u212-linux-x64.tar.gz  /
1

2. 上传文件后查看文件存放在什么位置

• 查看HDFS文件存储路径

pwd
/opt/module/hadoop-3.1.3/data/dfs/data/current/BP-1436128598-192.168.10.102-1610603650062/current/finalized/subdir0/subdir0
1
2

• 查看HDFS再磁盘存储文件的内容

cat blk_1073741825
hadoop yarn
hadoop mapreduce 
sherry
sherry
1
2
3
4
5

3. 拼接

-rw-rw-r--. 1 atguigu atguigu 134217728 5月  23 16:01 blk_1073741836
-rw-rw-r--. 1 atguigu atguigu   1048583 5月  23 16:01 blk_1073741836_1012.meta
-rw-rw-r--. 1 atguigu atguigu  63439959 5月  23 16:01 blk_1073741837
-rw-rw-r--. 1 atguigu atguigu    495635 5月  23 16:01 blk_1073741837_1013.meta
1
2
3
4

cat blk_1073741836>>tmp.tar.gz
cat blk_1073741837>>tmp.tar.gz
tar -zxvf tmp.tar.gz
1
2
3

4. 下载
   在hadoop104下载

hadoop fs -get /jdk-8u212-linux-x64.tar.gz ./
1

5. 执行wordcount程序

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output
1

4.2.6 配置历史服务器

为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：

1. 配置mapred-site.xml

vim mapred-site.xml
1

在文件里面增加如下配置：

<!-- 历史服务器端地址 -->

    mapreduce.jobhistory.address</name>
    hadoop102:10020</value>
</property>

<!-- 历史服务器web端地址 -->

    mapreduce.jobhistory.webapp.address</name>
    hadoop102:19888</value>
</property>
1
2
3
4
5
6
7
8
9
10
11

2. 分发配置

xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml
1

3. 在hadoop102启动历史服务器

mapred --daemon start historyserver
1

4. 查看历史服务器是否启动

jps
1

5. 查看JobHistory
   http://hadoop102:19888/jobhistory

4.2.7 配置日志的聚集

日子聚集概念应用运行完成之后，将程序运行日志信息上传到HDFS系统上。

日志聚集功能好处：可以方便的查看程序运行详情，方便开发调试。
注意：开启日志聚集功能，需要重新启动NodeManager、ResourceManager和HistoryServer。
开启日志聚集功能具体步骤如下：

1. 配置yarn-site.xml

vim yarn-site.xml
1

在该文件中添加如下配置：

<!-- 开启日志聚集功能 -->

    yarn.log-aggregation-enable</name>
    true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
  
    yarn.log.server.url</name>  
    http://hadoop102:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为7天 -->

    yarn.log-aggregation.retain-seconds</name>
    604800</value>
</property>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

2. 分发配置

xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml
1

3. 关闭NodeManager、ResourceManager和HistoryServer

sbin/stop-yarn.sh
1

mapred --daemon stop historyserver
1

4. 启动NodeManager、ResourceManager和HistoryServer

start-yarn.sh
1

mapred --daemon start historyserver
1

5. 删除HDFS上已经存在的输出文件

hadoop fs -rm -r /output
1

6. 执行WordCount

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output
1

7. 查看日志
   （1）历史服务器地址
   http://hadoop102:19888/jobhistory
   （2）历史任务列表
   
   （3）查看任务运行日志
   
   （4）运行日志详情
   

4.2.8 集群启动、停止方式总结

1. 各个模块分开启动/停止（配置ssh是前提）常用
   （1）整体启动/停止HDFS

start-dfs.sh/stop-dfs.sh
1

（2）整体启动/停止YARN

start-yarn.sh/stop-yarn.sh
1

2. 各个服务组件逐一启动/停止
   （1）分别启动/停止HDFS组件

hdfs --daemon start/stop namenode/datanode/secondarynamenode
1

（2）启动/停止YARN

yarn --daemon start/stop  resourcemanager/nodemanager
1

4.2.9 编写Hadoop集群常用脚本

cd /home/atguigu/bin
vim myhadoop.sh
1
2

输入以下内容：

#!/bin/bash

if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi

case $1 in
"start")
        echo " =================== 启动 hadoop集群 ==================="

        echo " --------------- 启动 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
        echo " --------------- 启动 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
        echo " --------------- 启动 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
        echo " =================== 关闭 hadoop集群 ==================="

        echo " --------------- 关闭 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
        echo " --------------- 关闭 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
        echo " --------------- 关闭 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
    echo "Input Args Error..."
;;
esac
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33

保存后退出，然后赋予脚本执行权限

chmod +x myhadoop.sh
1

2. 查看三台服务器Java进程脚本：jpsall

cd /home/atguigu/bin
1

vim jpsall
1

输入如下内容：

#!/bin/bash

for host in hadoop102 hadoop103 hadoop104
do
        echo =============== $host ===============
        ssh $host jps 
done
1
2
3
4
5
6
7

保存后退出，然后赋予脚本执行权限

chmod +x jpsall
1

3. 分发/home/sherry/bin目录，保证自定义脚本在三台机器上都可以使用

xsync /home/atguigu/bin/
1

4.2.10 常用端口号说明

4.2.11 集群时间同步

  如果服务器在公网环境（能连接外网），可以不采用集群时间同步，因为服务器会定期和公网时间进行校准；
  如果服务器在内网环境，必须要配置集群时间同步，否则时间久了，会产生时间偏差，导致集群执行任务时间不同步。

4.2.11.1 需求

  找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，生产环境根据任务对时间的准确程度要求周期同步。测试环境为了尽快看到效果，采用1分钟同步一次。

4.2.11.2 时间服务器配置（必须root用户）

1. 查看所有节点ntpd服务状态和开机自启动状态

sudo systemctl status ntpd
sudo systemctl start ntpd
sudo systemctl is-enabled ntpd
1
2
3

2. 修改hadoop102的ntp.conf配置文件

sudo vim /etc/ntp.conf
1

修改内容如下：
（a）修改1（授权192.168.10.0-192.168.10.255网段上的所有机器人可以从这台机器上查询和同步时间）
在文件中找到：

#restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap
1

将前面的#去掉变成：

restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap
1

（b）修改2（集群在局域网中，不适用其他互联网上的时间）
将下面的全部注释掉：

server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst
1
2
3
4

变为：

#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
1
2
3
4

（c）添加3（当该节点丢失忘了链接，依然可以采用本地时间作为时间服务器为集群中的其他节点提供时间同步）
3) 修改hadoop102的/etc/sysconfig/htpd文件

sudo vim /etc/sysconfig/ntpd
1

增加内容如下（让硬件时间与系统时间一起同步）

SYNC_HWCLOCK=yes
1

4. 重新启动ntpd服务

sudo systemctl start ntpd
1

5. 设置ntpd服务开机

sudo systemctl enable ntpd
1

4.2.11.3 其他机器配置（必须root用户）

1. 关闭所有系欸但上ntp服务和自启动

sudo systemctl stop ntpd
sudo systemctl disable ntpd
sudo systemctl stop ntpd
sudo systemctl disable ntpd
1
2
3
4

2. 在其他机器配置1分钟与时间服务器同步一次

sudo crontab -e
1

编写定时任务如下：

*/1 * * * * /usr/sbin/ntpdate hadoop102
1

3. 修改任意机器时间

sudo date -s "2021-9-11 11:11:11"
1

4)1分钟后查看机器是否与时间服务器同步

sudo date
1

五、常见错误及解决方案

该章节是尚硅谷给出的在搭建hadoop环境中容易出现的问题以及解决方案。

1. 防火墙没关闭、或者没有启动YARN
   INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032
2. 主机名称配置错误
3. IP地址配置错误
4. ssh没有配置好
5. root用户和atguigu两个用户启动集群不统一
6. 配置文件修改不细心
7. 不识别主机名称

java.net.UnknownHostException: hadoop102: hadoop102
        at java.net.InetAddress.getLocalHost(InetAddress.java:1475)
        at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:146)
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290)
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287)
        at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
1
2
3
4
5
6
7

解决办法：
（1）在/etc/hosts文件中添加192.168.10.102 hadoop102
（2）主机名称不要起hadoop hadoop000等特殊名称

8. DataNode和NameNode进程同时只能工作一个。
   

9. 执行命令不生效，粘贴Word中命令时，遇到-和长–没区分开。导致命令失效
   解决办法：尽量不要粘贴Word中代码。

10. jps发现进程已经没有，但是重新启动集群，提示进程已经开启。
    原因是在Linux的根目录下/tmp目录中存在启动的进程临时文件，将集群相关进程删除掉，再重新启动集群。

11. jps不生效
    原因：全局变量hadoop java没有生效。解决办法：需要source /etc/profile文件。

12. 8088端口连接不上

[sherry@hadoop102 桌面]$ cat /etc/hosts
1

注释掉如下代码

#127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
#::1         hadoop102
1
2