Hadoop介绍及群集搭建

Hadoop简介

• Hadoop是由Java语言编写，开源，允许用户使用简单的编程模型实现跨机器集群对海量数据进行分布式计算处理的软件
• 狭义上来说Hadoop是一款Apache基金会开源的软件。
• 广义上来说Hadoop是围绕Hadoop这款软件打造的大数据生态圈。
  
  Hadoop官方传送门

Hadoop核心组件

• HDFS分布式文件存储系统，解决海量数据存储。
• YRAN群集资源管理和任务调度框架，解决资源任务调度。
• MapReduce分布式计算框架，解决海量数据计算。

Hadoop现状

• HDFS处在生态圈的底层与核心地位；
• YARN支撑各种计算引擎运行，保证了Hadoop地位；
• MapReduce由于自身设计的模型所产生的弊端，导致大型企业一般不会直接使用MapReduce进行编程处理，但是很多软件的底层依然在使用MapReduce引擎来处理数据。

Hadoop特点

1. 可扩展性：在可用的计算机集群间分配数据并完成计算任务的，这些集群可方便灵活的方式扩展到数以千计的节点。
2. 成本低：Hadoop集群允许通过部署普通廉价的机器组成集群来处理大数据，以至于成本很低。看重的是集群整体能力。
3. 高效性：通过并发数据，Hadoop可以在节点之间动态并行移动数据，速度快。
4. 可靠性：能自动维护数据的多份复制，并且在任务失败后能自动重新部署计算任务。

Hadoop3.0+版本介绍

• Hadoop3.0相比于1，2版本在性能优化上得到了显著的提升。
• 通用性方面：精简内核、类路径隔离、shell脚本重构。
• HDFS：EC纠删码、多NameNode支持。
• Timeline Service V2、队列配置。
• MapReduce：任务本地化优化、内存参数自动推断。
  

Hadoop群集

Hadoop群集概述

• Hadoop群集包括两个群集：HDFS群集、YARN群集。
• 两个群集逻辑上分离：两个集群互相之间没有依赖、互不影响；物理上连在一起：某些角色进程往往部署在同一台物理服务器上。
• 两个群集都是标准的主从架构。另外MapReduce属于计算框架，代码层面的组件没有群集这一说。

Hadoop群集角色

• HDFS群集角色：主角色NameNode、从角色DataNode、主角色辅助角色SecondaryNameNode。
• YARN群集角色：主角色ResourceManager、从角色NodeManager。

Hadoop群集搭建实战

群集规划

• 选用三台CentOS7服务器，最低配置要求主服务器4C4G、从2C2G。

基础环境配置

• 设置hosts映射

vim /etc/hosts
#最下方输入
ip1 node1
ip2 node2
ip3 node3
1
2
3
4
5

• 安装jdk配置环境变量

tar zxvf jdk-8u241-linux-x64.tar.gz -C /usr/local/
vim /etc/profile
#最下方输入
export JAVA_HOME=/usr/local/jdk1.8
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
1
2
3
4
5
6

• 群集时间同步

yum install -y ntpdate
ntpdate ntp5.aliyun.com
1
2

• 关闭防火墙

#查看防火墙状态
firewall-cmd --state	
#停止firewalld服务
systemctl stop firewalld
#开机禁用firewalld服务
systemctl disable firewalld
1
2
3
4
5
6

• 三台nodeSSH免密登录

#node1生成公钥私钥 (一路回车)
ssh-keygen  
#node1配置免密登录到node1 node2 node3
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3
1
2
3
4
5
6

安装Hadoop

#解压Hadoop软件
tar -zxvf hadoop-3.3.0-Centos7-64-with-snappy.tar.gz -C /export/server
1
2

• 修改配置文件(hadoop-3.3.0/etc/hadoop)

#hadoop-env.sh
#文件最后添加
export JAVA_HOME=/export/server/jdk1.8.0_241

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root 
1
2
3
4
5
6
7
8
9

#core-site.xml

<property>
    <name>fs.defaultFSname>
    <value>hdfs://node1:8020value>
property>


<property>
    <name>hadoop.tmp.dirname>
    <value>/export/data/hadoop-3.3.0value>
property>


<property>
    <name>hadoop.http.staticuser.username>
    <value>rootvalue>
property>


<property>
    <name>hadoop.proxyuser.root.hostsname>
    <value>*value>
property>

<property>
    <name>hadoop.proxyuser.root.groupsname>
    <value>*value>
property>


<property>
    <name>fs.trash.intervalname>
    <value>1440value>
property>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35

#hdfs-site.xml

<property>
    <name>dfs.namenode.secondary.http-addressname>
    <value>node2:9868value>
property>
1
2
3
4
5
6

#mapred-site.xml

<property>
  <name>mapreduce.framework.namename>
  <value>yarnvalue>
property>


<property>
  <name>mapreduce.jobhistory.addressname>
  <value>node1:10020value>
property>
 

<property>
  <name>mapreduce.jobhistory.webapp.addressname>
  <value>node1:19888value>
property>

<property>
  <name>yarn.app.mapreduce.am.envname>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}value>
property>

<property>
  <name>mapreduce.map.envname>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}value>
property>

<property>
  <name>mapreduce.reduce.envname>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}value>
property>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33

#yarn-site.xml

<property>
	<name>yarn.resourcemanager.hostnamename>
	<value>node1value>
property>

<property>
    <name>yarn.nodemanager.aux-servicesname>
    <value>mapreduce_shufflevalue>
property>


<property>
    <name>yarn.nodemanager.pmem-check-enabledname>
    <value>falsevalue>
property>


<property>
    <name>yarn.nodemanager.vmem-check-enabledname>
    <value>falsevalue>
property>


<property>
  <name>yarn.log-aggregation-enablename>
  <value>truevalue>
property>


<property>
    <name>yarn.log.server.urlname>
    <value>http://node1:19888/jobhistory/logsvalue>
property>


<property>
  <name>yarn.log-aggregation.retain-secondsname>
  <value>604800value>
property>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41

#workers（原slaves）
node1
node2
node3
1
2
3
4

• 分发同步hadoop安装包

scp -r hadoop-3.3.0 root@node2:$PWD
scp -r hadoop-3.3.0 root@node3:$PWD
1
2

添加Hadoop环境变量

vim /etc/profile

export HADOOP_HOME=/export/server/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile
1
2
3
4
5
6

• 格式化hdfs（首次启动hdfs，必须进行格式化操作）

hdfs namenode -format
1

格式化成功如下图

• 启动群集在node1命令行中通过shell脚本启动

#hdfs启动
start-dfs.sh 
#yarn启动
start-yarn.sh
#全部启动
start-all.sh
1
2
3
4
5
6

• 启动成功检查：
  • node1：
    
  • node2：
    
  • node3：
    
• Web UI认证
  hdfs界面：http://node1:9870/
  yarn界面：http://node1:8088/

Hadoop示例及基本操作

HDFS基本操作

• shell命令操作

#创建目录
hadoop fs -mkdir /test
#上传文件
hadoop fs -put test.txt /test
#查看目录
hadoop fs -ls /
1
2
3
4
5
6

YARN+MapReduce基本操作

• 以Hadoop安装自带的示例计算圆周率

cd /export/server/hadoop-3.3.0/share/hadoop/mapreduce
hadoop jar hadoop-mapreduce-examples-3.3.0.jar pi 2 4
1
2

• 先执行map再执行reduce
  
• 最终得到执行结果（虽然不够准确lol）
  
• web展示