Hadoop HA高可用集群模式搭建指南

Hadoop HA高可用集群模式搭建指南
为什么80%的码农都做不了架构师？>>>

简述

hadoop 集群一共有4种部署模式，详见《hadoop 生态圈介绍》。 HA模式的集群里面会部署两台NN（最多也只能两台），以形成主备NN节点，达到高可用的目的。两台NN之间同步数据有两种方法：QJM和NFC。本文选择QJM方式，下文中出现的 journalnode 即为QJM模式下的进程。另外还可以配置两台ResourceManager，形成主备RM节点，从而达到yarn集群的高可用。该模式下的集群配置是在完全分布式模式的基础上做了部分调整。

所有四种模式的部署指南见：

Hadoop 伪分布式搭建指南

Hadoop 完全分布式搭建指南

Hadoop HA高可用集群模式搭建指南

Hadoop HA+Federation（联邦）模式搭建指南

 搭建过程

系统环境

Ubuntu 14.04 x64 Server LTS
Hadoop 2.7.2
vagrant 模拟三台主机，内存都为2G

节点角色

IP

主机名

角色描述

192.168.100.201

h01.vm.com

主节点 NameNode, job-history-server

192.168.100.202

h02.vm.com

主节点 NameNode, (yarn)ResourceManager

192.168.100.203

h03.vm.com

-

另，以上所有节点都同时是 zookeeper、zkfc、journalnode 和 datanode。运行Namenode和ResourceManager的节点即为主节点。

更新软件源索引
- 分别在 h01 h02 h03 操作
  
  sudo apt-get update
安装基础软件
- 分别在 h01 h02 h03 操作
  
  sudo apt-get install ssh
  sudo apt-get install rsync
配置主机域名
- 分别在 h01 h02 h03 操作
  
  sudo vim /etc/hostname # centos系统可能没有该文件，创建即可
  h01.vm.com # 该节点主机名
将该文件内容修改为对应的主机名，例如 h01.vm.com

域名解析
- 搭建内网DNS服务器（可选，但推荐），可阅读vincent的博文 http://blog.kissdata.com/2014/07/10/ubuntu-dns-bind.html
- 配置 /etc/hosts，将以下代码追加到文件末尾即可（如搭建了DNS服务器，则跳过此步骤）
- 分别在 h01 h02 h03 操作
  
  sudo vim /etc/hosts
  192.168.100.201 h01.vm.com h01
  192.168.100.202 h02.vm.com h02
  192.168.100.203 h03.vm.com h03
!!! Ubuntu系统，须删掉 /etc/hosts 映射 127.0.1.1/127.0.0.1 !!! Check that there isn’t an entry for your hostname mapped to 127.0.0.1 or 127.0.1.1 in /etc/hosts (Ubuntu is notorious for this). 127.0.1.1 h01.vm.com # must remove

不然可能会引起 hadoop、zookeeper 节点间通信的问题

时间同步（可选）

在内网中搭建 ntp 服务器，可阅读vincent的博文 http://blog.kissdata.com/2014/10/28/ubuntu-ntp.html

准备jdk、hadoop和zookeeper软件包
- 须到官方网站下载stable版本 jdk-7u79-linux-x64.tar.gz hadoop-2.7.2.tar.gz zookeeper-3.4.8.tar.gz
- 所有的软件包都统一解压到 /home/vagrant/VMBigData 目录下，其中 vagrant 是linux系统的用户名，由于我是使用 vagrant 虚拟的主机，所以默认是 vagrant
- 在 h01 操作
  
   先在其中一台机子操作，后面会使用 scp 命令或者其他方法同步到其他主机
  
  mkdir -p /home/vagrant/VMBigData/hadoop /home/vagrant/VMBigData/java /home/vagrant/VMBigData/zookeeper
  tar zxf jdk-7u79-linux-x64.tar.gz -C /home/vagrant/VMBigData/java
  tar zxf hadoop-2.7.2.tar.gz -C /home/vagrant/VMBigData/hadoop
  tar zxf zookeeper-3.4.8.tar.gz -C /home/vagrant/VMBigData/zookeeper
配置软连接，方便以后升级版本
- 在 h01 操作，后面通过 scp 同步到其他主机
  
  ln -s /home/vagrant/VMBigData/java/jdk1.7.0_79/ /home/vagrant/VMBigData/java/default
  ln -s /home/vagrant/VMBigData/hadoop/hadoop-2.7.2/ /home/vagrant/VMBigData/hadoop/default
  ln -s /home/vagrant/VMBigData/zookeeper/zookeeper-3.4.8/ /home/vagrant/VMBigData/zookeeper/default
配置环境变量
- 分别在 h01 h02 h03 操作
  
  sudo vim /etc/profile
  export HADOOP_HOME=/home/vagrant/VMBigData/hadoop/default
  export JAVA_HOME=/home/vagrant/VMBigData/java/default
  export PATH= $JAVA_HOME/bin:$ HADOOP_HOME/bin:$PATH
  source /etc/profile
配置免密码ssh登录

hadoop主节点需要能远程登陆集群内的所有节点（包括自己），以执行命令。所以需要配置免密码的ssh登陆。可选的ssh秘钥对生成方式有rsa和dsa两种，这里选择rsa。
- 分别在 h01 h02 ，即两个主节点上操作
  
  ssh-keygen -t rsa -C “youremail@xx.com”
  
  注意在接下来的命令行交互中，直接按回车跳过输入密码
- 以下命令将本节点的公钥 id_rsa.pub 文件的内容追加到远程主机的 authorized_keys 文件中（默认位于 ~/.ssh/）
  
  ssh-copy-id vagrant@h01.vm.com # vagrant是远程主机用户名
  ssh-copy-id vagrant@h02.vm.com # vagrant是远程主机用户名
  ssh-copy-id vagrant@h03.vm.com
- 在 h01 h02 上测试无密码 ssh 登录到 h01 h02 h03
  
  ssh h01.vm.com
  ssh h02.vm.com
  ssh h03.vm.com
!!! 注意使用rsa模式生成密钥对时，不要轻易覆盖原来已有的，确定无影响时方可覆盖 !!!

配置从节点

在 slaves 文件中配置的主机即为从节点，将自动运行datanode服务
- 在 h01 操作，后面通过 scp 同步到其他主机
  
  vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/slaves
  h01.vm.com
  h02.vm.com
  h03.vm.com
建立存储数据的相应目录
- 在 h01 操作，后面通过 scp 同步到其他主机
  
  mkdir -p /home/vagrant/VMBigData/hadoop/data/hdfs/tmp
  mkdir -p /home/vagrant/VMBigData/hadoop/data/pid
  mkdir -p /home/vagrant/VMBigData/hadoop/data/namenode1
  mkdir -p /home/vagrant/VMBigData/hadoop/data/namenode2
  mkdir -p /home/vagrant/VMBigData/hadoop/data/datanode1
  mkdir -p /home/vagrant/VMBigData/hadoop/data/datanode2
  mkdir -p /home/vagrant/VMBigData/hadoop/data/local-dirs
  mkdir -p /home/vagrant/VMBigData/hadoop/data/log-dirs
配置hadoop参数

在 h01 操作，后面通过 scp 同步到其他主机
- vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/hadoop-env.sh
  
  export JAVA_HOME=${JAVA_HOME} # 注意注释掉原来的这行
  
  export JAVA_HOME=/home/vagrant/VMBigData/java/default
  export HADOOP_PREFIX=/home/vagrant/VMBigData/hadoop/default
  
  export HADOOP_PID_DIR=${HADOOP_PID_DIR} # 注意注释掉原来的这行
  
  export HADOOP_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid
  export YARN_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid
  
  export HADOOP_SECURE_DN_PID_DIR=${HADOOP_PID_DIR} # 注意注释掉原来的这行
  
  export HADOOP_SECURE_DN_PID_DIR=${HADOOP_PID_DIR}
- vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/mapred-env.sh
  
  export HADOOP_MAPRED_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid
- vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/core-site.xml
  fs.defaultFS hdfs://ns1 hadoop.tmp.dir /home/vagrant/VMBigData/hadoop/data/hdfs/tmp ha.zookeeper.quorum h01.vm.com:2181,h02.vm.com:2181,h03.vm.com:2181
- vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/hdfs-site.xml
  dfs.replication 2 dfs.nameservices ns1 dfs.ha.namenodes.ns1 nn1,nn2 dfs.namenode.rpc-address.ns1.nn1 h01.vm.com:9000 dfs.namenode.http-address.ns1.nn1 h01.vm.com:50070 dfs.namenode.rpc-address.ns1.nn2 h02.vm.com:9000 dfs.namenode.http-address.ns1.nn2 h02.vm.com:50070 dfs.namenode.shared.edits.dir qjournal://h01.vm.com:8485;h02.vm.com:8485;h03.vm.com:8485/ns1 dfs.journalnode.edits.dir /home/vagrant/VMBigData/hadoop/data/journal dfs.ha.automatic-failover.enabled true dfs.client.failover.proxy.provider.ns1 org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider dfs.ha.fencing.methods sshfence shell(/bin/true) dfs.ha.fencing.ssh.private-key-files /home/vagrant/.ssh/id_rsa dfs.ha.fencing.ssh.connect-timeout 30000 dfs.namenode.name.dir file:///home/vagrant/VMBigData/hadoop/data/namenode1,file:///home/vagrant/VMBigData/hadoop/data/namenode2 dfs.datanode.data.dir file:///home/vagrant/VMBigData/hadoop/data/datanode1,file:///home/vagrant/VMBigData/hadoop/data/datanode2
- vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/yarn-site.xml
  yarn.resourcemanager.hostname h02.vm.com yarn.log-aggregation-enable true yarn.log-aggregation.retain-seconds 86400 yarn.nodemanager.resource.memory-mb 1024 yarn.scheduler.minimum-allocation-mb 256 yarn.scheduler.maximum-allocation-mb 512 yarn.nodemanager.vmem-pmem-ratio 2.1 yarn.nodemanager.vmem-check-enabled false yarn.nodemanager.local-dirs /home/vagrant/VMBigData/hadoop/data/localdir1,/home/vagrant/VMBigData/hadoop/data/localdir2 yarn.nodemanager.log-dirs /home/vagrant/VMBigData/hadoop/data/logdir1,/home/vagrant/VMBigData/hadoop/data/logdir2 yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler
- vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/mapred-site.xml
  mapreduce.framework.name yarn yarn.app.mapreduce.am.resource.mb 512 mapreduce.map.memory.mb 384 mapreduce.map.java.opts -Xmx256m mapreduce.reduce.memory.mb 384 mapreduce.reduce.java.opts -Xmx256m mapreduce.tasktracker.map.tasks.maximum 2 mapreduce.tasktracker.reduce.tasks.maximum 2 mapred.child.java.opts -Xmx384m mapreduce.task.io.sort.mb 128 mapreduce.task.io.sort.factor 100 mapreduce.reduce.shuffle.parallelcopies 50 mapreduce.jobhistory.address h01.vm.com:10020 mapreduce.jobhistory.webapp.address h01.vm.com:19888
安装配置zookeeper
- 在 h01 操作，后面通过 scp 同步到其他主机
  
  cd /home/vagrant/VMBigData/zookeeper/default/conf/
  cp zoo_sample.cfg zoo.cfg
  vim zoo.cfg
  
  对该文件做出以下修改
  
  dataDir=/home/vagrant/VMBigData/zookeeper/data/tmp
  
  如果无法启动zookeeper，可将以下代码对应的行改为 0.0.0.0:2888:3888
  
  注意zookeeper解析该文件很死板，不要输入多余的空格和空行
  
  server.1=h01.vm.com:2888:3888
  server.2=h02.vm.com:2888:3888
  server.3=h03.vm.com:2888:3888
  
  mkdir -p /home/vagrant/VMBigData/zookeeper/data/tmp
  vim /home/vagrant/VMBigData/zookeeper/data/tmp/myid
  
  在此文件中输入节点编号，比如h01节点就输入1，h02节点就输入2
将hadoop所需文件同步到其他主机
- 在 h01 上操作
  
  scp -r /home/vagrant/VMBigData vagrant@h02.vm.com:/home/vagrant
  scp -r /home/vagrant/VMBigData vagrant@h03.vm.com:/home/vagrant
!!! 注意：default 软连接需要重建 !!!
- 修改各节点的 zookeeper 的 /home/vagrant/VMBigData/zookeeper/data/tmp/myid 文件，内容为各节点编号，本例中为 1,2,3
启动zookeeper
- 在 h01 h02 h03 操作
  
  cd /home/vagrant/VMBigData/zookeeper/default
  bin/zkServer.sh start
启动JournalNode
- 在任一配置了journalnode的节点操作
  
  cd /home/vagrant/VMBigData/hadoop/default
  sbin/hadoop-daemons.sh start journalnode
格式化namenode
- 在 h01 namenode 上执行
  
  hdfs namenode -format
!!! 注意仅在首次启动时执行，因为此命令会删除hadoop集群所有的数据 !!!

同步两个namenode数据（方法一：推荐）
- 在 h01 启动 namenode
  
  cd /home/vagrant/VMBigData/hadoop/default
  sbin/hadoop-daemon.sh start namenode
- 在 h02 执行同步
  
  cd /home/vagrant/VMBigData/hadoop/default
  bin/hdfs namenode -bootstrapStandby
- 在 h02 启动 namenode
  
  cd /home/vagrant/VMBigData/hadoop/default
  sbin/hadoop-daemon.sh start namenode
同步两个namenode数据（方法二：不推荐，可能引起复制后的文件的权限问题）
- 在 h01 操作
  
  scp -r /home/vagrant/VMBigData/hadoop/data/namenode1/ vagrant@h02.vm.com:/home/vagrant/VMBigData/hadoop/data/
  scp -r /home/vagrant/VMBigData/hadoop/data/namenode2/ vagrant@h02.vm.com:/home/vagrant/VMBigData/hadoop/data/
格式化zkfc
- 在 h01 或 h02 (任一namenode) 上操作
  
  hdfs zkfc -formatZK
!!! 注意仅在首次启动时执行 !!!

启动zkfc
- 在 h01 h02 h03 等计划运行zkfc的节点上操作
  
  cd /home/vagrant/VMBigData/hadoop/default
  sbin/hadoop-daemon.sh start zkfc
  
  sbin/hadoop-daemon.sh stop zkfc # 停止
启动hadoop集群：

启动hdfs
- 可在任意主节点执行
  
  cd /home/vagrant/VMBigData/hadoop/default
  sbin/start-dfs.sh
  
  sbin/stop-dfs.sh # 停止
启动Yarn
- 在 h02 ResourceManager 上操作
  
  cd /home/vagrant/VMBigData/hadoop/default
  sbin/start-yarn.sh
  
  sbin/stop-yarn.sh# 停止
启动 job history server（可选）
- 在 h01 上操作
  
  cd /home/vagrant/VMBigData/hadoop/default
  sbin/mr-jobhistory-daemon.sh start historyserver
  
  sbin/mr-jobhistory-daemon.sh stop historyserver # 停止
浏览服务启动情况

NameNode1 http://192.168.100.201:50070

NameNode2 http://192.168.100.202:50070

ResourceManager http://192.168.100.202:8088

MapReduce JobHistory Server http://192.168.100.201:19888

Datanode http://192.168.100.201:50075 http://192.168.100.202:50075 http://192.168.100.203:50075

zookeeper bin/zkServer.sh status

zookeeper命令行 zkCli.sh -server 127.0.0.1:2181

集群状态 bin/hdfs dfsadmin -report

hadoop进程 jps

参考链接

HDFS High Availability Using the Quorum Journal Manager

HDFS High Availability

ResourceManager High Availability

转载于:https://my.oschina.net/bochs/blog/789611

1
相关阅读:
mybatis在spring中的执行流程
 测试界的飞虎队：测试人才战略——测试行业的精英战略（学习了）
Rust 构建开源 Pingora 框架可以与nginx媲美
 Java 接口提速 --持续更新
 TMS320F28374S之ADC一
 你知道数据库有哪些约束吗？
AtCoder ABC132
包管理器
 创建线程的三种方式：继承Thread、Runnable 接口、Callable 接口
 关于数据治理工具的选型，你了解多少？
原文地址：https://blog.csdn.net/m0_67393827/article/details/126365008

简述

搭建过程

系统环境

节点角色

更新软件源索引

安装基础软件

配置主机域名

域名解析

时间同步（可选）

准备jdk、hadoop和zookeeper软件包

先在其中一台机子操作，后面会使用 scp 命令或者其他方法同步到其他主机

配置软连接，方便以后升级版本

配置环境变量

配置免密码ssh登录

注意在接下来的命令行交互中，直接按回车跳过输入密码

配置从节点

建立存储数据的相应目录

配置hadoop参数

export JAVA_HOME=${JAVA_HOME} # 注意注释掉原来的这行

export HADOOP_PID_DIR=${HADOOP_PID_DIR} # 注意注释掉原来的这行

export HADOOP_SECURE_DN_PID_DIR=${HADOOP_PID_DIR} # 注意注释掉原来的这行

安装配置zookeeper

对该文件做出以下修改

如果无法启动zookeeper，可将以下代码对应的行改为 0.0.0.0:2888:3888

注意zookeeper解析该文件很死板，不要输入多余的空格和空行

在此文件中输入节点编号，比如h01节点就输入1，h02节点就输入2

将hadoop所需文件同步到其他主机

启动zookeeper

启动JournalNode

格式化namenode

同步两个namenode数据（方法一：推荐）

同步两个namenode数据（方法二：不推荐，可能引起复制后的文件的权限问题）

格式化zkfc

启动zkfc

sbin/hadoop-daemon.sh stop zkfc # 停止

启动hadoop集群：

sbin/stop-dfs.sh # 停止

sbin/stop-yarn.sh# 停止

sbin/mr-jobhistory-daemon.sh stop historyserver # 停止

浏览服务启动情况

参考链接