• Hadoop HA高可用环境搭建

    目录

    一：Hadoop HA 高可用

    1.1 HA 概述

    1.2 HDFS-HA 集群搭建

    1.2.1 HDFS-HA 核心问题 

    1.3 HDFS-HA 手动模式

    1.3.1 环境准备

    1.3.2 规划集群

    1.3.3 配置 HDFS-HA 集群  

    1.3.4 启动 HDFS-HA 集群

    1.4 HDFS-HA 自动模式

    1.4.1 HDFS-HA 自动故障转移工作机制

    1.4.2 HDFS-HA 自动故障转移的集群规划

    1.4.3 配置 HDFS-HA 自动故障转移

    1.5 YARN-HA 配置

    1.5.1 YARN-HA 工作机制

    1.5.2 配置 YARN-HA 集群  

    1.6 HADOOP HA 的最终规划

    一：Hadoop HA 高可用

    1.1 HA 概述

    （1）所谓 HA（High Availablity），即高可用（7*24 小时不中断服务）。

    （2）实现高可用最关键的策略是消除单点故障。HA 严格来说应该分成各个组件的 HA

    机制：HDFS 的 HA 和 YARN 的 HA。

    （3）NameNode 主要在以下两个方面影响 HDFS 集群

    ➢ NameNode 机器发生意外，如宕机，集群将无法使用，直到管理员重启

    ➢ NameNode 机器需要升级，包括软件、硬件升级，此时集群也将无法使用 HDFS HA 功能通过配置多个 NameNodes(Active/Standby)实现在集群中对 NameNode 的 热备来解决上述问题。如果出现故障，如机器崩溃或机器需要升级维护，这时可通过此种方式将 NameNode 很快的切换到另外一台机器。

    1.2 HDFS-HA 集群搭建

    1.2.1 HDFS-HA 核心问题 

    1）怎么保证三台 namenode 的数据一致

    a.Fsimage:让一台 nn 生成数据,让其他机器 nn 同步

    b.Edits:需要引进新的模块 JournalNode 来保证 edtis 的文件的数据一致性

    2）怎么让同时只有一台 nn 是 active，其他所有是 standby 的

    a.手动分配 b.自动分配

    3）2nn 在 ha 架构中并不存在，定期合并 fsimage 和 edtis 的活谁来干

    由 standby 的 nn 来干

    4）如果 nn 真的发生了问题，怎么让其他的 nn 上位干活

    a.手动故障转移

    b.自动故障转移

    1.3 HDFS-HA 手动模式

    1.3.1 环境准备

    （1）修改 IP

    （2）修改主机名及主机名和 IP 地址的映射

    （3）关闭防火墙

    （4）ssh 免密登录

    （5）安装 JDK，配置环境变量等

    1.3.2 规划集群

    1.3.3 配置 HDFS-HA 集群  

    1）官方地址：http://hadoop.apache.org/

    2）在 opt 目录下创建一个 ha 文件夹

    1. [atguigu@hadoop102 ~]$ cd /opt 
    2. [atguigu@hadoop102 opt]$ sudo mkdir ha 
    3. [atguigu@hadoop102 opt]$ sudo chown atguigu:atguigu /opt/ha

    3）将/opt/module/下的 hadoop-3.1.3 拷贝到/opt/ha 目录下（记得删除 data 和 log 目录）

    [atguigu@hadoop102 opt]$ cp -r /opt/module/hadoop-3.1.3 /opt/ha/

    4）配置 core-site.xml(注意：这里要把以前配置过的信息全部删除)

    1. <configuration> 
    2. <!-- 把多个 NameNode 的地址组装成一个集群 mycluster --> 
    3.  <property> 
    4.  <name>fs.defaultFS</name>  <value>hdfs://mycluster</value> 
    5.  </property> 
    6. <!-- 指定 hadoop 运行时产生文件的存储目录 --> 
    7.  
    8.  <property> 
    9.  <name>hadoop.tmp.dir</name> 
    10.  <value>/opt/ha/hadoop-3.1.3/data</value> 
    11.  </property> 
    12. </configuration>

    5）配置 hdfs-site.xml(注意：这里要把以前配置过的信息全部删除)

    1. <configuration> 
    2. <!-- NameNode 数据存储目录 --> 
    3.  
    4.  <property> 
    5.  <name>dfs.namenode.name.dir</name> 
    6.  <value>file://${hadoop.tmp.dir}/name</value> 
    7.  </property> 
    8. <!-- DataNode 数据存储目录 --> 
    9.  
    10.  <property> 
    11.  <name>dfs.datanode.data.dir</name> 
    12.  <value>file://${hadoop.tmp.dir}/data</value> 
    13.  </property> 
    14. <!-- JournalNode 数据存储目录 --> 
    15.  <property> 
    16.  <name>dfs.journalnode.edits.dir</name> 
    17.  <value>${hadoop.tmp.dir}/jn</value> 
    18.  </property> 
    19. <!-- 完全分布式集群名称 --> 
    20.  
    21.  <property> 
    22.  <name>dfs.nameservices</name> 
    23.  <value>mycluster</value> 
    24.  </property> 
    25. <!-- 集群中 NameNode 节点都有哪些 --> 
    26.  
    27.  <property> 
    28.  <name>dfs.ha.namenodes.mycluster</name> 
    29.  <value>nn1,nn2,nn3</value> 
    30.  </property> 
    31. <!-- NameNode 的 RPC 通信地址 --> 
    32.  
    33.  <property> 
    34.  <name>dfs.namenode.rpc-address.mycluster.nn1</name> 
    35.  <value>hadoop102:8020</value> 
    36.  </property> 
    37.  <property> 
    38.  <name>dfs.namenode.rpc-address.mycluster.nn2</name> 
    39.  <value>hadoop103:8020</value> 
    40.  </property>  <property> 
    41.  <name>dfs.namenode.rpc-address.mycluster.nn3</name> 
    42.  <value>hadoop104:8020</value> 
    43.  </property> 
    44. <!-- NameNode 的 http 通信地址 --> 
    45.  
    46.  <property> 
    47.  <name>dfs.namenode.http-address.mycluster.nn1</name> 
    48.  <value>hadoop102:9870</value> 
    49.  </property> 
    50.  <property> 
    51.  <name>dfs.namenode.http-address.mycluster.nn2</name> 
    52.  <value>hadoop103:9870</value> 
    53.  </property> 
    54.  <property> 
    55.  <name>dfs.namenode.http-address.mycluster.nn3</name> 
    56.  <value>hadoop104:9870</value> 
    57.  </property> 
    58. <!-- 指定 NameNode 元数据在 JournalNode 上的存放位置 --> 
    59.  
    60.  <property> 
    61. <name>dfs.namenode.shared.edits.dir</name> 
    62. <value>qjournal://hadoop102:8485;hadoop103:8485;hadoop104:8485/myclus
    63. ter</value> 
    64.  </property> 
    65. <!-- 访问代理类：client 用于确定哪个 NameNode 为 Active --> 
    66.  
    67.  <property> 
    68.  <name>dfs.client.failover.proxy.provider.mycluster</name> 
    69.  
    70. <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyP
    71. rovider</value> 
    72.  </property> 
    73. <!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应 --> 
    74.  
    75.  <property> 
    76.  <name>dfs.ha.fencing.methods</name> 
    77.  <value>sshfence</value> 
    78.  </property> 
    79. <!-- 使用隔离机制时需要 ssh 秘钥登录--> 
    80.  
    81.  <property> 
    82.  <name>dfs.ha.fencing.ssh.private-key-files</name> 
    83.  <value>/home/atguigu/.ssh/id_rsa</value> 
    84.  </property> 
    85. </configuration>

    6）分发配置好的 hadoop 环境到其他节点

    1.3.4 启动 HDFS-HA 集群

    1）将 HADOOP_HOME 环境变量更改到 HA 目录(三台机器)

    [atguigu@hadoop102 ~]$ sudo vim /etc/profile.d/my_env.sh 

    1. 将 HADOOP_HOME 部分改为如下 
    2.  
    3. #HADOOP_HOME 
    4. export HADOOP_HOME=/opt/ha/hadoop-3.1.3 
    5. export PATH=$PATH:$HADOOP_HOME/bin 
    6. export PATH=$PATH:$HADOOP_HOME/sbin

    去三台机器上 source 环境变量

    [atguigu@hadoop102 ~]$source /etc/profile

    2）在各个 JournalNode 节点上，输入以下命令启动 journalnode 服务

    1. [atguigu@hadoop102 ~]$ hdfs --daemon start journalnode 
    2. [atguigu@hadoop103 ~]$ hdfs --daemon start journalnode 
    3. [atguigu@hadoop104 ~]$ hdfs --daemon start journalnode

    3）在[nn1]上，对其进行格式化，并启动

    1. [atguigu@hadoop102 ~]$ hdfs namenode -format 
    2. [atguigu@hadoop102 ~]$ hdfs --daemon start namenode

    4）在[nn2]和[nn3]上，同步 nn1 的元数据信息

    1. [atguigu@hadoop103 ~]$ hdfs namenode -bootstrapStandby 
    2. [atguigu@hadoop104 ~]$ hdfs namenode -bootstrapStandby

    5）启动[nn2]和[nn3]

    1. [atguigu@hadoop103 ~]$ hdfs --daemon start namenode 
    2. [atguigu@hadoop104 ~]$ hdfs --daemon start namenode

    6）查看 web 页面显示（hadoop102:9870）

    7）在所有节点上，启动 datanode

    1. [atguigu@hadoop102 ~]$ hdfs --daemon start datanode 
    2. [atguigu@hadoop103 ~]$ hdfs --daemon start datanode 
    3. [atguigu@hadoop104 ~]$ hdfs --daemon start datanode

    8）将[nn1]切换为 Active

    [atguigu@hadoop102 ~]$ hdfs haadmin -transitionToActive nn1

    9）查看是否 Active

    [atguigu@hadoop102 ~]$ hdfs haadmin -getServiceState nn1

    1.4 HDFS-HA 自动模式

    1.4.1 HDFS-HA 自动故障转移工作机制

    自动故障转移为 HDFS 部署增加了两个新组件：ZooKeeper 和 ZKFailoverController

    （ZKFC）进程，如图所示。ZooKeeper 是维护少量协调数据，通知客户端这些数据的改变 和监视客户端故障的高可用服务。

    HDFS-HA故障转移机制 :

     

     （1）假如标记为active的namenode没有和其他的namenode连接成功（假死），或者标记为active已经终止

    （2）标记为active的namenode的对应的Zkfc则会检测到假死

    （3）检测都假死后，则会通知另一台namenode节点的Zkfc

    （4）Zkfc会强行杀死namenode，防止脑裂，ssh -9 namenode进程号

    （5）如果ssh补刀失败则调用用户自定义脚本程序

    （6）获取命令运行结果

    （7）激活本台namenode，切换为Active

    1.4.2 HDFS-HA 自动故障转移的集群规划

    1.4.3 配置 HDFS-HA 自动故障转移

     1）具体配置

    （1）在 hdfs-site.xml 中增加

    1. <!-- 启用 nn 故障自动转移 --> 
    2. <property> 
    3.  <name>dfs.ha.automatic-failover.enabled</name> 
    4.  <value>true</value> 
    5. </property>

    （2）在 core-site.xml 文件中增加

    1. <!-- 指定 zkfc 要连接的 zkServer 地址 --> 
    2. <property> 
    3.  <name>ha.zookeeper.quorum</name> 
    4.  <value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value> 
    5. </property>

    （3）修改后分发配置文件

    1. [atguigu@hadoop102 etc]$ pwd 
    2. /opt/ha/hadoop-3.1.3/etc 
    3. [atguigu@hadoop102 etc]$ xsync hadoop/

    2）启动

    （1）关闭所有 HDFS 服务：

    [atguigu@hadoop102 ~]$ stop-dfs.sh

    （2）启动 Zookeeper 集群：

    1. [atguigu@hadoop102 ~]$ zkServer.sh start 
    2. [atguigu@hadoop103 ~]$ zkServer.sh start 
    3. [atguigu@hadoop104 ~]$ zkServer.sh start

    （3）启动 Zookeeper 以后，然后再初始化 HA 在 Zookeeper 中状态：

    [atguigu@hadoop102 ~]$ hdfs zkfc -formatZK

    （4）启动 HDFS 服务：

    [atguigu@hadoop102 ~]$ start-dfs.sh

    （5）可以去 zkCli.sh 客户端查看 Namenode 选举锁节点内容：

    1. [zk: localhost:2181(CONNECTED) 7] get -s 
    2. /hadoop-ha/mycluster/ActiveStandbyElectorLock

    3）验证

    （1）将 Active NameNode 进程 kill，查看网页端三台 Namenode 的状态变化

    [atguigu@hadoop102 ~]$ kill -9 namenode 的进程 id

    1.5 YARN-HA 配置

    1.5.1 YARN-HA 工作机制

    YARN-HA 工作机制

    1.5.2 配置 YARN-HA 集群  

    1）环境准备

    （1）修改 IP

    （2）修改主机名及主机名和 IP 地址的映射

    （3）关闭防火墙

    （4）ssh 免密登录

    （5）安装 JDK，配置环境变量等

    （6）配置 Zookeeper 集群

    2）规划集群

    3）核心问题  

    a .如果当前 active rm 挂了，其他 rm 怎么将其他 standby rm 上位

    核心原理跟 hdfs 一样，利用了 zk 的临时节点

    b. 当前 rm 上有很多的计算程序在等待运行,其他的 rm 怎么将这些程序接手过来接着跑

    rm 会将当前的所有计算程序的状态存储在 zk 中,其他 rm 上位后会去读取，然后接 着跑

    4）具体配置

    （1）yarn-site.xml

    1. <configuration> 
    2.  
    3.  <property> 
    4.  <name>yarn.nodemanager.aux-services</name> 
    5.  <value>mapreduce_shuffle</value> 
    6.  </property> 
    7.  
    8.  <!-- 启用 resourcemanager ha --> 
    9.  <property> 
    10.  <name>yarn.resourcemanager.ha.enabled</name> 
    11.  <value>true</value> 
    12.  </property> 
    13.  
    14.  <!-- 声明两台 resourcemanager 的地址 --> 
    15.  <property> 
    16.  <name>yarn.resourcemanager.cluster-id</name> 
    17.  <value>cluster-yarn1</value> 
    18.  </property> 
    19.  <!--指定 resourcemanager 的逻辑列表--> 
    20.  <property> 
    21.  <name>yarn.resourcemanager.ha.rm-ids</name> 
    22.  <value>rm1,rm2,rm3</value> 
    23. </property> 
    24. <!-- ========== rm1 的配置 ========== --> 
    25. <!-- 指定 rm1 的主机名 --> 
    26.  <property> 
    27.  <name>yarn.resourcemanager.hostname.rm1</name> 
    28.  <value>hadoop102</value> 
    29. </property> 
    30. <!-- 指定 rm1 的 web 端地址 --> 
    31. <property> 
    32.  <name>yarn.resourcemanager.webapp.address.rm1</name> 
    33.  <value>hadoop102:8088</value> 
    34. </property> 
    35. <!-- 指定 rm1 的内部通信地址 --> 
    36. <property> 
    37.  <name>yarn.resourcemanager.address.rm1</name> 
    38.  <value>hadoop102:8032</value> 
    39. </property> 
    40. <!-- 指定 AM 向 rm1 申请资源的地址 --> 
    41. <property>  <name>yarn.resourcemanager.scheduler.address.rm1</name> 
    42.  <value>hadoop102:8030</value> 
    43. </property> 
    44. <!-- 指定供 NM 连接的地址 --> 
    45. <property> 
    46.  <name>yarn.resourcemanager.resource-tracker.address.rm1</name> 
    47.  <value>hadoop102:8031</value> 
    48. </property> 
    49. <!-- ========== rm2 的配置 ========== --> 
    50.  <!-- 指定 rm2 的主机名 --> 
    51.  <property> 
    52.  <name>yarn.resourcemanager.hostname.rm2</name> 
    53.  <value>hadoop103</value> 
    54. </property> 
    55. <property> 
    56.  <name>yarn.resourcemanager.webapp.address.rm2</name> 
    57.  <value>hadoop103:8088</value> 
    58. </property> 
    59. <property> 
    60.  <name>yarn.resourcemanager.address.rm2</name> 
    61.  <value>hadoop103:8032</value> 
    62. </property> 
    63. <property> 
    64.  <name>yarn.resourcemanager.scheduler.address.rm2</name> 
    65.  <value>hadoop103:8030</value> 
    66. </property> 
    67. <property> 
    68.  <name>yarn.resourcemanager.resource-tracker.address.rm2</name> 
    69.  <value>hadoop103:8031</value> 
    70. </property> 
    71.  <!-- ========== rm3 的配置 ========== --> 
    72. <!-- 指定 rm1 的主机名 --> 
    73.  <property> 
    74.  <name>yarn.resourcemanager.hostname.rm3</name> 
    75.  <value>hadoop104</value> 
    76. </property> 
    77. <!-- 指定 rm1 的 web 端地址 --> 
    78. <property> 
    79.  <name>yarn.resourcemanager.webapp.address.rm3</name> 
    80.  <value>hadoop104:8088</value> 
    81. </property> 
    82. <!-- 指定 rm1 的内部通信地址 --> 
    83. <property> 
    84.  <name>yarn.resourcemanager.address.rm3</name>  <value>hadoop104:8032</value> 
    85. </property> 
    86. <!-- 指定 AM 向 rm1 申请资源的地址 --> 
    87. <property> 
    88.  <name>yarn.resourcemanager.scheduler.address.rm3</name> 
    89.  <value>hadoop104:8030</value> 
    90. </property> 
    91. <!-- 指定供 NM 连接的地址 --> 
    92. <property> 
    93.  <name>yarn.resourcemanager.resource-tracker.address.rm3</name> 
    94.  <value>hadoop104:8031</value> 
    95. </property> 
    96.  <!-- 指定 zookeeper 集群的地址 --> 
    97.  <property> 
    98.  <name>yarn.resourcemanager.zk-address</name> 
    99.  <value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value> 
    100.  </property> 
    101.  
    102.  <!-- 启用自动恢复 --> 
    103.  <property> 
    104.  <name>yarn.resourcemanager.recovery.enabled</name> 
    105.  <value>true</value> 
    106.  </property> 
    107.  
    108.  <!-- 指定 resourcemanager 的状态信息存储在 zookeeper 集群 --> 
    109.  <property> 
    110.  <name>yarn.resourcemanager.store.class</name> 
    111. <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateSt
    112. ore</value> 
    113. </property> 
    114. <!-- 环境变量的继承 --> 
    115.  <property> 
    116.  <name>yarn.nodemanager.env-whitelist</name> 
    117.  
    118. <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLAS
    119. SPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value> 
    120.  </property> 
    121.  
    122.  
    123. </configuration>

    （2）同步更新其他节点的配置信息，分发配置文件 

    [atguigu@hadoop102 etc]$ xsync hadoop/

    4）启动 YARN

    （1）在 hadoop102 或者 hadoop103 中执行：

    [atguigu@hadoop102 ~]$ start-yarn.sh

    （2）查看服务状态

    [atguigu@hadoop102 ~]$ yarn rmadmin -getServiceState rm1

    （3）可以去 zkCli.sh 客户端查看 ResourceManager 选举锁节点内容：

    1. [atguigu@hadoop102 ~]$ zkCli.sh 
    2. [zk: localhost:2181(CONNECTED) 16] get -s 
    3. /yarn-leader-election/cluster-yarn1/ActiveStandbyElectorLock

    （4）web 端查看 hadoop102:8088 和 hadoop103:8088 的 YARN 的状态

    1.6 HADOOP HA 的最终规划

    将整个 ha 搭建完成后,集群将形成以下模样

     

  • 相关阅读:
    MATLAB算法实战应用案例精讲-【智能优化算法】差分进化算法-DE（附MATLAB、Java、Python和C++代码）
    Redis订阅和发布
    ArcGIS Pro SDK （四）框架 2
    【Java】Java 代码注释是代码逻辑的灵魂
    数据挖掘：航空公司的客户价值分析
    前端学习笔记——jQuery
    Java 多线程共享模型之管程（上）
    新发现，新挑战，技术出海的机遇与挑战丨PingCAP DevCon 2022 出海专场
    rabbitMq路由键介绍
    Java刷题day37
  • 原文地址：https://blog.csdn.net/JiaXingNashishua/article/details/126754638