Hadoop HA搭建

一、HA解决方案

二、服务分布

三、HA 搭建

3.1 配置文件修改

官网链接：Apache Hadoop 3.3.3 – HDFS High Availability Using the Quorum Journal Manager

 

core-site.xml 

    <property>
      <name>fs.defaultFSname>
      <value>hdfs://myclustervalue>
    property>
    <property>
      <name>ha.zookeeper.quorumname>
      <value>ggl201:2181,ggl202:2181,ggl203:2181value>
    property>

 hdfs-site.xml

    
    <property>
      <name>dfs.nameservicesname>
      <value>myclustervalue>
    property>
    <property>
      <name>dfs.ha.namenodes.myclustername>
      <value>nn1,nn2value>
    property>
    <property>
      <name>dfs.namenode.rpc-address.mycluster.nn1name>
      <value>ggl201:8020value>
    property>
    <property>
      <name>dfs.namenode.rpc-address.mycluster.nn2name>
      <value>ggl202:8020value>
    property>
    <property>
      <name>dfs.namenode.http-address.mycluster.nn1name>
      <value>ggl201:9870value>
    property>
    <property>
      <name>dfs.namenode.http-address.mycluster.nn2name>
      <value>ggl202:9870value>
    property>
 
    
    <property>
     <name>dfs.namenode.name.dirname>
     <value>/data/hadoop/dfs/namevalue>
    property>
    <property>
         <name>dfs.datanode.data.dirname>
         <value>/data/hadoop/dfs/datavalue>
    property>
    
    
    <property>
      <name>dfs.namenode.shared.edits.dirname>
      <value>qjournal://ggl201:8485;ggl202:8485;ggl203:8485/myclustervalue>
    property>
    <property>
      <name>dfs.journalnode.edits.dirname>
      <value>/data/hadoop/journal/node/local/datavalue>
    property>
 
    
    <property>
      <name>dfs.client.failover.proxy.provider.myclustername>
      <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvidervalue>
    property>
    <property>
      <name>dfs.ha.fencing.methodsname>
      <value>sshfencevalue>
    property>
    <property>
      <name>dfs.ha.fencing.ssh.private-key-filesname>
      <value>/root/.ssh/id_rsavalue>
    property>
 
    
    <property>
       <name>dfs.ha.automatic-failover.enabledname>
       <value>truevalue>
     property>
    
    <property>
        <name>dfs.permissions.enablename>
        <value>falsevalue>
    property>

3.2  ssh免密

可以参考hadoo3.3.1搭建：Hadoop 3.3.1 分布式部署_与光同尘~追光者的博客-CSDN博客

3.3 zk搭建 

参考：Zookeeper 3.7.0 安装部署_与光同尘~追光者的博客-CSDN博客_zookeeper3.7.0 

3.4 初始化启动

3.4.1 启动JN  

在三台机器上分别启动 

hadoop-daemon.sh start journalnode

 3.4.2 选择一个NN做格式化

hdfs namenode -format （只第一次搭建时用）

3.4.3 启动这个格式化的NN 以备另一台同步用 

hadoop-daemon.sh start namenode

 3.4.4 在另一台机器同步

hdfs namenode -bootstrapStandby

 

3.4.5 格式化zk 

hdfs zkfc -formatZK（ 只第一次搭建时用）

 

3.4.6 启动集群 

start-dfs.sh

 

 四、页面显示