• hadoop—haddop部署、yarn管理器使用、hdfs的高可用、yarn的高可用、Hbase分布式部署


    1、hadoop简介

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    2、hadoop部署

    官网

    三种支持的模式Hadoop 集群:
    本地(独立)模式
    伪分布式模式
    全分布式模式

    2.1 本地(独立)模式

    [root@server1 ~]# useradd hadoop   创建hadoop用户
    [root@server1 ~]# su - hadoop   用普通用户部署,不用超户
    [hadoop@server1 ~]$ lftp 172.25.254.50
    lftp 172.25.254.50:/> cd pub/
    lftp 172.25.254.50:/pub> ls
    -rwxr-xr-x    1 0        0        359196911 May 31 10:35 hadoop-3.2.1.tar.gz
    -rwxr-xr-x    1 0        0        185646832 May 31 10:34 jdk-8u181-linux-x64.tar
    lftp 172.25.254.50:/pub> get hadoop-3.2.1.tar.gz  下载hadoop安装包
    359196911 bytes transferred                              
    lftp 172.25.254.50:/pub> get jdk-8u181-linux-x64.tar.gz  下载hadoop需要安装jdk
    185646832 bytes transferred  
    [hadoop@server1 ~]$ tar zxf jdk-8u181-linux-x64.tar.gz  下载后 解压
    [hadoop@server1 ~]$ ln -s jdk1.8.0_181/ java    为了方便,做一个软连接
    [hadoop@server1 ~]$ tar zxf hadoop-3.2.1.tar.gz  解压
    [hadoop@server1 ~]$ ln -s  hadoop-3.2.1 hadoop   做软连接
    [hadoop@server1 ~]$ cd /home/hadoop/hadoop/etc/hadoop
    [hadoop@server1 hadoop]$ vim hadoop-env.sh  设置环境变量
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17

    在这里插入图片描述

    [hadoop@server1 ~]$ cd hadoop
    [hadoop@server1 hadoop]$ bin/hadoop   运行
    [hadoop@server1 hadoop]$ cp etc/hadoop/*.xml input 
    [hadoop@server1 hadoop]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar grep input output   调用jar包,jar包里面有很多方法
     'dfs[a-z.]+'    过滤input文件中以dfs开头的,输出到output目录
    [hadoop@server1 hadoop]$ cd output/
    [hadoop@server1 output]$ ls
    part-r-00000  _SUCCESS     结果输出到output目录
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8

    2.2 伪分布模式

    [root@server1 ~]# passwd hadoop  给hadoop用户设置密码
    Changing password for user hadoop.
    New password: 
    BAD PASSWORD: The password is shorter than 8 characters
    Retype new password: 
    [hadoop@server1 ~]$ ssh-keygen  配置免密
    [hadoop@server1 ~]$ ssh-copy-id server1
    [hadoop@server1 ~]$ cd hadoop
    [hadoop@server1 hadoop]$ cd etc/hadoop/
    [hadoop@server1 hadoop]$ vim core-site.xml 在文件最后添加如下参数
    
        
            fs.defaultFS
            hdfs://localhost:9000     hdfs master地址
        
    
    [hadoop@server1 hadoop]$ ssh localhost  免密
    [hadoop@server1 hadoop]$ vim hdfs-site.xml  在文件最后添加参数
    
        
            dfs.replication
            1       副本数改为1,默认为3
        
    
    [hadoop@server1 ~]$ cd /home/hadoop/hadoop
    [hadoop@server1 hadoop]$ bin/hdfs namenode -format  格式化
    [hadoop@server1 hadoop]$ ls /tmp/   默认数据目录
    hadoop  hadoop-hadoop  hadoop-hadoop-namenode.pid  hsperfdata_hadoop
    [hadoop@server1 hadoop]$ sbin/start-dfs.sh  启动hdfs相关进程
    [hadoop@server1 ~]$ vim .bash_profile  添加java 命令路经
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30

    在这里插入图片描述

    [hadoop@server1 ~]$ source .bash_profile   生效
    [hadoop@server1 ~]$ jps  查看java进程
    4196 Jps
    3957 SecondaryNameNode   注节点出现故障,SecondaryNameNode可以接管
    3659 NameNode      master进程
    3772 DataNode   
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6

    访问:172.25.50.1:9870
    在这里插入图片描述

    [hadoop@server1 hadoop]$ bin/hdfs dfsadmin -report   查看分布式文件系统概况
    [hadoop@server1 hadoop]$ bin/hdfs dfs -mkdir /user/   创建user用户目录
    [hadoop@server1 hadoop]$ bin/hdfs dfs -mkdir /user/hadoop   创建hadoop用户
    [hadoop@server1 hadoop]$ bin/hdfs dfs -put input    上传input目录
    
    • 1
    • 2
    • 3
    • 4

    input目录里的内容都已经上传了
    在这里插入图片描述

    [hadoop@server1 hadoop]$ rm -fr input/   删除本地input  
    [hadoop@server1 hadoop]$ rm -fr output/  删除本地output
    [hadoop@server1 hadoop]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar wordcount input output   统计一下单词词频,此时本地没有input,要在分布式文件系统取
    
    • 1
    • 2
    • 3

    生成了output文件,如下图
    在这里插入图片描述

    [hadoop@server1 hadoop]$ bin/hdfs dfs -ls   查看,有两个文件
    Found 2 items
    drwxr-xr-x   - hadoop supergroup          0 2022-05-31 23:29 input
    drwxr-xr-x   - hadoop supergroup          0 2022-06-01 01:18 output
    [hadoop@server1 hadoop]$ bin/hdfs dfs cat output/*  可以查看output里面所有内容
    "*"	21
    "AS	9
    "License");	9
    "alice,bob	21
    "clumping"	1
    (ASF)	1
    (root	1
    (the	9
    -->	18
    -1	1
    -1,	1
    0.0	1
    
    [hadoop@server1 hadoop]$ bin/hdfs dfs -get output  也可以将output下载到本地
    [hadoop@server1 hadoop]$ cd output/
    [hadoop@server1 output]$ cat *   查看
    "*"	21
    "AS	9
    "License");	9
    "alice,bob	21
    "clumping"	1
    (ASF)	1
    (root	1
    (the	9
    -->	18
    -1	1
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31

    2.3 全分布式模式

    需要三台虚拟机,其中server1为master节点,server2、3为worker节点

    [hadoop@server1 hadoop]$ sbin/stop-dfs.sh   停掉hdfs进程
    
    需要三台虚拟机配置一致,需要同步,可以通过nfs共享,在所有节点安装nfs套件
    [root@server1 ~]# yum install -y nfs-utils -y
    [root@server2 ~]# yum install -y nfs-utils -y
    [root@server3 ~]# yum install -y nfs-utils -y
    [root@server1 ~]# id hadoop  查看hadoop  id
    uid=1001(hadoop) gid=1001(hadoop) groups=1001(hadoop)
    [root@server1 ~]# vim /etc/exports
    /home/hadoop    *(rw,anonuid=1001,anongid=1001)   /home/hadoop 将这个目录共享出去,都是以id为1001的身份去写
    [root@server1 ~]# systemctl start nfs   启动nfs
    [root@server1 ~]# showmount -e
    Export list for server1:
    /home/hadoop *       目录已经共享
    [root@server2 ~]# useradd hadoop   server2上创建hdaoop用户,注意id必须保持一致要是1001都是10001
    [root@server3 ~]# useradd hadoop  server3上创建hdaoop用户,注意id必须保持一致要是1001都是10001
    [root@server2 ~]# mount 172.25.50.1:/home/hadoop/ /home/hadoop/  挂载
    [root@server3 ~]# mount 172.25.50.1:/home/hadoop/ /home/hadoop/  挂载
    此时server1、server2、server3上的数据就完全一致了
    [hadoop@server1 ~]$ ssh server2  免密
    [hadoop@server1 ~]$ ssh server3  免密
    [hadoop@server1 ~]$ ssh 172.25.50.1  免密
    [hadoop@server1 ~]$ rm -fr /tmp/*  将之前默认数据目录里的内容删除
    [hadoop@server1 ~]$ cd hadoop/etc/hadoop/
    [hadoop@server1 hadoop]$ vim core-site.xml 
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25

    在这里插入图片描述

    [hadoop@server1 hadoop]$ vim workers   添加server2、server3为worker
    server2   写主机名要有解析
    server3
    [hadoop@server1 hadoop]$ vim hdfs-site.xml 
    
    • 1
    • 2
    • 3
    • 4

    在这里插入图片描述

    [hadoop@server1 ~]$ cd  hadoop
    [hadoop@server1 hadoop]$  bin/hdfs namenode -format  格式化
    [hadoop@server1 hadoop]$ sbin/start-dfs.sh   启动
    [hadoop@server1 hadoop]$ jps  启动NameNode进程
    5657 Jps
    5308 NameNode
    5533 SecondaryNameNode
    [hadoop@server2 ~]$ jps   启动DataNode进程
    4336 DataNode
    4543 Jps
    [hadoop@server3 ~]$ jps  启动DataNode进程
    4370 Jps
    4307 DataNode
    [hadoop@server1 hadoop]$ bin/hdfs dfs -mkdir /user 创建用户目录
    [hadoop@server1 hadoop]$ bin/hdfs dfs -mkdir /user/hadoop  创建hadoop用户
    [hadoop@server1 hadoop]$ bin/hdfs dfs -mkdir input  在用户主目录里创建input目录
    [hadoop@server1 hadoop]$ bin/hdfs dfs -ls  查看用户主目录
    Found 1 items
    drwxr-xr-x   - hadoop supergroup          0 2022-06-01 06:42 input  创建成功
    [hadoop@server1 hadoop]$ bin/hdfs dfs -put etc/hadoop/*.xml  input   上传
    [hadoop@server1 hadoop]$ bin/hdfs dfs -ls input  查看input目录,上传xml文件成功
    Found 9 items
    -rw-r--r--   2 hadoop supergroup       8260 2022-06-01 06:45 input/capacity-scheduler.xml
    -rw-r--r--   2 hadoop supergroup        886 2022-06-01 06:45 input/core-site.xml
    -rw-r--r--   2 hadoop supergroup      11392 2022-06-01 06:45 input/hadoop-policy.xml
    -rw-r--r--   2 hadoop supergroup        867 2022-06-01 06:45 input/hdfs-site.xml
    -rw-r--r--   2 hadoop supergroup        620 2022-06-01 06:45 input/httpfs-site.xml
    -rw-r--r--   2 hadoop supergroup       3518 2022-06-01 06:45 input/kms-acls.xml
    [hadoop@server1 hadoop]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar wordcount input output   输出词频
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29

    在这里插入图片描述

    3、节点扩容

    再开一台虚拟机server4

    [root@server4 ~]# useradd hadoop   
    [root@server4 ~]# yum install -y nfs-utils
    [root@server4 ~]# mount 172.25.50.1:/home/hadoop/ /home/hadoop/  挂载,使所有数据保持一致
    [hadoop@server4 ~]$ cd hadoop/etc/hadoop/   
    [hadoop@server4 hadoop]$ vim workers 
    server2
    server3
    server4
    [hadoop@server4 hadoop]$ bin/hdfs --daemon start datanode   启动datanode节点
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9

    在这里插入图片描述

    4、屏蔽节点

    [hadoop@server1 ~]$ cd hadoop/etc/hadoop/
    [hadoop@server1 hadoop]$ vim hdfs-site.xml 
    
    • 1
    • 2

    在这里插入图片描述

    [hadoop@server1 hadoop]$ vim hosts.exclude
    server2    添加server2 ,屏蔽掉server2
    [hadoop@server1 hadoop]$ bin/hdfs dfsadmin -refreshNodes  刷新节点,读取刚才配置
    Refresh nodes successful
    [hadoop@server1 hadoop]$ bin/hdfs dfsadmin -report  
    
    • 1
    • 2
    • 3
    • 4
    • 5

    在这里插入图片描述

    [hadoop@server1 hadoop]$ bin/hdfs --daemon stop datanode   也可以用此方法进行节点下线
    
    • 1

    5 、hdfs分布式工作原理

    在这里插入图片描述
    在这里插入图片描述
    三个副本所处不同位置,如果客户端在集群节点,第1个副本一定处于本机在这里插入图片描述

    在这里插入图片描述
    hdfs工作原理漫画图解

    6、分布式计算框架—yarn管理器的使用

    添加mapred配置

    [hadoop@server1 hadoop]$ cd etc/hadoop/  在文件最后添加如下参数
    [hadoop@server1 hadoop]$ vim mapred-site.xml  
    
          
              mapreduce.framework.name
              yarn
          
          
              mapreduce.application.classpath
              $HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*
          
    
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12

    添加yarn配置

    [hadoop@server1 hadoop]$ vim yarn-site.xml   在文件最后添加如下参数
    
          
              yarn.nodemanager.aux-services
              mapreduce_shuffle
          
          
              yarn.nodemanager.env-whitelist
              JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,PATH,LANG,TZ    ,HADOOP_MAPRED_HOME
          
    
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11

    在这里插入图片描述

    [hadoop@server1 ~]$ cd hadoop  
    [hadoop@server1 hadoop]$ sbin/start-yarn.sh   启动
    Starting resourcemanager   资源管理器
    Starting nodemanagers   节点管理器
    
    • 1
    • 2
    • 3
    • 4

    启动yarn管理器后,会在master节点上开启一个“8088”的端口,浏览器访问界面如下。
    在这里插入图片描述

    7、hadoop高可用平台部署——hdfs的高可用

    7.1 安装并配置zookeeper集群

    停掉相关进程
    [hadoop@server1 hadoop]$ sbin/stop-yarn.sh 
    [hadoop@server1 hadoop]$ sbin/stop-dfs.sh 
    [hadoop@server1 hadoop]$ rm -fr /tmp/*  清除tmp里面的信息
    在开一台虚拟机server5,由于内存有限,server3、4、5都设置为1G
    server1、5做高可用、server2、3、4为zk集群
    [root@server5 ~]# useradd hadoop  创建hadoop用户
    [root@server5 ~]# yum install nfs-utils -y  安装nfs套件
    [root@server5 ~]# mount 172.25.50.1:/home/hadoop/ /home/hadoop/  挂载
    [hadoop@server1 ~]$ lftp 172.25.254.50
    lftp 172.25.254.50:/pub> get zookeeper-3.4.9.tar.gz  下载zookeeper安装包
    [hadoop@server1 ~]$ tar zxf zookeeper-3.4.9.tar.gz   解压
    [hadoop@server2 ~]$ cd zookeeper-3.4.9/  
    [hadoop@server2 zookeeper-3.4.9]$ cd conf/
    [hadoop@server2 conf]$ cp zoo_sample.cfg zoo.cfg  拷贝模板生成主配置文件
    [hadoop@server2 conf]$ vim zoo.cfg    编辑主配置文件,在文件最后添加zookeeper集群节点
    server.1=172.25.50.2:2888:3888    server.1中的1为主机编号,不是主机名,2888为数据同步,通信端口,3888为选举端口
    server.2=172.25.50.3:2888:3888
    server.3=172.25.50.4:2888:3888
    [hadoop@server2 conf]$ mkdir /tmp/zookeeper   创建zookeeper数据目录
    [hadoop@server2 conf]$ echo 1 > /tmp/zookeeper/myid  在数据目录里创建myid,其中myid号必须和配置文件配置的id号保持一致
    [hadoop@server3 ~]$ mkdir /tmp/zookeeper  
    [hadoop@server3 ~]$ echo 2 > /tmp/zookeeper/myid   
    [hadoop@server4 ~]$ mkdir /tmp/zookeeper 
    [hadoop@server4 ~]$ echo 3 > /tmp/zookeeper/myid
    [hadoop@server2~]$ cd zookeeper-3.4.9/
    [hadoop@server2 zookeeper-3.4.9]$ bin/zkServer.sh satrt  启动
    [hadoop@server3 ~]$ cd zookeeper-3.4.9/
    [hadoop@server3 zookeeper-3.4.9]$ bin/zkServer.sh satrt  启动
    [hadoop@server4 ~]$ cd zookeeper-3.4.9/ 
    [hadoop@server4 zookeeper-3.4.9]$ bin/zkServer.sh satrt  启动
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31

    7.2 更改hadoop配置

    [hadoop@server1 ~]$ cd hadoop
    [hadoop@server1 hadoop]$ cd etc/hadoop/  
    [hadoop@server1 hadoop]$ vim core-site.xml 
    
        
            fs.defaultFS
            hdfs://master       此处需要修改,改成master,而不是具体某个master地址  
        
    
        
        ha.zookeeper.quorum    
        172.25.50.2:2181,172.25.50.3:2181,172.25.50.4:2181    添加zk集群连接地址
        
    
    
    [hadoop@server1 hadoop]$ cd etc/hadoop/
    [hadoop@server1 hadoop]$ vim hdfs-site.xml   编辑hdfs配置文件
    
        
            dfs.replication
            3     将副本数改为3,现在有3个dn
        
    
    
    dfs.nameservices
    masters        指定dfs的nameserver为master和core-site.xml文件中的设置保持一致
    
    
    
    dfs.ha.namenodes.masters   
    h1,h2    指定master的两个节点为h1、h2
    
    
    
    dfs.namenode.rpc-address.masters.h1
    172.25.50.1:9000    指定master节点h1的通信地址
    
    
    
    dfs.namenode.http-address.masters.h1
    172.25.50.1:9870    指定master节点h1图形化端口
    
    
    
    dfs.namenode.rpc-address.masters.h2
    172.25.50.5:9000  指定master节点h2的通信地址
    
    
    
    dfs.namenode.http-address.masters.h2
    172.25.50.5:9870   指定master节点h2图形化端口
    
    
    
    dfs.namenode.shared.edits.dir
    qjournal://172.25.50.2:8485;172.25.50.3:8485;172.25.254.4:8485/masters       指定namenode原数据在日志节点存放位置
    
    
    dfs.journalnode.edits.dir
    /tmp/journaldata     指定日志节点本地存储路经
    
     
    
    
    dfs.ha.automatic-failover.enabled   开启NN失败自动切换
    true    
    
    
           
    dfs.client.failover.proxy.provider.masters
    org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider    开启自动切换的实现方式
    
    
    
    dfs.ha.fencing.methods    隔离机制
    
    sshfence     两种隔离方式,ssh方式、shell方式
    shell(/bin/true)
    
    
    
    
    dfs.ha.fencing.ssh.private-key-files
    /home/hadoop/.ssh/id_rsa    隔离ssh机制需要免密
    
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36
    • 37
    • 38
    • 39
    • 40
    • 41
    • 42
    • 43
    • 44
    • 45
    • 46
    • 47
    • 48
    • 49
    • 50
    • 51
    • 52
    • 53
    • 54
    • 55
    • 56
    • 57
    • 58
    • 59
    • 60
    • 61
    • 62
    • 63
    • 64
    • 65
    • 66
    • 67
    • 68
    • 69
    • 70
    • 71
    • 72
    • 73
    • 74
    • 75
    • 76
    • 77
    • 78
    • 79
    • 80
    • 81
    • 82
    • 83
    • 84
    • 85

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    7.3 启动hdfs集群

    在这里插入图片描述
    在三个DN节点上依次启动 journalnode(第一次启动 hdfs 必须先启动 journalnode)

    [hadoop@server2 ~]$ cd hadoop
    [hadoop@server2 hadoop]$ bin/hdfs --daemon start journalnode
    [hadoop@server3 ~]$ cd hadoop
    [hadoop@server3 hadoop]$ bin/hdfs --daemon start journalnode
    [hadoop@server4 ~]$ cd hadoop
    [hadoop@server4 hadoop]$ bin/hdfs --daemon start journalnode
    [hadoop@server1 hadoop]$ cd hadoop  
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7

    格式化hdfs集群

    [hadoop@server1 hadoop]$  bin/hdfs namenode -format     
    
    • 1

    Namenode 数据默认存放在/tmp,需要把数据拷贝到h2(即从server1复制到server2)

    [hadoop@server1 hadoop]$ scp -r /tmp/hadoop-hadoop 172.25.50.5:/tmp
    
    • 1

    格式化 zookeeper (只需在 h1 上执行即可)

    [hadoop@server1 hadoop]$ bin/hdfs zkfc -formatZK
    
    • 1

    启动hdfs集群

    [hadoop@server1 ~]$ cd hadoop
    [hadoop@server1 hadoop]$ sbin/start-dfs.sh
    
    • 1
    • 2

    测试:在浏览器访问master端
    可以看到,server1为“active"是主机,server5为“standby”是备用机。
    在这里插入图片描述
    在主机master节点(server1)上传数据

    [hadoop@server1 hadoop]$ bin/hdfs dfs -mkdir /user
    [hadoop@server1 hadoop]$ bin/hdfs dfs -mkdir /user/hadoop
    [hadoop@server1 hadoop]$ bin/hdfs dfs -mkdir input                    //创建目录
    [hadoop@server1 hadoop]$ bin/hdfs dfs -put etc/hadoop/*.xml input    //上传数据
    
    • 1
    • 2
    • 3
    • 4

    模拟server1节点故障
    结束server1中的“NameNode”进程
    在这里插入图片描述
    通过浏览器查看server5已经成为了“activate”端,数据已经从server1切换到了server5上。
    在这里插入图片描述
    server1节点恢复正常
    在这里插入图片描述
    server1节点恢复正常后,仍然只是从节点standby状态,成为了备用机。可以理解为:谁先注册zk,谁就是主master,其他节点就是备用master。
    在这里插入图片描述

    8、hadoop高可用平台部署——yarn的高可用(待续)

    9、hadoop高可用平台部署——Hbase分布式部署(待续)

  • 相关阅读:
    好用的TCP-UDP_debug工具下载和使用
    【C++11保姆级教程】列表初始化(Literal types)和委派构造函数(delegating))
    java基础
    RabbitMQ第一话 -- docker安装RabbitMQ以及Springboot集成RabbitMQ
    微服务与中间件——GateWay网关
    java毕业设计城市垃圾分类管理系统mybatis+源码+调试部署+系统+数据库+lw
    nodejs搭建服务器手册
    【javascript】按下回车键登陆实现
    服务器感染了.locked勒索病毒,如何确保数据文件完整恢复?
    “Notepad++“ 官网地址
  • 原文地址:https://blog.csdn.net/m0_67393413/article/details/126717322