• Zookeeper学习二集群搭建


    Zookeeper 集群介绍

    Leader选举:

    Serverid:服务器ID  

    比如有三台服务器,编号分别是1,2,3。   编号越大在选择算法中的权重越大。

    Zxid:数据ID  

    服务器中存放的最大数据ID.值越大说明数据  越新,在选举算法中数据越新权重越大。

    在Leader选举的过程中,如果某台ZooKeeper     获得了超过半数的选票,     则此ZooKeeper就可以成为Leader了。

    ZooKeeper集群搭建

    1.1 搭建要求

    真实的集群是需要部署在不同的服务器上的,但是在我们测试时同时启动很多个虚拟机内存会吃不消,所以我们通常会搭建伪集群,也就是把所有的服务都搭建在一台虚拟机上,用端口进行区分。

    我们这里要求搭建一个三个节点的Zookeeper集群(伪集群)。

    1.2 准备工作

    重新部署一台虚拟机作为我们搭建集群的测试服务器。

    (1)安装JDK 【此步骤省略】。

    (2)Zookeeper压缩包上传到服务器(3)将Zookeeper解压 ,建立/usr/local/zookeeper-cluster目录,将解压后的Zookeeper复制到以下三个目录

    /usr/local/zookeeper-cluster/zookeeper-1

    /usr/local/zookeeper-cluster/zookeeper-2

    /usr/local/zookeeper-cluster/zookeeper-3

    1. [root@localhost ~]# mkdir /usr/local/zookeeper-cluster
    2. [root@localhost ~]# cp -r apache-zookeeper-3.5.6-bin /usr/local/zookeeper-cluster/zookeeper-1
    3. [root@localhost ~]# cp -r apache-zookeeper-3.5.6-bin /usr/local/zookeeper-cluster/zookeeper-2
    4. [root@localhost ~]# cp -r apache-zookeeper-3.5.6-bin /usr/local/zookeeper-cluster/zookeeper-3

    (4)创建data目录 ,并且将 conf下zoo_sample.cfg 文件改名为 zoo.cfg

    1. mkdir /usr/local/zookeeper-cluster/zookeeper-1/data
    2. mkdir /usr/local/zookeeper-cluster/zookeeper-2/data
    3. mkdir /usr/local/zookeeper-cluster/zookeeper-3/data
    4. mv /usr/local/zookeeper-cluster/zookeeper-1/conf/zoo_sample.cfg /usr/local/zookeeper-cluster/zookeeper-1/conf/zoo.cfg
    5. mv /usr/local/zookeeper-cluster/zookeeper-2/conf/zoo_sample.cfg /usr/local/zookeeper-cluster/zookeeper-2/conf/zoo.cfg
    6. mv /usr/local/zookeeper-cluster/zookeeper-3/conf/zoo_sample.cfg /usr/local/zookeeper-cluster/zookeeper-3/conf/zoo.cfg

    (5) 配置每一个Zookeeper 的dataDir 和 clientPort 分别为2181 2182 2183

    修改/usr/local/zookeeper-cluster/zookeeper-1/conf/zoo.cfg

    1. vim /usr/local/zookeeper-cluster/zookeeper-1/conf/zoo.cfg
    2. clientPort=2181
    3. dataDir=/usr/local/zookeeper-cluster/zookeeper-1/data

    修改/usr/local/zookeeper-cluster/zookeeper-2/conf/zoo.cfg

    1. vim /usr/local/zookeeper-cluster/zookeeper-2/conf/zoo.cfg
    2. clientPort=2182
    3. dataDir=/usr/local/zookeeper-cluster/zookeeper-2/data

    修改/usr/local/zookeeper-cluster/zookeeper-3/conf/zoo.cfg

    1. vim /usr/local/zookeeper-cluster/zookeeper-3/conf/zoo.cfg
    2. clientPort=2183
    3. dataDir=/usr/local/zookeeper-cluster/zookeeper-3/data

    1.3 配置集群

    (1)在每个zookeeper的 data 目录下创建一个 myid 文件,内容分别是1、2、3 。这个文件就是记录每个服务器的ID

    1. echo 1 >/usr/local/zookeeper-cluster/zookeeper-1/data/myid
    2. echo 2 >/usr/local/zookeeper-cluster/zookeeper-2/data/myid
    3. echo 3 >/usr/local/zookeeper-cluster/zookeeper-3/data/myid

    (2)在每一个zookeeper 的 zoo.cfg配置客户端访问端口(clientPort)和集群服务器IP列表。

    集群服务器IP列表如下

    1. vim /usr/local/zookeeper-cluster/zookeeper-1/conf/zoo.cfg
    2. vim /usr/local/zookeeper-cluster/zookeeper-2/conf/zoo.cfg
    3. vim /usr/local/zookeeper-cluster/zookeeper-3/conf/zoo.cfg
    4. server.1=192.168.149.135:2881:3881
    5. server.2=192.168.149.135:2882:3882
    6. server.3=192.168.149.135:2883:3883

    解释:server.服务器ID=服务器IP地址:服务器之间通信端口:服务器之间投票选举端口

    1.4 启动集群

    启动集群就是分别启动每个实例。

    1. /usr/local/zookeeper-cluster/zookeeper-1/bin/zkServer.sh start
    2. /usr/local/zookeeper-cluster/zookeeper-2/bin/zkServer.sh start
    3. /usr/local/zookeeper-cluster/zookeeper-3/bin/zkServer.sh start

    启动后我们查询一下每个实例的运行状态

    1. /usr/local/zookeeper-cluster/zookeeper-1/bin/zkServer.sh status
    2. /usr/local/zookeeper-cluster/zookeeper-2/bin/zkServer.sh status
    3. /usr/local/zookeeper-cluster/zookeeper-3/bin/zkServer.sh status

    先查询第一个服务

    Mode为follower表示是跟随者(从)

    再查询第二个服务Mod 为leader表示是领导者(主)

    查询第三个为跟随者(从)

    1.5 模拟集群异常

    (1)首先我们先测试如果是从服务器挂掉,会怎么样

    把3号服务器停掉,观察1号和2号,发现状态并没有变化

    1. /usr/local/zookeeper-cluster/zookeeper-3/bin/zkServer.sh stop
    2. /usr/local/zookeeper-cluster/zookeeper-1/bin/zkServer.sh status
    3. /usr/local/zookeeper-cluster/zookeeper-2/bin/zkServer.sh status

    由此得出结论,3个节点的集群,从服务器挂掉,集群正常

    (2)我们再把1号服务器(从服务器)也停掉,查看2号(主服务器)的状态,发现已经停止运行了。

    /usr/local/zookeeper-cluster/zookeeper-1/bin/zkServer.sh stop
    ​
    /usr/local/zookeeper-cluster/zookeeper-2/bin/zkServer.sh status
    

    由此得出结论,3个节点的集群,2个从服务器都挂掉,主服务器也无法运行。因为可运行的机器没有超过集群总数量的半数。

    (3)我们再次把1号服务器启动起来,发现2号服务器又开始正常工作了。而且依然是领导者。

    1. /usr/local/zookeeper-cluster/zookeeper-1/bin/zkServer.sh start
    2. /usr/local/zookeeper-cluster/zookeeper-2/bin/zkServer.sh status

    (4)我们把3号服务器也启动起来,把2号服务器停掉,停掉后观察1号和3号的状态。

    1. /usr/local/zookeeper-cluster/zookeeper-3/bin/zkServer.sh start
    2. /usr/local/zookeeper-cluster/zookeeper-2/bin/zkServer.sh stop
    3. /usr/local/zookeeper-cluster/zookeeper-1/bin/zkServer.sh status
    4. /usr/local/zookeeper-cluster/zookeeper-3/bin/zkServer.sh status

    发现新的leader产生了~

    由此我们得出结论,当集群中的主服务器挂了,集群中的其他服务器会自动进行选举状态,然后产生新得leader

    (5)我们再次测试,当我们把2号服务器重新启动起来启动后,会发生什么?2号服务器会再次成为新的领导吗?我们看结果

    1. /usr/local/zookeeper-cluster/zookeeper-2/bin/zkServer.sh start
    2. /usr/local/zookeeper-cluster/zookeeper-2/bin/zkServer.sh status
    3. /usr/local/zookeeper-cluster/zookeeper-3/bin/zkServer.sh status

    我们会发现,2号服务器启动后依然是跟随者(从服务器),3号服务器依然是领导者(主服务器),没有撼动3号服务器的领导地位。

    由此我们得出结论,当领导者产生后,再次有新服务器加入集群,不会影响到现任领导者

    ZooKeeper集群角色

    在ZooKeeper集群服中务中有三个角色:

    • Leader 领导者 :          

    1. 处理事务请求(增删改)

    2. 集群内部各服务器的调度者

    • Follower 跟随者 :

    1. 处理客户端非事务请求(查询请求),转发事务请求给Leader服务器

    2. 参与Leader选举投票

    • Observer 观察者:

    1. 处理客户端非事务请求,转发事务请求给Leader服务器,不参与投票

  • 相关阅读:
    Redis分布式缓存(一)| 单机安装、RDB和AOF持久化
    Redis缓存
    FastAPI 快速学习之 Flask 框架对比
    如何结合整洁架构和MVP模式提升前端开发体验(二) - 代码实现篇
    10 编译2022年最新的U-Boot源码,并用QEMU模拟器运行
    华北工控EMB3581 瑞芯微Rockchip RK3568,python部署rknn_toolkit_lite2
    Linux项目自动化构建工具-make/Makefile
    数据仓库建模实践
    localStorage和session storage
    【Linux】 uptime命令使用
  • 原文地址:https://blog.csdn.net/m0_74229735/article/details/137256454