大数据技术之Zookeeper总结Ⅰ

1. Zookeeper 入门

1.1 zookeeper概述

• Zookeeper 是一个开源的分布式的，为分布式框架提供协调服务的 Apache 项目。

• Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理的数据，然 后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就 将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。

Zookeeper工作机制:

• Zookeeper集群有奇数个服务器存储文件系统，在服务器节点信息发生变化时会给正在监听的客户端返回信息----每一次监听只能返回一次节点的变化，等再次发生变化时，客户端就监听不到了

1.2 Zookeeper特点

（1）Zookeeper：一个领导者（Leader），多个跟随者（Follower）组成的集群。
（2）集群中只要有半数以上节点存活，Zookeeper集群就能正常服务。所 以Zookeeper适合安装奇数台服务器。
（3）全局数据一致：每个Server保存一份相同的数据副本，Client无论连接到哪个Server，数据都是一致的。
（4）更新请求顺序执行，来自同一个Client的更新请求按其发送顺序依次执行。
（5）数据更新原子性，一次数据更新要么成功，要么失败。
（6）实时性，在一定时间范围内，Client能读到最新数据。

1.3 ZooKeeper 数据模型的结构

• ZooKeeper 数据模型的结构与 Unix 文件系统很类似，整体上可以看作是一棵树，每个节点称做一个 ZNode。每一个 ZNode 默认能够存储 1MB 的数据，每个 ZNode 都可以通过其路径唯一标识。

Zookeeper提供的服务包括：统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。

2. Zookeeper 本地安装

2.1 本地模式安装

• 安装前准备

  • 安装 JDK
  • 拷贝 apache-zookeeper-3.5.7-bin.tar.gz 安装包到 Linux 系统下
  • 解压到指定目录： tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C /opt/module/
  • 修改名称：mv apache-zookeeper-3.5.7 -bin/ zookeeper-3.5.7

• 配置修改

  • 将/opt/module/zookeeper-3.5.7/conf 这个路径下的 zoo_sample.cfg 修改为 zoo.cfg
    • mv zoo_sample.cfg zoo.cfg
  • 打开 zoo.cfg 文件，修改 dataDir 路径：
    • dataDir=/opt/module/zookeeper-3.5.7/zkData
  • 在/opt/module/zookeeper-3.5.7/这个目录上创建 zkData 文件夹存储数据

• 操作 Zookeeper

  • 启动 Zookeeper： bin/zkServer.sh start
  • 查看状态： bin/zkServer.sh status
  • 启动客户端： bin/zkCli.sh
  • 退出客户端：quit
  • 停止Zookeeper：bin/zkServer.sh stop

2.2 配置参数解读

• Zookeeper中的配置文件zoo.cfg:
  • tickTime = 2000：通信心跳时间，Zookeeper服务器与客户端心跳时间，单位毫秒------两者通信使用时间
  • initLimit = 10：LF初始通信时限—Leader和Follower初始连接时能容忍的最多心跳数（tickTime的数量）------初始建立通信连接时间
  • syncLimit = 5：LF同步通信时限：Leader和Follower之间通信时间如果超过syncLimit * tickTime，Leader认为Follwer死掉，从服务器列表中删除Follwer。----超时没有通信Leader则会认为该台服务器已经崩了（Follow）
  • dataDir：保存Zookeeper中的数据-----集群数据存储位置

3. Zookeeper 集群操作

3.1 集群操作

• 集群Leader和Follow选举机制

• 第一次选举
  

选举解读：

（1）服务器1启动，发起一次选举。服务器1投自己一票。此时服务器1票数一票，不够半数以上（3票），选举无法完成，服务器1状态保持为LOOKING【观望状态】；

（2）服务器2启动，再发起一次选举。服务器1和2分别投自己一票并交换选票信息：此时**服务器1发现服务器2的myid【服务器编号】**比自己目前投票推举的（服务器1）大，更改选票为推举服务器2。此时服务器1票数0票，服务器2票数2票，没有半数以上结果（一共5台服务器），选举无法完成，服务器1，2状态保持LOOKING

（3）服务器3启动，发起一次选举。此时服务器1和2都会更改选票为服务器3。此次投票结果：服务器1为0票，服务器2为0票，服务器3为3票。此时服务器3的票数已经超过半数，服务器3当选Leader。服务器1，2更改状态为FOLLOWING，服务器3更改状态为LEADING；LOOKING LOOKING

（4）服务器4启动，发起一次选举。此时服务器1，2，3已经不是LOOKING状态，不会更改选票信息。交换选票信息结果：服务器3为3票，服务器4为1票。此时服务器4服从多数，更改选票信息为服务器3，并更改状态为FOLLOWING；----后来者当小弟

（5）服务器5启动，同4一样当小弟。

---

• 非第一次选举（中间服务器Leader或者是Follow出故障）

（1）当ZooKeeper集群中的一台服务器出现以下两种情况之一时，就会开始进入Leader选举：

• 服务器初始化启动。
• 服务器运行期间无法和Leader保持连接。

（2）而当一台机器进入Leader选举流程时，当前集群也可能会处于以下两种状态：

• 集群中本来就已经存在一个Leader。
  • 对于第一种已经存在Leader的情况，机器试图去选举Leader时，会被告知当前服务器的Leader信息，对于该机器来说，仅仅需要和Leader机器建立连接，并进行状态同步即可。
• 集群中确实不存在Leader。
  • 假设ZooKeeper由5台服务器组成，SID分别为1、2、3、4、5，ZXID分别为8、8、8、9、9，并且此时SID为3的服务器是Leader。某一时刻，3和5服务器出现故障，因此开始进行Leader选举。
  • 选举Leader规则： ①EPOCH大的直接胜出 ②EPOCH相同，事务id大的胜出 ③事务id相同，服务器id大的胜出

不存在Leader选举示例：

• 问题：SID分别为1、2、3、4、5，ZXID分别为8、9、9、9、9，ECHO：1、1、1、1、1并且此时SID为3的服务器是Leader。某一时刻，3和5服务器出现故障，因此开始进行Leader选举
  • 首先，1 、2、4进入选举，查看ECHO: 三者相同进入下一轮
  • 看每一台服务器的ZXID：2、4的ZIXID比1大，服务器1号淘汰
  • 最后看2、4号服务器的的SID，4号大，轮选本次的Leader

SID、PID、ZXID参数解读：

SID：服务器ID。用来唯一标识一台ZooKeeper集群中的机器，每台机器不能重
复，和myid一致。
ZXID：事务ID。ZXID是一个事务ID，用来标识一次服务器状态的变更。在某一时刻，
集群中的每台机器的ZXID值不一定完全一致，这和ZooKeeper服务器对于客户端“更新请求”的处理逻辑有关。
Epoch：每个Leader任期的代号。没有Leader时同一轮投票过程中的逻辑时钟值是相同的。每投完一次票这个数据就会增加

3.2 Zookeeper 集群启动停止脚本

进入到用户的bin目录下：创建zk.sh

#!/bin/bash
case $1 in
"start"){
for i in hadoop102 hadoop103 hadoop104
do
 echo ---------- zookeeper $i 启动 ------------
ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh 
start"
done
};;
"stop"){
for i in hadoop102 hadoop103 hadoop104
do
 echo ---------- zookeeper $i 停止 ------------ 
ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh 
stop"
done
};;
"status"){
for i in hadoop102 hadoop103 hadoop104
do
 echo ---------- zookeeper $i 状态 ------------ 
ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh 
status"
done
};;
esac
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

• 修改权限：
  • chmod u+x zk.sh
• Zookeeper 集群启动脚本
  • zk.sk start
• Zookeeper 集群启动脚本
  • zk.sk stop

3.3 客户端命令行语法