Zookeeper的安装及使用

1、Zookeeper简介

Zookeeper是一个分布式协调服务；就是为用户的分布式应用程序提供协调服务。

1. zookeeper是为别的分布式程序服务的
2. Zookeeper本身就是一个分布式程序（只要有半数以上节点存活，zk就能正常服务）
3. Zookeeper所提供的服务涵盖：主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统一名称服务……

虽然说可以提供各种服务，但是zookeeper在底层其实只提供了两个功能：

1. 管理(存储，读取)用户程序提交的数据；
2. 并为用户程序提供数据节点监听服务；

Zookeeper集群的角色： Leader 和 follower（Observer）
只要集群中有半数以上节点存活，集群就能提供服务

Zookeeper的集群机制为：半数机制，即：集群中半数以上机器存活，集群可用。

【注意：zookeeper适合装在奇数台机器上！！！】

2、Zookeeper安装

1、安装JDK
安装JDK很简单，请参看本人写的博客：https://blog.csdn.net/lantingshuxu/article/details/72801975

2、上传Zookeeper的安装包到服务端
如果本地有安装包，可以通过上传工具或者scp上传到服务端，当然，也可以使用wget命令直接让服务器去网上下载。如果想直接使用wget下载的话，可以执行下面的命令：

wget --no-check-certificate https://github.com/LanTingShuXu/MyFiles/raw/master/others/zookeeper-3.4.5.tar.gz

下载好后，可以解压我们的安装包。执行命令：

#这里的 zookeeper-3.4.5.tar.gz 是我们上一步下载好的安装包
tar -zxvf zookeeper-3.4.5.tar.gz

3、配置环境变量

解压后，我们可以使用 cd zookeeper-3.4.5 命令进入到目录中，使用 pwd 查看当前的路径，例如，我的路径为：/home/lanting/zookeeper-3.4.5 ，复制这里路径。

使用命令：vi /etc/profile 编辑环境变量，在文档末尾加上内容：

#这里的/home/lanting/zookeeper-3.4.5为Zookeeper的安装目录

export ZOOKEEPER_HOME=/home/lanting/zookeeper-3.4.5
export PATH=$PATH:$ZOOKEEPER_HOME/bin

保存退出后，执行命令：source /etc/profile，重新加载一次环境变量。

4、修改配置文件
使用 cd 命令进入到Zookeeper安装目录下的conf目录下。例如：cd /home/lanting/zookeeper-3.4.5/conf，该目录下会有个 zoo_sample.cfg 文件，我们复制一份，命令：cp zoo_sample.cfg zoo.cfg,再使用vi编辑器打开 zoo.cfg 文件，添加内容如下(注释不要添加)。

#配置数据存放的目录
dataDir=/home/lanting/zookeeper-3.4.5/data
#配置日志输出的目录
dataLogDir=/home/lanting/zookeeper-3.4.5/log
#有几台服务器就配置几台服务器
server.1=192.168.77.128:2888:3888 (主机名, 心跳端口、数据端口)
server.2=192.168.77.129:2888:3888
server.3=192.168.77.130:2888:3888

5、创建上一步配置的文件夹

cd /home/lanting/zookeeper-3.4.5/
# 创建文件夹的同时，配置其操作组权限
mkdir -m 755 data
mkdir -m 755 log

6、配置服务器id

cd /home/lanting/zookeeper-3.4.5/data
vi myid
#myid内容应为服务器的id，不要相同，例：第一台设为1，第二台设为2，以此类推。

为所有的集群服务器都配置好后，我们启动Zookeeper服务。命令：

#启动服务
zkServer.sh start

#停止服务
zkServer.sh stop

#查看集群状态
zkServer.sh status

#查看进程
jps

如果有以下的结果，表示执行成功。

[root@lantingshuxu data]# zkServer.sh start
JMX enabled by default
Using config: /home/lanting/zookeeper-3.4.5/bin/../conf/zoo.cfg
Starting zookeeper ... /home/lanting/zookeeper-3.4.5/bin/zkServer.sh: line 103: [: /tmp/zookeeper: binary operator expected
STARTED

3、zookeeper结构和命令

1）zookeeper特性

1. Zookeeper：一个leader，多个follower组成的集群
2. 全局数据一致：每个server保存一份相同的数据副本，client无论连接到哪个server，数据都是一致的
3. 分布式读写，更新请求转发，由leader实施
4. 更新请求顺序进行，来自同一个client的更新请求按其发送顺序依次执行
5. 数据更新原子性，一次数据更新要么成功，要么失败
6. 实时性，在一定时间范围内，client能读到最新数据

2）zookeeper数据结构

1. 层次化的目录结构，命名符合常规文件系统规范（如下图）
2. 每个节点在zookeeper中叫做znode,并且其有一个唯一的路径标识
3. 节点Znode可以包含数据和子节点（但是EPHEMERAL类型的节点不能有子节点，并且在退出后，自动会被删除）
4. 客户端应用可以在节点上设置监视器

3）节点类型
1、Znode有两种类型：
短暂（ephemeral）（断开连接后，该节点会被删除）
持久（persistent）（断开连接不删除）
2、Znode有四种形式的目录节点（默认是persistent ）
PERSISTENT
PERSISTENT_SEQUENTIAL
EPHEMERAL
EPHEMERAL_SEQUENTIAL
以上的_SEQUENTIAL类型的节点，系统会在我们创建的节点后，用自增长的方式添加序号，例如我在/lanting节点下，创建一个test1再创建一个test2再创建一个demo1，最终形成的结构是：
/lanting/test100000000
/lanting/test200000001
/lanting/demo100000002
3、创建znode时设置顺序标识，znode名称后会附加一个值，顺序号是一个单调递增的计数器，由父节点维护
4、在分布式系统中，顺序号可以被用于为所有的事件进行全局排序，这样客户端可以通过顺序号推断事件的顺序

4、zookeeper命令行操作
使用命令 zkCli.sh 进入命令行工具。可选参数 –server <ip>:<port> 表示进入指定的服务器终端。

常用的命令为：

#使用 ls 命令来查看当前 ZooKeeper 中所包含的内容：
[zk: localhost:2181(CONNECTED) 1] ls /
[zookeeper]

#创建一个新的 znode ，使用 create /zk myData 。这个命令创建了一个新的 znode 节点“ zk ”以及与它关联的字符串：
[zk: localhost:2181(CONNECTED) 2] create /zk "myData"
Created /zk

#我们运行 get 命令来确认 znode 是否包含我们所创建的字符串：
[zk: localhost:2181(CONNECTED) 3] get /zk
"myData"
cZxid = 0x2
ctime = Tue Jul 24 22:18:49 CST 2018
mZxid = 0x2
mtime = Tue Jul 24 22:18:49 CST 2018
pZxid = 0x2
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 8
numChildren = 0


#监听这个节点的变化,当另外一个客户端改变/zk时,它会打出下面的
#WATCHER::
#WatchedEvent state:SyncConnected type:NodeDataChanged path:/zk
[zk: localhost:2181(CONNECTED) 4] get /zk watch

#下面我们通过 set 命令来对 zk 所关联的字符串进行设置：
[zk: localhost:2181(CONNECTED) 5] set /zk "zsl"

#下面我们将刚才创建的 znode 删除：
[zk: localhost:2181(CONNECTED) 6] delete /zk

#删除节点（迭代删除子节点）：rmr
[zk: localhost:2181(CONNECTED) 7] rmr /zk

4、zookeeper的选举机制（全新集群paxos）

以一个简单的例子来说明整个选举的过程.
假设有五台服务器组成的zookeeper集群,它们的id从1-5,同时它们都是最新启动的,也就是没有历史数据,在存放数据量这一点上,都是一样的.假设这些服务器依序启动,来看看会发生什么.
1) 服务器1启动,此时只有它一台服务器启动了,它发出去的报没有任何响应,所以它的选举状态一直是LOOKING状态
2) 服务器2启动,它与最开始启动的服务器1进行通信,互相交换自己的选举结果,由于两者都没有历史数据,所以id值较大的服务器2胜出,但是由于没有达到超过半数以上的服务器都同意选举它(这个例子中的半数以上是3),所以服务器1,2还是继续保持LOOKING状态.
3) 服务器3启动,根据前面的理论分析,服务器3成为服务器1,2,3中的老大,而与上面不同的是,此时有三台服务器选举了它,所以它成为了这次选举的leader.
4) 服务器4启动,根据前面的分析,理论上服务器4应该是服务器1,2,3,4中最大的,但是由于前面已经有半数以上的服务器选举了服务器3,所以它只能接收当小弟的命了.
5) 服务器5启动,同4一样,当小弟.

5、非全新集群的选举机制(数据恢复)

那么，初始化的时候，是按照上述的说明进行选举的，但是当zookeeper运行了一段时间之后，有机器down掉，重新选举时，选举过程就相对复杂了。
需要加入数据id、leader id和逻辑时钟。
数据id：数据新的id就大，数据每次更新都会更新id。
Leader id：就是我们配置的myid中的值，每个机器一个。
逻辑时钟：这个值从0开始递增,每次选举对应一个值,也就是说: 如果在同一次选举中,那么这个值应该是一致的 ; 逻辑时钟值越大,说明这一次选举leader的进程更新.
选举的标准就变成：
1、逻辑时钟小的选举结果被忽略，重新投票
2、统一逻辑时钟后，数据id大的胜出
3、数据id相同的情况下，leader id大的胜出
根据这个规则选出leader。

赏

谢谢您对蓝亭的支持！

支付宝