Zookeeper基础数据类型和基本客户端操作

Zookeeper一个分布式协调框架,是Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等

核心概念

一个用于存储少量数据的基于内存的数据库，主要有如下两个核心的概念：文件系统数据结构+监听通知机制。

文件系统数据结构

• PERSISTENT-持久化目录节点
  客户端与Zookeeper断开连接后，该节点依旧存在，只要不手动删除该节点，他将永远存在
• PERSISTENT_SEQUENTIAL-持久化顺序编号目录节点
  客户端与Zookeeper断开连接后，该节点依旧存在，只是Zookeeper给该节点名称进行顺序编号
• EPHEMERAL-临时目录节点
  客户端与Zookeeper断开连接后，该节点被删除
• EPHEMERAL_SEQUENTIAL-临时顺序编号目录节点
  客户端与Zookeeper断开连接后，该节点被删除，只是Zookeeper给该节点名称进行顺序编号
• Container 节点（3.5.3 版本新增，如果Container节点下面没有子节点，则Container节点在未来会被Zookeeper自动清除,定时任务默认60s 检查一次）
• TTL 节点( 默认禁用，只能通过系统配置 zookeeper.extendedTypesEnabled=true 开启，不稳定)

监听通知机制

客户端注册监听它关心的任意节点，或者目录节点及递归子目录节点

• 如果注册的是对某个节点的监听，则当这个节点被删除，或者被修改时，对应的客户端将被通知

• 如果注册的是对某个目录的监听，则当这个目录有子节点被创建，或者有子节点被删除，对应的客户端将被通知

• 如果注册的是对某个目录的递归子节点进行监听，则当这个目录下面的任意子节点有目录结构的变化（有子节点被创建，或被删除）或者根节点有数据变化时，对应的客户端将被通知。

注：所有的通知都是一次性的，及无论是对节点还是对目录进行的监听，一旦触发，对应的监听即被移除。递归子节点，监听是对所有子节点的，所以，每个子节点下面的事件同样只会被触发一次。

Zookeeper安装

• 配置JAVA环境，检验环境：

  1	java -version

• 下载解压 Zookeeper

  1	wget https://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.5.8/apache-zookeeper-3.5.8-bin.tar.gz tar -zxvf apache-zookeeper-3.5.8-bin.tar.gz cd apache-zookeeper-3.5.8-bin

• 重命名配置文件 zoo_sample.cfg

  1	cp zoo_sample.cfg zoo.cfg

• 启动Zookeeper

  1 2 3

  # 可以通过 bin/zkServer.sh 来查看都支持哪些参数 # 进入安装目录 bin/zkServer.sh start conf/zoo.cfg

• 检测是否启动成功

  1 2 3

  echo stat | nc 192.168.109.200 // 前提是配置文件中中讲 stat 四字命令设置了了白名单 如： 4lw.commands.whitelist=stat # 或使用 ps -ef | grep zookeeper

• 连接服务器

  1	bin/zkCli.sh -server ip:port

命令行操作Zookeeper

命令 help 查看Zookeeper所支持的所有命令：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56

[zk: localhost:2181(CONNECTED) 80] help
ZooKeeper -server host:port cmd args
	# 输入认证授权信息，相当于注册用户信息，注册时输入明文密码，zk将以密文的形式存储 
	addauth scheme auth
	close 
	config [-c] [-w] [-s]
	connect host:port
	# 创建zookeeper 节点命令
	# -s: 顺序节点
    # -e: 临时节点
    # -c: 容器节点
    # -t:  可以给节点添加过期时间，默认禁用，需要通过系统参数启用
    # 创建子节点， 这里要注意，zookeeper是以节点组织数据的，没有相对路径这么一说，所以，所有的节点一定是以 / 开头。
    # create 后跟一个 -e 创建临时节点 ， 临时节点不能创建子节点
    # 容器节点主要用来容纳字节点，如果没有给其创建子节点，容器节点表现和持久化节点一样，如果给容器节点创建了子节点，后续又把子节点清空，容器节点也会被zookeeper删除。
	create [-s] [-e] [-c] [-t ttl] path [data] [acl]   
	delete [-v version] path
	deleteall path
	delquota [-n|-b] path
	# 查看节点
    # -w: 针对节点的监听：一定事件触发，对应的注册立刻被移除，所以事件监听是一次性的
	get [-s] [-w] path
	# 获取某个节点的acl权限信息
	getAcl [-s] path
	history 
	listquota path
	# -R 区分大小写，一定用大写 
    # -w: 针对目录的监听
	ls [-s] [-w] [-R] path
	ls2 path [watch]
	printwatches on|off
	quit 
	reconfig [-s] [-v version] [[-file path] | [-members serverID=host:port1:port2;port3[,...]*]] | [-add serverId=host:port1:port2;port3[,...]]* [-remove serverId[,...]*]
	redo cmdno
	removewatches path [-c|-d|-a] [-l]
	rmr path
	# 修改节点数据
	set [-s] [-v version] path data
	# 设置某个节点的acl权限信息
	setAcl [-s] [-v version] [-R] path acl
	setquota -n|-b val path
	# 查看节点状态信息
	# cZxid：创建znode的事务ID（Zxid的值）。
    # mZxid：最后修改znode的事务ID。
    # pZxid：最后添加或删除子节点的事务ID（子节点列表发生变化才会发生改变）。
    # ctime：znode创建时间。
    # mtime：znode最近修改时间。
    # dataVersion：znode的当前数据版本。
    # cversion：znode的子节点结果集版本（一个节点的子节点增加、删除都会影响这个版本）。
    # aclVersion：表示对此znode的acl版本。
    # ephemeralOwner：znode是临时znode时，表示znode所有者的 session ID。 如果znode不是临时znode，则该字段设置为零。
    # dataLength：znode数据字段的长度。
	# numChildren：znode的子znode的数量。
	# [-w] 对节点进行监听，且获取元数据信息
	stat [-w] path
	sync path

Zookeeper事件类型：

​ None: 连接建立事件
​ NodeCreated： 节点创建
​ NodeDeleted： 节点删除
​ NodeDataChanged：节点数据变化
​ NodeChildrenChanged：子节点列表变化
​ DataWatchRemoved：节点监听被移除
​ ChildWatchRemoved：子节点监听被移除

ACL 权限控制( Access Control List )

控制节点的读写操作,保证数据的安全性，Zookeeper ACL 权限设置分为 3 部分组成，分别是：权限模式（Scheme）、授权对象（ID）、权限信息（Permission）

Scheme（权限模式）：用来设置 Zookeeper 服务器进行权限验证的方式。

一种是范围验证。所谓的范围验证就是说 Zookeeper 可以针对一个 IP 或者一段 IP 地址授予某种权限。比如我们可以让一个 IP 地址为ip：192.168.0.110的机器对服务器上的某个数据节点具有写入的权限。或者也可以通过ip:192.168.0.1/24给一段 IP 地址的机器赋权。

另一种是口令验证，也可以理解为用户名密码的方式。在 Zookeeper 中这种验证方式是 Digest 认证，而 Digest 这种认证方式首先在客户端传送username:password这种形式的权限表示符后，Zookeeper 服务端会对密码 部分使用 SHA-1和 BASE64 算法进行加密，以保证安全性。

还有一种Super权限模式, Super可以认为是一种特殊的 Digest 认证。具有 Super 权限的客户端可以对 Zookeeper 上的任意数据节点进行任意操作。

授权对象（ID）

授权对象就是说我们要把权限赋予谁，而对应于 4 种不同的权限模式来说，如果我们选择采用 IP 方式，使用的授权对象可以是一个 IP 地址或 IP 地址段；而如果使用 Digest 或 Super 方式，则对应于一个用户名。如果是 World 模式，是授权系统中所有的用户。

权限信息（Permission）

权限就是指我们可以在数据节点上执行的操作种类，如下所示：在 Zookeeper 中已经定义好的权限有 5 种：

数据节点（c: create）创建权限，授予权限的对象可以在数据节点下创建子节点；
数据节点（w: wirte）更新权限，授予权限的对象可以更新该数据节点；
数据节点（r: read）读取权限，授予权限的对象可以读取该节点的内容以及子节点的列表信息；
数据节点（d: delete）删除权限，授予权限的对象可以删除该数据节点的子节点；
数据节点（a: admin）管理者权限，授予权限的对象可以对该数据节点体进行 ACL 权限设置。

通过系统参数zookeeper.skipACL=yes进行配置，默认是no,可以配置为true, 则配置过的ACL将不再进行权限检测

生成授权ID

A-代码生成ID:

1
2
3
4
5

@Test
public void generateSuperDigest() throws NoSuchAlgorithmException {
    String sId = DigestAuthenticationProvider.generateDigest("gj:test");
    System.out.println(sId);//  gj:X/NSthOB0fD/OT6iilJ55WJVado=
}

B-在x shell 中生成：

1

echo -n <user>:<password> | openssl dgst -binary -sha1 | openssl base64

设置ACL

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

# 节点创建的同时设置ACL
create [-s] [-e] [-c]   path [data] [acl]
create /zk-node datatest digest:gj:X/NSthOB0fD/OT6iilJ55WJVado=:cdrwa
# 用setAcl 设置
setAcl /zk-node  digest:gj:X/NSthOB0fD/OT6iilJ55WJVado=:cdrwa
# 添加授权信息后，不能直接访问，直接访问将报如下异常
#=================================================================
# 访问前需要添加授权信息
addauth digest gj:test
get /zk-node
datatest
# 另一种授权模式： auth 明文授权
# 使用之前需要先
# addauth  digest username:password  注册用户信息，后续可以直接用明文授权
addauth digest u100:p100
create /node-1 node1data auth:u100:p100:cdwra
# 这是u100用户授权信息会被zk保存，可以认为当前的授权用户为u100
get /node-1
node1data
# IP授权模式：
setAcl /node-ip ip:192.168.109.128:cdwra
create /node-ip  data  ip:192.168.109.128:cdwra
# 多个指定IP可以通过逗号分隔， 如 setAcl /node-ip  ip:IP1:rw,ip:IP2:a
# Super 超级管理员模式
# 这是一种特殊的Digest模式， 在Super模式下超级管理员用户可以对Zookeeper上的节点进行任何的操作。需要在启动了上通过JVM 系统参数开启：
DigestAuthenticationProvider中定义
-Dzookeeper.DigestAuthenticationProvider.superDigest=super:<base64encoded(SHA1(password))

Zookeeper 内存数据和持久化

数据的组织形式为一个类似文件系统的数据结构，而这些数据都是存储在内存中的，所以我们可以认为，Zookeeper是一个基于内存的小型数据库

1
2
3
4
5
6
7
8
9
10
11
12
13
14

// 内存中的数据：
public class DataTree {
    private final ConcurrentHashMap<String, DataNode> nodes =
        new ConcurrentHashMap<String, DataNode>();  
    private final WatchManager dataWatches = new WatchManager();
    private final WatchManager childWatches = new WatchManager();
}   
// DataNode 是Zookeeper存储节点数据的最小单位
public class DataNode implements Record {
    byte data[];
    Long acl;
    public StatPersisted stat;
    private Set<String> children = null;
}

• ← Previous Post
• Next Post →

...

...

00:00

00:00