zookeeper入门

发表于 | 分类于

zookeeper入门

[TOC]

zookeeper的简介

顾名思义，zookeeper就是动物园管理员的意思，Zookeeper是一个分布式协调服务；就是为用户的分布式应用程序提供协调服务。其主要具有一下特点：

  1. zookeeper是为别的分布式程序服务的
  2. Zookeeper本身就是一个分布式程序（只要有半数以上节点存活，zk就能正常服务）
  3. Zookeeper所提供的服务涵盖：主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统一名称等服务。

虽然说可以提供各种服务，但是zookeeper在底层其实只提供了两个功能：

  1. 管理(存储，读取)用户程序提交的元数据（不是用户程序的业务数据）；
  2. 并为用户程序提供数据节点监听服务；（监听因故宕机的程序，并通知其他应用程序接替工作）。

zookeeper的特性

  1. Zookeeper：一个leader，多个follower组成的集群

  2. 全局数据一致：每个server保存一份相同的数据副本，client无论连接到哪个server，数据都是一致的

  3. 分布式读写，更新请求转发，由leader实施

  4. 更新请求顺序进行，来自同一个client的更新请求按其发送顺序依次执行

  5. 数据更新原子性，一次数据更新要么成功，要么失败

  6. 实时性，在一定时间范围内，client能读到最新数据

zookeeper环境搭建

  1. 拷贝安装包到对应服务器上。

  2. 解压缩安装包

    1
    2
    tar -zvxf zookeeper-3.4.5.tar.gz
    mv zookeeper-3.4.5 zookeeper #修改文件夹名称

  3. 配置环境变量

    1
    2
    3
    4
    5
    6
    vim /etc/profile
    #加入以下信息
    export ZOOKEEPER_HOME=/opt/zookeeper
    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$ZOOKEEPER_HOME/bin
    #添加之后
    source /etc/profile

  4. 修改conf文件夹下的配置文件（复制zoo_sample.xml为zoo.xml），添加如下内容

    1
    2
    3
    4
    5
    dataDir=/root/zookeeper/data
    dataLogDir=/root/zookeeper/log
    server.1=mini1:2888:3888   #其余节点的主机名，以及通信的端口和检测连接的端口
    server.2=mini2:2888:3888
    server.3=mini3:2888:3888

  5. 在前面定义的dataDir目录下新建muid文件，加入内容1，之后配置的节点依次递增。

  6. 启动服务（其余节点需要关闭防火墙）

    1
    2
    zkServer.sh start  #启动服务
    zkServer.sh status  #查看服务状态（主从节点信息）

    ​

Zookeeper的数据管理功能

  • 在zookeeper中默认通过树的结构保存用户的元数据

    ​

    这里写图片描述

    每一个节点都可以存放数据，类似与文件系统的树形存储目录。

  • 通过命令行连接到zookeeper服务器。

    通过解压目录的bin/zkCli.sh可以直接启动命令行的客户端。

  • 在zookeeper中每个节点的数据可以分为两类：

    1. 瞬时节点（ephemeral）（当连接进程与zookeeper断开连接的一定时间后（心跳时间）就会删除节点）
    2. 持久节点（persistent）（即时连接进程与zookeeper断开也不会删除该节点）

    而且每种节点又分为两种，有序节点与无序节点（有序节点在创建时会默认在其后添加一个递增的序号）。所以总共在zookeeper中包括了四种节点。

    • PERSISTENT
    • PERSISTENT_SEQUENTIAL（持久序列/test0000000019 ）
    • EPHEMERAL
    • EPHEMERAL_SEQUENTIAL

通过客户端对元数据进行管理

  • 通过bin/zkCli.sh我们通过客户端连接到zookeeper，我们可以在命令行对节点进行增删改查操作。
功能 描述
create 在本地目录树中创建一个节点
delete 删除一个节点
exists 测试本地是否存在目标节点
get/set data 从目标节点上读取 / 写数据
get/set ACL 获取 / 设置目标节点访问控制列表信息
get children 检索一个子节点上的列表
sync 等待要被传送的数据

  • 通过help命令我们可以对查看命令及其使用方法。

    这里写图片描述

    值得注意的是在ls与get命令后面我们可以对某个数据增加监控，当某个数据发生变化的时候连接进程后收到信号。只能监听一次，完成后后面的事件不会再触发监听。

    1
    2
    3
    4
    get /test/test1 true  #对/test/test1增加监听，当其数据发生变化的时候会收到信息
    # WatchedEvent state:SyncConnected type:NodeDataChanged path:/test/test1
    ls /test true  #对/test增加监听，子目录下内容发生变化的时候会收到信息。
    # WatchedEvent state:SyncConnected type:NodeDeleted path:/test/test1

    ​