大数据之zookeeper集群安装

本文需要5分钟左右阅读完成，建议收藏以后阅读，也可以加群460570824交流学习。

一、zookeeper集群简介

Zookeeper集群中只要有过半的节点是正常的情况下,那么整个集群对外就是可用的。正是基于这个特性,要将 ZK 集群的节点数量要为奇数（2n+1），如 3、5、7 个节点)较为合适。

二、环境准备

服务器 1：192.168.31.154 端口：2181、2881、3881 安装用户：dreyer03

服务器 2：192.168.31.117 端口：2182、2882、3882 安装用户：dreyer04

服务器 3：192.168.31.146 端口：2183、2883、3883 安装用户：dreyer05

三、具体安装步骤

1、 修改每台机器的/etc/hosts 文件,添加 IP 与主机名映射:

# vi /etc/hosts

增加：

192.168.31.154 dreyer-zk-01

192.168.31.117 dreyer-zk-02

192.168.31.146 dreyer-zk-03

2、 下载或上传 zookeeper-3.4.6.tar.gz 到/home/dreyer/zookeeper 目录:

$ wget http://apache.fayea.com/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz

3、解压zookeeper安装包，并按照节点号对zookeeper目录进行重命名

解压安装包：

$ tar -zxvf zookeeper-3.4.6.tar.gz

将服务器1的zookeeper目录重命名为node-01：

$ mv zookeeper-3.4.6 node-01

将服务器2的zookeeper目录重命名为node-02：

$ mv zookeeper-3.4.6 node-02

将服务器3的zookeeper目录重命名为node-03：

$ mv zookeeper-3.4.6 node-03

4、在各个zookeeper节点目录创建data、logs目录

$ cd /home/dreyer03/zookeeper/node-0X/（X代表节点号1、2、3，以下同解）

$ mkdir data

$ mkdir logs

5、将zookeeper/node-0X/conf目录下的zoo_sample.cfg文件拷贝一份，并命名为zoo.cfg：

$ cp zoo_sample.cfg zoo.cfg

6、修改zoo.cfg配置文件

zookeeper/node-01的配置如下：

tickTime=2000

initLimit=10

syncLimit=5

dataDir=/home/dreyer03/zookeeper/node-01/data

dataLogDir=/home/dreyer03/zookeeper/node-01/logs

clientPort=2181

server.1=dreyer-zk-01:2881:3881

server.2=dreyer-zk-02:2882:3882

server.3=dreyer-zk-03:2883:3883

zookeeper/node-02的配置如下：

tickTime=2000

initLimit=10

syncLimit=5

dataDir=/home/dreyer04/zookeeper/node-02/data

dataLogDir=/home/dreyer04/zookeeper/node-02/logs

clientPort=2182

server.1=dreyer-zk-01:2881:3881

server.2=dreyer-zk-02:2882:3882

server.3=dreyer-zk-03:2883:3883

zookeeper/node-03的配置如下：

tickTime=2000

initLimit=10

syncLimit=5

dataDir=/home/dreyer05/zookeeper/node-03/data

dataLogDir=/home/dreyer05/zookeeper/node-03/logs

clientPort=2183

server.1=dreyer-zk-01:2881:3881

server.2=dreyer-zk-02:2882:3882

server.3=dreyer-zk-03:2883:3883

参数说明：

tickTime=2000

tickTime 这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每各tickTime 时间就会发送一个心跳。

initLimit=10

initLimit 这个配置项是用来配置 Zookeeper 接受客户端(这里所说的客户端不是用户连接 Zookeeper 服务器的客户端,

而是Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器)初始化连接时最长 能忍受多少个心跳时间间隔数。当已经超过10个心跳的时间(也就是 tickTime)长度后

Zookeeper 服务器还没有收到客户端的返回信息,那么表明这个客户端连接失败。总的时间长度就是 102000=20 秒。

syncLimit=5

syncLimit 这个配置项标识 Leader与Follower之间发送消息,请求和应答时间长度,最长不能超过多少个tickTime 的时间长度,总的时间长度就是 52000=10 秒。

dataDir=/home/dreyer05/zookeeper/node-03/data

dataDir 顾名思义就是 Zookeeper 保存数据的目录,默认情况下 Zookeeper 将写数据的日志文件也保存在这个目录里。

clientPort=2181

clientPort 这个端口就是客户端(应用程序)连接 Zookeeper服务器的端口,Zookeeper会监听这个端口接受客户端的访问请求。

server.A=B:C:D

server.1=dreyer-zk-01:2881:3881

server.2=dreyer-zk-02:2882:3882

server.3=dreyer-zk-03:2883:3883

A 是一个数字,表示这个是第几号服务器;

B 是这个服务器的 IP 地址(或者是与 IP 地址做了映射的主机名);

C 第一个端口用来集群成员的信息交换,表示这个服务器与集群中的 Leader 服务器交换信息的端口;

D 是在 leader 挂掉时专门用来进行选举 leader 所用的端口。 注意:如果是伪集群的配置方式,不同的 Zookeeper 实例通信端口号不能一样,所以要给它们分配不 同的端口号。

7、在dataDir=/home/dreyer03/zookeeper/node-0X/data下创建myid文件

编辑myid文件，并在对应的IP机器上输入对应的编号，比如说node-01上，myid文件的内容就是1，node-02上，myid的内容就是2，node-03上，myid的内容就是3

$ vi /home/dreyer03/zookeeper/node-01/data/myid ##输入值为1

$ vi /home/dreyer04/zookeeper/node-02/data/myid ##输入值为2

$ vi /home/dreyer05/zookeeper/node-03/data/myid ##输入值为3

8、在每台机器的防火墙中打开要用到的端口，218X、288X、388X

切换到root用户后：

# vi /etc/sysconfig/iptables

在服务器1号中增加：

## zookeeper

-A INPUT -m state --state NEW -m tcp -p tcp --dport 2181 -j ACCEPT

-A INPUT -m state --state NEW -m tcp -p tcp --dport 2881 -j ACCEPT

-A INPUT -m state --state NEW -m tcp -p tcp --dport 3881 -j ACCEPT

在服务器2号中增加：

## zookeeper

-A INPUT -m state --state NEW -m tcp -p tcp --dport 2182 -j ACCEPT

-A INPUT -m state --state NEW -m tcp -p tcp --dport 2882 -j ACCEPT

-A INPUT -m state --state NEW -m tcp -p tcp --dport 3882 -j ACCEPT

在服务器3号中增加：

## zookeeper

-A INPUT -m state --state NEW -m tcp -p tcp --dport 2183 -j ACCEPT

-A INPUT -m state --state NEW -m tcp -p tcp --dport 2883 -j ACCEPT

-A INPUT -m state --state NEW -m tcp -p tcp --dport 3883 -j ACCEPT

以上，防火墙中增加端口后要记得重启防火墙

重启防火墙：

# service iptables restart

查看防火墙状态：

# service iptables status

9、启动并测试zookeeper（用普通用户启动，不要用root用户）

$ /home/dreyer03/zookeeper/node-01/bin/zkServer.sh start

$ /home/dreyer04/zookeeper/node-02/bin/zkServer.sh start

$ /home/dreyer05/zookeeper/node-03/bin/zkServer.sh start

注意：

zookeeper的启动日志在/bin目录下的zookeeper.out文件

在启动第一个节点后，查看日志信息会看到如下异常：

java.net.ConnectException: Connection refused

at java.net.PlainSocketImpl.socketConnect(Native Method)

at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:339)

at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:200)

at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:182)

at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)

at java.net.Socket.connect(Socket.java:579)

at org.apache.zookeeper.server.quorum.QuorumCnxManager.connectOne(QuorumCnxManager.java:368)

at org.apache.zookeeper.server.quorum.QuorumCnxManager.connectAll(QuorumCnxManager.java:402)

at org.apache.zookeeper.server.quorum.FastLeaderElection.lookForLeader(FastLeaderElection.java:840)

at org.apache.zookeeper.server.quorum.QuorumPeer.run(QuorumPeer.java:762)

2016-07-30 17:13:16,032 [myid:1] - INFO [QuorumPeer[myid=1]/0:0:0:0:0:0:0:0:2181:FastLeaderElection@849] - Notification time out: 51200

这是正常的，因为配置文件中配置了此节点是属于集群中的一个节点，zookeeper集群只有在过半的节点是正常的情况下，此节点才会正常，它是一直在检测集群其他两个节点的启动的情况。

那在我们启动第二个节点之后，我们会看到原先启动的第一个节点不会在报错，因为这时候已经有过半的节点是正常的了。

10、查看zookeeper的状态

$ /home/dreyer03/zookeeper/node-01/bin/zkServer.sh status

会看到输出信息：

JMX enabled by default

Using config: /home/dreyer03/zookeeper/node-01/bin/../conf/zoo.cfg

Mode: follower

Mode：follower表示此节点为从节点

Mode: leader表示此节点为主节点

11、停止zookeeper进程

$ /home/dreyer04/zookeeper/node-02/bin/zkServer.sh stop

在我们停止主节点之后，我们查看另外另个从节点的状态可以看到，原先的一个从节点会被重新选举为主节点。

12、设置zookeeper开机启动

编辑node-01、node-02、node-03节点所在服务器的/etc/rc.local文件，分别加入：

su - dreyer03-c '/home/dreyer03/zookeeper/node-01/bin/zkServer.sh start'

su - dreyer04-c '/home/dreyer04/zookeeper/node-02/bin/zkServer.sh start'

su - dreyer05-c '/home/dreyer05/zookeeper/node-03/bin/zkServer.sh start'