【KAFKA】通过docker部署kafka集群-白红宇

【KAFKA】通过docker部署kafka集群

阅读量：6479 次

发布时间：2019-06-23

本文共 4561 字，大约阅读时间需要 15 分钟。

前言

文章主要介绍以docker容器的方式部署kafka集群。很多内容参考(chao xi)了的博文，同时把自己搭建过程中遇到的问题及觉得需要重点关注的地方做了说明补充。

环境说明

三台虚拟机：centos7.3 docker1.12.6（192.168.83.151，192.168.83.152，192.168.83.153）

zookeeper镜像：wurstmeister/zookeeper:latest --20171012 latest标签版本是3.4.9

kafka镜像：wurstmeister/kafka:0.10.1.1 --20171012 dockerfile中scala版本是2.11，kafka版本是0.10.1.1

kafka-manager镜像：sheepkiller/kafka-manager:latest

环境搭建的整体思路:

在宿主机上创建kafka_cluster目录，其下分别创建kafka和zookeeper两个目录；然后在这两个目录下分别创建配置目录，数据目录，和日志目录。配置文件提前按照组网配置完成。

docker启动时将配置目录，数据目录，日志目录映射到刚才在宿主机上创建的目录，完成容器启动。

zookeeper部署

zookeeper配置文件（zoo.cfg）的关键配置

zookeeper镜像中设定会将zookeeper的data与dataLog分别映射到/data, /datalog 本质上，这个配置文件是为zookeeper的容器所用，容器中路径的配置与容器所在的宿主机上的路径是有区别的，要区分清楚。

server.x，数字x对应到data/myid文件中的值。三台机器x的值分别就是1,2,3。

关键目录存储结构

1./kafka_cluster/zookeeper/conf

2./kafka_cluster/zookeeper/data

3./kafka_cluster/zookeeper/datalog

启动zookeeper容器（三台机器均执行）

docker run -tid --name=zookeeper --restart=always --net=host --privileged=true -v /kafka_cluster/zookeeper/conf:/opt/zookeeper-3.4.9/conf -v /kafka_cluster/zookeeper/data:/data -v /kafka_cluster/zookeeper/datalog:/datalog docker.io/wurstmeister/zookeeper:latest

1.--net=host: 容器与主机共享同一Network Namespace，即容器与网络看到的是相同的网络视图

（host模式存在一定的风险，对安全要求很高的生产环境最好不要用host模式，应考虑除此之外的其他几种模式）

2.-v: 指定主机到容器的目录映射关系

这样就以容器的方式启动了zookeeper的服务，可以通过 "docker exec -it zookeeper bash" 命令进入容器中进行一些操作，

例如查看服务启动是否正常。也可以通过查看2181端口是否被监听判断zookeeper的服务是否运行。

3.zookeeper是否为集群可以通过./zkServer.sh status 命令查看，具体参见本文最后记录的”问题2“

kafka部署

kafka配置文件（server.properties）的关键配置

关键目录存储结构

1./kafka_cluster/kafka/config

2./kafka_cluster/kafka/data

3./kafka_cluster/kafka/logs

启动kafka容器（三台机器分别执行）

docker run -itd --name=kafka --restart=always --net=host --privileged=true -v /etc/hosts:/etc/hosts -v /kafka_cluster/kafka/data:/kafka/kafka-logs-localhost.localdomain -v /kafka_cluster/kafka/logs:/opt/kafka/logs -e KAFKA_ADVERTISED_HOST_NAME=192.168.83.151 -e JMX_PORT=9999 -e HOST_IP=127.0.0.1 -e KAFKA_ADVERTISED_PORT=9092 -e KAFKA_ZOOKEEPER_CONNECT=192.168.83.151:2181,192.168.83.152:2181,192.168.83.153:2181 -e KAFKA_BROKER_ID=0 -e KAFKA_HEAP_OPTS="-Xmx512M -Xms512M" wurstmeister/kafka:0.10.1.1docker run -itd --name=kafka --restart=always --net=host --privileged=true -v /etc/hosts:/etc/hosts -v /kafka_cluster/kafka/data:/kafka/kafka-logs-localhost.localdomain -v /kafka_cluster/kafka/logs:/opt/kafka/logs -e KAFKA_ADVERTISED_HOST_NAME=192.168.83.152 -e JMX_PORT=9999 -e HOST_IP=127.0.0.1 -e KAFKA_ADVERTISED_PORT=9092 -e KAFKA_ZOOKEEPER_CONNECT=192.168.83.151:2181,192.168.83.152:2181,192.168.83.153:2181 -e KAFKA_BROKER_ID=1 -e KAFKA_HEAP_OPTS="-Xmx512M -Xms512M" wurstmeister/kafka:0.10.1.1docker run -itd --name=kafka --restart=always --net=host --privileged=true -v /etc/hosts:/etc/hosts -v /kafka_cluster/kafka/data:/kafka/kafka-logs-localhost.localdomain -v /kafka_cluster/kafka/logs:/opt/kafka/logs -e KAFKA_ADVERTISED_HOST_NAME=192.168.83.153 -e JMX_PORT=9999 -e HOST_IP=127.0.0.1 -e KAFKA_ADVERTISED_PORT=9092 -e KAFKA_ZOOKEEPER_CONNECT=192.168.83.151:2181,192.168.83.152:2181,192.168.83.153:2181 -e KAFKA_BROKER_ID=2 -e KAFKA_HEAP_OPTS="-Xmx512M -Xms512M" wurstmeister/kafka:0.10.1.1

1.通过-e 指定的环境变量与在server.properties中配置的选项其效果是一样的

2.配置文件中的选项若要通过环境变量来指定，方式为：如broker.id对应KAFKA_BROKER_ID，类似的log.dirs对应KAFKA_LOG_DIRS

3.KAFKA_HEAP_OPTS="-Xmx512M -Xms512M"指java堆内存大小的设置，此数值要结合机器的内存大小给出。官方的配置使6G。

4.启动成功后，可以通过"docker logs kafka"命令查看日志

注：wurstmeister/kafka:0.10.1.1镜像中kafka的安装目录为/opt/kafka/config，知道这个，上面docker运行命令中的-v的一些映射就好理解了。

部署监控工具kafka-manager

启动kafka-manager容器

docker run -itd --restart=always --net host --name=kafka-manager -p 9000:9000 -e ZK_HOSTS="192.168.83.151:2181,192.168.83.152:2181,192.168.83.153:2181" sheepkiller/kafka-manager:latest

1.ZK_HOSTS：ZooKeeper访问地址（需指定机器的ip，localhost:2181或127.0.0.1:2181均会报 "java.net.ConnectException: Connection refused" 异常）