centos 7.5 kafaka 2.0.0 集群安装及kafka-manager工具安装使用

Last modified date

Comments: 0

kafka作为一款为日志而生的消息中间件被大量的企业所使用,从这周开始系统的学习一下kafka的强大功能。

 

一、kafka集群安装

1、本次准备了2台阿里云服务器做为部署的节点

borker 节点 IP 地址 工作模式
node1 172.16.162.4 DISK CentOS 7.5 – 64位
node2 172.16.213.226 DISK CentOS 7.5 – 64位

2、修改本机hosts

vi /etc/hosts

172.16.162.4 node1
172.16.213.226 node2

3、下载kafka

官方下载地址

前往官方下载地址进行下载 ,本次下载的为截至2018.7.31日的最新版本2.0.0

images这里选择编译后的二进制安装包

4、解压安装包&修改kafka配置文件

解压安装包

解压安装包
tar -zxvf kafka_2.11-1.1.tgz
#移动安装包至安装目录 
mv kafka_2.11-1.1 /usr/local

5、修改配置文件

主要涉及到2个配置文件需要修改

a)、zookeeper配置:config/zookeeper.properties

dataDir=/tmp/zookeeper  #设置zookeeper安装文件夹

clientPort=2181 #端口号(如不做伪分布式可以不修改)

b)、kafaka配置:config/server.properties

修改zookeeper.connect=node1:2181,node2:2181

6、启动zookeeper及kafaka(node1和node2节点分别启动)

a)、先启动zookeeper

nohup bin/zookeeper-server-start.sh config/zookeeper.properties &

b)、启动kafka

nohup bin/kafka-server-start.sh config/server.properties &

c)、检查服务

jps

images

 

 

 

可以看到zookeeper和kafka已经启动

二、kafka管理工具kafaka-manager安装

kafka-manager是yahoo开源的一套管理kafka的工具

https://github.com/yahoo/kafka-manager

一、kafka-manager功能

  1. 管理多个kafka集群
  2. 便捷的检查kafka集群状态(topics,brokers,备份分布情况,分区分布情况)
  3. 选择你要运行的副本
  4. 基于当前分区状况进行
  5. 可以选择topic配置并创建topic(0.8.1.1和0.8.2的配置不同)
  6. 删除topic(只支持0.8.2以上的版本并且要在broker配置中设置delete.topic.enable=true)
  7. Topic list会指明哪些topic被删除(在0.8.2以上版本适用)
  8. 为已存在的topic增加分区
  9. 为已存在的topic更新配置
  10. 在多个topic上批量重分区
  11. 在多个topic上批量重分区(可选partition broker位置)

这里我们选择最新的release版本

images

二、开始编译安装

#解压安装包
tar -zxvf kafka-manager-1.3.3.18.tar.gz
#进入安装目录
cd kafka-manager-1.3.3.18
#开始编译源码
./sbt clean dist

安装过程中可能会下载一些jar包,时间上会比较久

三、解压编译包

编译成功后会在 target/universal 目录中会生产一个zip压缩包 kafka-manager-1.3.3.18.zip

a、解压这个压缩包

unzip kafka-manager-1.3.3.18.zip

b、修改配置文件conf/application.conf

kafka-manager.zkhosts="node1:2181,node2:2181"

c、启动kafka-manager(默认9000端口)

nohup kafka-manager-1.3.3.18]# nohup bin/kafka-manager &

也可以自定义端口号和配置文件

nohup bin/kafka-manager -Dconfig.file=/path/to/application.conf -Dhttp.port=8080 &

6、进入XX.XXX.XXX.XX:9000后配置cluster信息

images

开始享受kafaka-manager带来的强大管理功能吧

images

admin

发表评论

电子邮件地址不会被公开。 必填项已用*标注

Post comment