linux下部署kafka集群
2022/9/15 5:17:18
本文主要是介绍linux下部署kafka集群,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
一、环境
系统:CentOS Linux release 7.9.2009 (Core)
zookeeper:3.6
kafka:kafka_2.13-2.8.0
二、部署
zookeeper部署详见:https://www.cnblogs.com/sxFu/p/16017975.html
下载kafka:http://kafka.apache.org/downloads
节点:
192.168.48.133 | 192.168.48.159 | 192.168.49.67 |
把下载的 kafka_2.13-2.8.0.tgz 包上传至 192.168.48.133 节点 /opt/app
解压:tar -xf kafka_2.13-2.8.0.tgz
改名:mv kafka_2.13-2.8.0 kafka
修改配置文件:
# broker.id唯一,分别设置为0、1、2 broker.id=0 # listeners:定义外部连接着通过指定主机名和端口号访问开发的kafka服务(替换host.name和port参数) listeners=PLAINTEXT://192.168.48.133:9092 # log.dirs:kafka日志存放目录 log.dirs=/opt/app/kafka/logs # zookeeper.connect:配置zookeeper集群地址 zookeeper.connect=192.168.48.133:2181,192.168.48.159:2181,192.168.49.67:2181
修改后分发至另外两个节点并修改broker.id与listeners
scp -r kafka/ 192.168.48.159:/opt/app/ broker.id=1 listeners=PLAINTEXT://192.168.48.159:9092 scp -r kafka/ 192.168.49.67:/opt/app/ broker.id=2 listeners=PLAINTEXT://192.168.49.67:9092
配置环境变量:
# 三台节点都要配置 vi ~/.bash_profile export KAFKA_HOME=/opt/app/kafka export PATH=$KAFKA_HOME/bin:$PATH # 使其生效 source ~/.bash_profile
启动kafka集群,启动前确保zookeeper集群启动正常:
kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties &
启动后查看端口以及进程
三、验证集群是否正常
随便找台节点进入kafka安装程序的bin文件夹中,创建主题
./kafka-topics.sh --create --zookeeper 192.168.48.133:2181,192.168.48.159:2181,192.168.49.67:2181 --topic test --partitions 3 --replication-factor 1
查看创建的topic
./kafka-topics.sh --zookeeper 192.168.48.133:2181,192.168.48.159:2181,192.168.49.67:2181 --list
找台节点测试生产者
./kafka-console-producer.sh --broker-list 192.168.48.133:9092,192.168.48.159:9092,192.168.49.67:9092 --topic test
找台节点测试消费者
写文章之前验证过,所以多了两条消息记录,在验证另外一台节点
自此可证明搭建的kafka集群可正常使用。
这篇关于linux下部署kafka集群的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-12-18git仓库有更新,jenkins 自动触发拉代码怎么配置的?-icode9专业技术文章分享
- 2024-12-18Jenkins webhook 方式怎么配置指定的分支?-icode9专业技术文章分享
- 2024-12-13Linux C++项目实战入门教程
- 2024-12-13Linux C++编程项目实战入门教程
- 2024-12-11Linux部署Scrapy教程:新手入门指南
- 2024-12-11怎么将在本地创建的 Maven 仓库迁移到 Linux 服务器上?-icode9专业技术文章分享
- 2024-12-10Linux常用命令
- 2024-12-06谁看谁服! Linux 创始人对于进程和线程的理解是…
- 2024-12-04操作系统教程:新手入门及初级技巧详解
- 2024-12-04操作系统入门:新手必学指南