kafka集群部署
2021/9/16 23:06:29
本文主要是介绍kafka集群部署,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
kafka集群部署
1)解压安装包
tar -zxvf kafka_2.11-2.4.1.tgz -C /home/xyp9x/
2)在kafka目录下创建logs、kafka-logs文件夹
mkdir logs kafka-logs
3)修改配置文件
vi server.properties 将原内容全部清空,输入以下内容: #broker的全局唯一编号,不能重复 broker.id=0 #是否允许删除topic delete.topic.enable=true #处理网络请求的线程数量 num.network.threads=3 #用来处理磁盘IO的线程数量 num.io.threads=8 #发送套接字的缓冲区大小 socket.send.buffer.bytes=102400 #接收套接字的缓冲区大小 socket.receive.buffer.bytes=102400 #请求套接字的最大缓冲区大小 socket.request.max.bytes=104857600 #kafka数据存放的路径 log.dirs=/home/xyp9x/kafka_2.11-2.4.1/kafka-logs #topic在当前broker上的分区个数 num.partitions=1 #用来恢复和清理data下数据的线程数量 num.recovery.threads.per.data.dir=1 #segment文件保留的最长时间,超时将被删除 log.retention.hours=168 #配置连接Zookeeper集群地址 zookeeper.connect=bigdata111:2181,bigdata112:2181,bigdata113:2181 #kafka连接zookeeper超时时间90s zookeeper.connection.timeout.ms=90000
4)配置环境变量
vi /etc/profile export KAFKA_HOME=/home/xyp9x/kafka_2.11-2.4.1 export PATH=$PATH:$KAFKA_HOME/bin
6)分发
scp -r /etc/profile root@bigdata112:/etc/ scp -r /etc/profile root@bigdata113:/etc/ scp -r kafka_2.11-2.4.1 xyp9x@bigdata112:`pwd` scp -r kafka_2.11-2.4.1 xyp9x@bigdata113:`pwd`
7)分别在112和113上修改配置文件
vi server.properties broker.id=1 vi server.properties broker.id=2
8)更新111、112、113的环境变量
source /etc/profile
8)启动集群
依次在111、112、113节点上启动kafka
bin/kafka-server-start.sh -daemon config/server.properties
9)关闭集群
bin/kafka-server-stop.sh
这篇关于kafka集群部署的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-12-21MQ-2烟雾传感器详解
- 2024-12-09Kafka消息丢失资料:新手入门指南
- 2024-12-07Kafka消息队列入门:轻松掌握Kafka消息队列
- 2024-12-07Kafka消息队列入门:轻松掌握消息队列基础知识
- 2024-12-07Kafka重复消费入门:轻松掌握Kafka消费的注意事项与实践
- 2024-12-07Kafka重复消费入门教程
- 2024-12-07RabbitMQ入门详解:新手必看的简单教程
- 2024-12-07RabbitMQ入门:新手必读教程
- 2024-12-06Kafka解耦学习入门教程
- 2024-12-06Kafka入门教程:快速上手指南