centos8 kafka集群安装

本文主要是介绍centos8 kafka集群安装，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

##kafka运行涉及zookeeper，kafka和zookeeper都运行在jvm之上。

###准备三台服务器，ip地址如下：
192.168.137.31
192.168.137.32
192.168.137.33

jdk安装

安装jdk8或者以上版本，详细步骤网上很多教程可以参考

zookeeper安装

1. 下载zookeeper

    wget https://dlcdn.apache.org/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gz
   

2. 解压zookeeper

    tar -zxvf apache-zookeeper-3.7.0-bin.tar.gz
   

3. 移动解压后文件夹至/opt 同时重命名文件夹名称为 zookeeper-3.7

   mv apache-zookeeper-3.7.0-bin /opt/zookeeper-3.7
   

4. 向/etc/profile文件追加环境变量，并使配置生效

   echo 'export ZOOKEEPER_HOME=/opt/zookeeper-3.7' >> /etc/profile
   echo 'export PATH=$PATH:$ZOOKEEPER_HOME/bin' >> /etc/profile
   source /etc/profile
   

5. 编辑配置文件 zoo.cfg

   cd /opt/zookeeper-3.7/conf/
   vim zoo.cfg 
   输入以下内容 
   
   # 服务器心跳时间，单位ms
   tickTime=2000
   # 允许follower连接并同步到leader的初始化连接时间，以tickTime倍数表示
   initLimit=10
   # leader与follwer心跳检测最大容忍时间
   # 超过 tickTime*syncLimit ，判断follower离线
   syncLimit=5
   # 数据目录
   dataDir=/data/zookeeper/data
   # 日志目录
   dateLogDir=/data/zookeeper/log
   # 对外服务端口
   clientPort=2181
   ## 集群配置
   server.1=192.168.137.31:2888:3888
   server.2=192.168.137.32:2888:3888
   server.3=192.168.137.33:2888:3888
   

6. 创建zookeeper数据目录

   mkdir -p /data/zookeeper/data
   mkdir -p /data/zookeeper/log
   

7. 创建myid文件,写入服务器编号

   服务器1执行  192.168.137.31 
   echo 1 > /data/zookeeper/data/myid
   服务器2执行  192.168.137.32
   echo 2 > /data/zookeeper/data/myid
   服务器3执行  192.168.137.33 
   echo 3 > /data/zookeeper/data/myid
   

8. 启动zookeeper

   cd /opt/zookeeper-3.7/bin/; ./zkServer.sh start
   

9. 查看服务器状态

   ./zkServer.sh status
   

kafka安装

1. 下载kafka

   wget https://dlcdn.apache.org/kafka/3.0.0/kafka_2.13-3.0.0.tgz
   

2. 解压kafka

    tar -zxvf kafka_2.13-3.0.0.tgz
   

3. 移动解压后文件夹至/opt 同时重命名文件夹名称为 zookeeper-3.7

   mv kafka_2.13-3.0.0 /opt/
   

4. 向/etc/profile文件追加环境变量，并使配置生效

   echo 'export KAFKA_HOME=/opt/kafka_2.13-3.0.0' >> /etc/profile
   echo 'export PATH=$PATH:$KAFKA_HOME/bin' >> /etc/profile
   source /etc/profile
   

5. 编辑配置文件

   cd /opt/kafka_2.13-3.0.0/config/
   vim server.properties 
   重点修改以下参数
   # broker编号，保证每台机器值不同。第一台机器0，第二台机器1，第三台机器2
   broker.id=0
   # broker对外提供服务的入口地址 注意改为本机ip
   listeners=PLAINTEXT://192.168.137.31:9092
   # 存放消息日志文件 不要使用默认值，会丢失数据
   log.dirs=/data/kafka-logs
   # zookeeper集群地址
   zookeeper.connect=192.168.137.31:2181,192.168.137.32:2181,192.168.137.33:2181
   

6. 创建kafka-logs数据目录

   mkdir -p /data/kafka-logs
   

7. 启动kafka，需要首先启动zookeeper集群

   cd /opt/kafka_2.13-3.0.0/bin/; ./kafka-server-start.sh -daemon ../config/server.properties
   

这篇关于centos8 kafka集群安装的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！