linux系统下,自己搭建kafka环境(单机)

2022/7/23 5:23:02

本文主要是介绍linux系统下,自己搭建kafka环境(单机),对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

安装前准备:

  • 安装JDK
  • 安装zookeeper(如果使用kafka内置的zookeeper,可以忽略)

第一步、安装JDK

kafka依赖JAVA环境,所以首先要安装jdk

第二步、安装zookeeper

1)下载
官网地址:https://zookeeper.apache.org/releases.html
下载地址:http://archive.apache.org/dist/zookeeper/zookeeper-3.7.0/
选择编译的二进制文件进行下载。

2)上传tar包到指定目录下,例如/usr/local下

cd /usr/local
tar -zxvf apache-zookeeper-3.7.0-bin.tar.gz

3)配置系统环境变量

vi /etc/profile

增加如下配置:

export ZOOKEEPER_HOME=/usr/local/apache-zookeeper-3.7.0-bin
export PATH=$PATH:$ZOOKEEPER_HOME/bin

4)修改zookeeper配置文件

cd apache-zookeeper-3.7.0-bin/conf/
vi zoo_sample.cfg

修改如下配置:

# 如果目录不存在,则手动创建
dataDir=/tmp/zookeeper/data
dataLogDir=/tmp/zookeeper/logs
clientPort=2181
# 新增配置
server.1=121.43.225.17:2888:3888

5)并将zoo_sample.cfg文件名,改为zoo.cfg
6)在data目录,创建myid文件

mkdir -p /tmp/zookeeper/data
mkdir -p /tmp/zookeeper/logs
cd /tmp/zookeeper/data
vi myid

创建myid文件,并在文件中写入一个数值,该数值表示的是服务器的编号,例如0、1、2。
对应server.1=121.43.225.17:2888:3888中的1
7)启动zookeeper

cd /usr/local/apache-zookeeper-3.7.0-bin/bin/
./zkServer.sh start


8)查看启动状态,已ok

./zkServer.sh status

第二步、下载kafka版本

1)官网下载
http://kafka.apache.org/downloads
选择Binary downloads,选择版本进行下载。
image
2)wget下载
wget https://mirrors.cnnic.cn/apache/kafka/3.0.0/kafka_2.13-3.0.0.tgz

第三步、解压下载的压缩包

cd /usr/local
wget https://mirrors.cnnic.cn/apache/kafka/3.0.0/kafka_2.13-3.0.0.tgz
tar -zxvf kafka_2.13-3.0.0.tgz

第四步、新建log目录

在 /tmp(建在非系统盘目录下,避免日志占用系统盘资源,影响性能), 新建一个文件夹 kafka-logs。

第五步、修改kafka的配置文件

# 首先进入config目录
cd /usr/local/kafka_2.13-3.0.0/config
vi server.properties

修改配置如下:

broker.id=0
# kafka日志目录
log.dirs=/tmp/kafka-logs
# kafka所需的ZooKeeper集群地址
zookeeper.connect=localhost:2181

如果是集群模式,确保每个broker的id参数值不同,以及listeners配置参数也需要修改为与broker对应的IP地址或域名。

第六步、启动

# 首先进入bin目录
cd /usr/local/kafka_2.13-3.0.0/bin
./kafka-server-start.sh ../config/server.properties
# 后台启动
./kafka-server-start.sh -daemon ../config/server.properties
或
./kafka-server-start.sh ../config/server.properties &

成功启动后,你就可以使用kafka环境了。



这篇关于linux系统下,自己搭建kafka环境(单机)的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!


扫一扫关注最新编程教程