【Kafka】安装测试

2021/10/25 23:40:50

本文主要是介绍【Kafka】安装测试,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

知识点

Kafka基本架构的介绍:

  1. Broker
    Kafka集群包含一个或多个服务器,这种服务器被称为broker
  2. Topic
    每条发布到Kafka集群的消息都有一个类别,这个类别被称为Topic。(物理上不同Topic的消息分开存储,逻辑上一个Topic的消息虽然保存于一个或多个broker上,但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处)
  3. Partition
    Partition是物理上的概念,每个Topic包含一个或多个Partition.
  4. Producer
    负责发布消息到Kafka broker
  5. Consumer
    消息消费者,向Kafka broker读取消息的客户端。
  6. Consumer Group
    每个Consumer属于一个特定的Consumer Group(可为每个Consumer指定group name,若不指定group name则属于默认的group)

1.Java环境

详情见:【Deepin-15.11】系统配置【Datax】

2.Kafka安装

Kafka官网下载界面
本次实验Kafka版本为:kafka_2.11-2.0.0
安装包内已经附带zookeeper,不需要额外安装zookeeper

3.Zookeeper启动

Kafka根目录下运行:
bin/zookeeper-server-start.sh  config/zookeeper.properties

在这里插入图片描述
出现:

INFO binding to port 0.0.0.0/0.0.0.0:2181 (org.apache.zookeeper.server.NIOServerCnxnFactory)

表示ZooKeeper已经成功地在端口2181上启动了。

4.Kafka服务器启动

(Zookeeper启动状态下)

Kafaka根目录下运行:
bin/kafka-server-start.sh config/server.properties

在这里插入图片描述
控制台输出:

INFO [KafkaServer id=0] started (kafka.server.KafkaServer)

表示Kafka服务器启动成功,默认端口是9092.

5.创建Topic、查看Topic状态

创建一个topic用于消息的发送与接收。

bin/kafka-topics.sh  --create  --zookeeper  localhost:2181  --topic test  --partitions 1  --replication-factor 1

该topic名字是test,分区partition数量为1,副本replication数量为1。
在这里插入图片描述

bin/kafka-topics.sh  --describe  --zookeeper  localhost:2181  --topic test

6.Producer、Consumer视角

1.Producer

kafka默认提供了脚本工具,可以不断地接受标准输入,并将它们发送到kafka的某个topic上的分区上。
启动以下命令后,输入一行文本数据,脚本将该文本封装成一条kafka消息发送给指定的topic。

Kafaka根目录下运行:
bin/kafka-console-producer.sh  --broker-list  localhost:9092  --topic  test

每当按下回车键后该行文本即会被发送
在这里插入图片描述

2.Consumer

执行以下命令运行
在这里插入图片描述



这篇关于【Kafka】安装测试的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!


扫一扫关注最新编程教程