windows系统搭建kafka+flume环境
2022/3/20 7:28:46
本文主要是介绍windows系统搭建kafka+flume环境,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
1.配置环境变量
新建ZOOKEEPER_HOME=G:\bigdatatool\zookeeper-3.4.14
path添加%ZOOKEEPER_HOME%\bin;
2.在zookeeper的conf目录下将zoo_sample.cfg文件重命名为zoo.cfg
3.双击在zookeeper的bin目录下执行zkServer.cmd
4.打开cmd 进入kafka目录,执行以下命令启动kafka
修改server.properties文件里的用#注解“log.dirs=/tmp/kafka-logs”
.\bin\windows\kafka-server-start.bat .\config\server.properties
5.打开新的cmd命令窗口,在kafka的bin\windows目录下创建topic执行
kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic topic1
6.打开新的cmd命令窗口,在apache-flume-1.8.0-bin\bin目录下执行
flume-ng agent --conf ../conf --conf-file ../conf/example.conf --name a1 -property flume.root.logger=INFO,console
7.打开新的cmd命令窗口,输入
telnet localhost 44444
8.在kafka的bin\windows目录下打开新的cmd,执行命令
kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic topic1 --from-beginning
9.测试在kafka消费者能看到从flume输入的信息
这篇关于windows系统搭建kafka+flume环境的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-05-29AutoMQ 产品动态 | 企业版正式上线阿里云、AWS 中国区云市场
- 2024-05-29盘点 AutoMQ 深度使用的阿里云云原生技术
- 2024-05-29盘点 AutoMQ 深度使用的阿里云云原生技术
- 2024-05-29AutoMQ 社区双周精选第十期
- 2024-05-08「布道师系列文章」解析 AutoMQ 对象存储中的文件存储格式
- 2024-05-08「布道师系列文章」小红书黄章衡:AutoMQ Serverless 基石-秒级分区迁移
- 2024-05-08AutoMQ 系统测试体系揭秘
- 2024-03-14AutoMQ 携手阿里云共同发布新一代云原生 Kafka,帮助得物有效压缩 85% Kafka 云支出!
- 2024-02-22kafka partitioner
- 2024-01-24AutoMQ生态集成 - 将数据从 AutoMQ Kafka 导入 RisingWave 数据库