4.3:flume+Kafka日志采集实验
2022/6/16 23:22:04
本文主要是介绍4.3:flume+Kafka日志采集实验,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
〇、目标
使用kafka和flume组合进行日志采集
拓扑结构
一、重启SSH和zk服务
打开终端,首先输入:sudo service ssh restart
重启ssh服务。之后输入下述命令开启zookeeper服务:
zkServer.sh start
二、启动flume
输入cd /home/user/bigdata/apache-flume-1.9.0-bin
进入flume目录后输入
bin/flume-ng agent --conf conf --conf-file conf/flume-conf.properties --name agent1
启动flume
三、启动kafka
打开一个终端,先配置hosts再进入到kafka目录,输入:
echo "127.0.0.1 "$HOSTNAME | sudo tee -a /etc/hosts
进入kafka目录,输入
cd /home/user/bigdata/kafka_2.11-1.0.0 nohup bin/kafka-server-start.sh config/server.properties >~/bigdata/kafka_2.11-1.0.0/logs/server.log 2>&1 &
后台启动kafka。输入jps查看进程:jps
输入:bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic topic1
创建topic
输入bin/kafka-topics.sh --list --zookeeper localhost:2181
查看已经创建好的topic
输入bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic1
打开kafka的comsumer消费发来的信息。
再打开第三个终端,输入:telnet localhost 44445
之后进行任意输入,会发现kafka的终端中出现了你输入的话。
这篇关于4.3:flume+Kafka日志采集实验的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-05-08「布道师系列文章」解析 AutoMQ 对象存储中的文件存储格式
- 2024-05-08「布道师系列文章」小红书黄章衡:AutoMQ Serverless 基石-秒级分区迁移
- 2024-05-08AutoMQ 系统测试体系揭秘
- 2024-03-14AutoMQ 携手阿里云共同发布新一代云原生 Kafka,帮助得物有效压缩 85% Kafka 云支出!
- 2024-02-22kafka partitioner
- 2024-01-24AutoMQ生态集成 - 将数据从 AutoMQ Kafka 导入 RisingWave 数据库
- 2024-01-13消息队列面试题:为什么要使用消息队列?
- 2024-01-08"基于 XHAMQ 的消息队列系统实现"
- 2023-11-24全网最全图解Kafka适用场景
- 2023-09-19RabbitMQ 消息应答