7.4.4、Flume__flume的使用,监听端口,source使用netcat,http

2021/10/25 6:14:21

本文主要是介绍7.4.4、Flume__flume的使用,监听端口,source使用netcat,http,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

1、sources选择exec,sinks选择hbase

都是一样,找文档查参数

2、监听telnet端口

配置文件:source选择netcat(端口,tcp协议),sink选择logger(直接打印)

#定义一个agent名字为a1
#定义三个组件sources,channels,sinks
a1.sources = r1
a1.channels = c1
a1.sinks = k1
#配置sources
a1.sources.r1.type = netcat
a1.sources.r1.bind = 0.0.0.0
a1.sources.r1.port = 8888
#配置channels
a1.channels.c1.type = memory
#配置sinks
a1.sinks.k1.type = logger
#组装
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

安装telnet yum install telnet 执行flume flume-ng agent -n a1 -f
./agent/netcatToLogger.conf -Dflume.r oot.logger=DUBUG,console
启动telnet—类似于客户端,传输数据 telnet master 8888

3、http协议

配置文件:source选择http(http协议),channel选择memory(内存),sink选择logger(控制台)

#定义一个agent名字为a1
#定义三个组件sources,channels,sinks
a1.sources = r1
a1.channels = c1
a1.sinks = k1
#配置sources
a1.sources.r1.type = http
a1.sources.r1.port = 8888
#配置channels
a1.channels.c1.type = memory
#配置sinks
a1.sinks.k1.type = logger
#组装
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

先启动agent
再使用curl发起一个http请求

curl -X POST -d ‘[ { “headers” :{“a” : “a1”,“b” : “b1”},“body” :
“hellohttpflume~”}, { “headers” :{“a2” : “a12”,“b2” : “b12”},“body”
: “hellohttpflume~”} ]’ http://master:8888



这篇关于7.4.4、Flume__flume的使用,监听端口,source使用netcat,http的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!


扫一扫关注最新编程教程