7.4.4、Flume__flume的使用,监听端口,source使用netcat,http
2021/10/25 6:14:21
本文主要是介绍7.4.4、Flume__flume的使用,监听端口,source使用netcat,http,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
1、sources选择exec,sinks选择hbase
都是一样,找文档查参数
2、监听telnet端口
配置文件:source选择netcat(端口,tcp协议),sink选择logger(直接打印)
#定义一个agent名字为a1 #定义三个组件sources,channels,sinks a1.sources = r1 a1.channels = c1 a1.sinks = k1 #配置sources a1.sources.r1.type = netcat a1.sources.r1.bind = 0.0.0.0 a1.sources.r1.port = 8888 #配置channels a1.channels.c1.type = memory #配置sinks a1.sinks.k1.type = logger #组装 a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1
安装telnet yum install telnet 执行flume flume-ng agent -n a1 -f
./agent/netcatToLogger.conf -Dflume.r oot.logger=DUBUG,console
启动telnet—类似于客户端,传输数据 telnet master 8888
3、http协议
配置文件:source选择http(http协议),channel选择memory(内存),sink选择logger(控制台)
#定义一个agent名字为a1 #定义三个组件sources,channels,sinks a1.sources = r1 a1.channels = c1 a1.sinks = k1 #配置sources a1.sources.r1.type = http a1.sources.r1.port = 8888 #配置channels a1.channels.c1.type = memory #配置sinks a1.sinks.k1.type = logger #组装 a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1
先启动agent
再使用curl发起一个http请求
curl -X POST -d ‘[ { “headers” :{“a” : “a1”,“b” : “b1”},“body” :
“hellohttpflume~”}, { “headers” :{“a2” : “a12”,“b2” : “b12”},“body”
: “hellohttpflume~”} ]’ http://master:8888
这篇关于7.4.4、Flume__flume的使用,监听端口,source使用netcat,http的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-06-17zero-shot-learning-definition-examples-comparison
- 2024-06-06Package Easy(基于 NSIS 的打包exe安装包工具)使用方法-icode9专业技术文章分享
- 2024-06-06基于 casdoor 的 ELK 开源登录认证解决方案: elk-auth-casdoor-icode9专业技术文章分享
- 2024-05-29Elasticsearch慢查询日志配置
- 2024-05-29揭秘华为如此多成功项目的产品关键——Charter模板
- 2024-05-29海外IDC业务拓展的7大挑战
- 2024-05-29InLine Chat功能优化对标Github Copilot,CodeGeeX带来更高效、更直观的编程体验!
- 2024-05-29CodeGeeX 智能编程助手 6 项功能升级,在Visual Studio插件市场霸榜2周!
- 2024-05-29AutoMQ 生态集成 Apache Doris
- 2024-05-292024年IDC行业的深度挖掘:机遇、挑战与未来展望