搜索结果
查询Tags标签： Flume，共有 59条记录-
数据源:flume采集到的端口
推送式将flume采集的数据主动推送给Spark程序，容易导致Spark程序接受数据出问题，推送式整合是基于avro端口下沉地方式完成 引入SparkStreaming和Flume整合的依赖<dependency><groupId>org.apache.spark</groupId><artifactId>spark-streaming_2…
2022/8/31 23:22:49 人评论 次浏览 -
flume-day02 flume安装
Flume的安装(解压即安装) 1、上传至虚拟机，并解压 tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /usr/local/soft/在环境变量中增加如下命令，可以使用 soft 快速切换到 /usr/local/soft alias soft=cd /usr/local/soft/2、重命名目录，并配置环境变量 mv apache-flume-1…
2022/7/10 23:54:36 人评论 次浏览 -
flume-day01 flume基本介绍
Flume架构 1.1 Hadoop业务开发流程1.2 Flume概述flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 支持在日志系统中定制各类数据发送方，用于收集数据; 同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。…
2022/7/10 23:53:23 人评论 次浏览 -
flume连接加密MongoDB
现网部署需要MongoDB添加密码验证，一开始以为无法做到。 看了flume-mongodb-sink插件源码， 看到是有权限验证和用户名密码的。 几经波折找到相关配置在flume/conf下面找到conf文件加上如下配置，重启flume即可连上加密后的flumelog.sinks.sink1.authenticationEnabled =…
2022/6/22 2:21:16 人评论 次浏览 -
4.3：flume+Kafka日志采集实验
〇、目标 使用kafka和flume组合进行日志采集 拓扑结构 一、重启SSH和zk服务 打开终端，首先输入：sudo service ssh restart 重启ssh服务。之后输入下述命令开启zookeeper服务： zkServer.sh start二、启动flume 输入cd /home/user/bigdata/apache-flume-1.9.0-bin 进入f…
2022/6/16 23:22:04 人评论 次浏览 -
flume 读目录下文件 ,同步到kafka
启动和配置flumeAgent 是一个 JVM 进程，它以事件（Event）的形式将数据从源头（Source）通过渠道（Channel）送至目标端（Sink）。 Agent 主要有 3 个部分组成，Source、Channel、Sink。# 目录->kafka a1.sources = s1 a1.sinks = k1 a1.channels = c1a1.sources.s1.c…
2022/6/12 23:51:39 人评论 次浏览 -
Flume
Flume Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。他有一个简单、灵活的基于流的数据…
2022/6/7 23:23:04 人评论 次浏览 -
Flume自定义拦截器
需求：一个topic包含很多个表信息，需要自动根据json字符串中的字段来写入到hive不同的表对应的路径中。 发送到Kafka中的数据原本最外层原本没有pkDay和project，只有data和name。因为担心data里面会空值，所以根同事商量，让他们在最外层添加了project和pkDay字段。 pkD…
2022/5/2 23:45:44 人评论 次浏览 -
2022.4.12学习成果
Flume组件部署1）解压flume安装包到“/usr/local/src”路径，并修改解压后文件夹名为flume mater机器： [root@master ~]# tar -zxvf /opt/software/apache-flume-1.6.0-bin.tar.gz -C /usr/local/src/ [root@master ~]# mv /usr/local/src/apache-flume-1.6.0-bin /usr/l…
2022/4/13 6:23:27 人评论 次浏览 -
windows系统搭建kafka+flume环境
1.配置环境变量 新建ZOOKEEPER_HOME=G:\bigdatatool\zookeeper-3.4.14 path添加%ZOOKEEPER_HOME%\bin; 2.在zookeeper的conf目录下将zoo_sample.cfg文件重命名为zoo.cfg 3.双击在zookeeper的bin目录下执行zkServer.cmd 4.打开cmd 进入kafka目录，执行以下命令启动kafka 修…
2022/3/20 7:28:46 人评论 次浏览 -
Flume入门
一、Flume概述 1.1 定义 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 Flume在实际开发中主要的作用就是，实时的读取服务器本地磁盘的数据，将数据写入到HDFS中。 1.2 Flume架构 Agent是一个JV…
2022/3/3 6:15:08 人评论 次浏览 -
1.大数据概述
1.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系，以图呈现并加以文字描述。（1）HDFS分布式文件系统HDFS可以兼容廉价的硬件设备，利用较低成本的及其实现大流量和大数据量的读写。 （2）MapReduceMapReduce是分布式并行编程模型，用户大规模数据集的并…
2022/2/28 23:56:00 人评论 次浏览 -
1.大数据概述
1.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系，以图呈现并加以文字描述。（1）HDFS分布式文件系统HDFS可以兼容廉价的硬件设备，利用较低成本的及其实现大流量和大数据量的读写。 （2）MapReduceMapReduce是分布式并行编程模型，用户大规模数据集的并…
2022/2/28 23:55:10 人评论 次浏览 -
使用Flume http进行数据采集
1. 编写Flume http配置文件 [root@sam01 scripts]# vim collect-app-http.conf# filename: collect-app-http.conf # 定义一个名字为 b1001 的agent # 定义channel b1001.channels = ch-1 # 定义source b1001.sources = src-1 # 定义sink b1001.sinks = k1# sink 接到 cha…
2022/2/25 23:24:28 人评论 次浏览 -
Flume的四个入门案例（官方）
文章目录 Flume入门案例一：监控端口数据1）案例需求2）需求分析3）实现步骤 Flume入门案例二：实时监控单个追加文件1）案例需求：2）需求分析3）实现步骤 Flume入门案例三：实时监控目录下多个新文件1）案例需求2）需求分析3）实现步骤 Flume入门案例四：实时监控目录下…
2022/1/25 6:05:46 人评论 次浏览
