搜索结果
查询Tags标签： kafka，共有 918条记录-
浅谈数据同步之道
— THE END —◤半年文章精选系列◥ Flink从入门到放弃之源码解析系列 《Flink组件和逻辑计划》 《Flink执行计划生成》 《JobManager中的基本组件(1)》 《JobManager中的基本组件(2)》 《JobManager中的基本组件(3)》 《TaskManager》 《算子》 《网络》 《水印WaterMark…
2021/6/11 18:23:00 人评论 次浏览 -
浅谈数据同步之道
— THE END —◤半年文章精选系列◥ Flink从入门到放弃之源码解析系列 《Flink组件和逻辑计划》 《Flink执行计划生成》 《JobManager中的基本组件(1)》 《JobManager中的基本组件(2)》 《JobManager中的基本组件(3)》 《TaskManager》 《算子》 《网络》 《水印WaterMark…
2021/6/11 18:22:55 人评论 次浏览 -
你不知道的冷知识 | 指数退避思想及其在Flume/Hadoop中的应用
前言 前段时间爆改Codis的Java客户端Jodis，它的测试类中用到了指数退避算法。这是大学计算机网络课程会讲到的知识，本文权当复习，并且看看它的思想是如何应用在大数据组件中的。计算机网络中的指数退避 所谓指数退避（exponential backoff），是一种根据系统反馈来成倍…
2021/6/11 10:28:36 人评论 次浏览 -
你不知道的冷知识 | 指数退避思想及其在Flume/Hadoop中的应用
前言 前段时间爆改Codis的Java客户端Jodis，它的测试类中用到了指数退避算法。这是大学计算机网络课程会讲到的知识，本文权当复习，并且看看它的思想是如何应用在大数据组件中的。计算机网络中的指数退避 所谓指数退避（exponential backoff），是一种根据系统反馈来成倍…
2021/6/11 10:28:35 人评论 次浏览 -
Flume+Kafka+Storm实战：一、Kakfa与Storm整合
文章目录 0x00 文章内容 0x01 Kafka准备 1. 启动Kafka 2. 创建Topic 3. 启动消费者与消费者0x02 Storm准备 1. 构建Maven项目 2. 编写代码0x03 校验结果 1. 打包Storm代码 2. 执行ZK与Storm 3. 执行Storm作业 4. 校验过程0xFF 总结0x00 文章内容 Kafka准备 Storm准备 校验…
2021/6/11 10:28:21 人评论 次浏览 -
Flume+Kafka+Storm实战：二、Flume与Kafka整合
文章目录 0x00 文章内容 0x01 Flume准备 1. 编写Flume配置文件 0x02 Kafka准备 1. 创建topic（如已操作过可跳过） 0x03 校验结果 1. 启动Flume 2. 启动Kafka消费者 3. 测试结果0xFF 总结0x00 文章内容 Flume准备 Kafka准备 校验结果 PS：请自行准备好Flume、Kafka的环境…
2021/6/11 10:27:38 人评论 次浏览 -
Flume面试题
1、Flume使用场景 线上数据一般主要是落地（存储到磁盘）或者通过socket传输给另外一个系统，这种情况下，你很难推动线上应用或服务去修改接口，实现直接向kafka里写数据，这时候你可能就需要flume这样的系统帮你去做传输。2、Flume丢包问题 单机upd的flume source的配置…
2021/6/11 10:27:25 人评论 次浏览 -
Flume面试题
1、Flume使用场景 线上数据一般主要是落地（存储到磁盘）或者通过socket传输给另外一个系统，这种情况下，你很难推动线上应用或服务去修改接口，实现直接向kafka里写数据，这时候你可能就需要flume这样的系统帮你去做传输。2、Flume丢包问题 单机upd的flume source的配置…
2021/6/11 10:27:11 人评论 次浏览 -
2021-06-10
kafka安装&ip访问&权限认证 安装kafka前需要先安装zookeep zookeeper环境搭建在官网下载tar包 https://zookeeper.apache.org/releases.html#download 模拟集群 建立三个文件夹，将tar包解压到文件夹内 在每个conf目录下创建zoo.cfg文件， 在zookeeper-1的配置…
2021/6/10 18:32:21 人评论 次浏览 -
2021Java网络编程总结篇，写的太详细了
前言 在大数据、高并发的系统中，为了突破瓶颈，会将系统进行水平扩展和垂直拆分，形成独立的服务。每个独立的服务背后，可能是一个集群在对外提供服务。这就会碰到一个问题，整个系统是由多个服务(子系统)组成的，数据需要在各个服务中不停流转。如果数据在各个子系统中…
2021/6/10 14:23:09 人评论 次浏览 -
数据采集配置
目录 1.将生成的jar包拷贝到CentOS0 /opt/module 分发jar包 2.在CentOS0上执行jar程序 配置登录远程服务器立即source一下环境变量 4./bin目录下创建脚本lg.sh 5./bin目录下创建集群时间同步修改脚本dt.sh 6.集群所有进程查看脚本 7.在/opt/module/flume/conf目录下创建fi…
2021/6/10 10:36:07 人评论 次浏览 -
兄弟，干了这杯Flink SQL !!!
1.创业的感受 累，累，累，已经连续创业3天，2晚失眠睡不着，中午午休也睡不着，衣带渐宽终不悔，为伊消得人憔悴，哈哈....。但是觉得自己在成长和进步，连续不断的输出，让我不得已不断的学习，不断的输入。有时候会觉得，特别的孤独，特么的说好大家一起开源，一起创业…
2021/6/10 2:21:22 人评论 次浏览 -
新版本自带的Zookeeper搭建kafka集群
安装简要说明 新版本的kafka自带有zookeeper，其实自带的zookeeper完全够用，本篇文章以记录使用自带zookeeper搭建kafka集群。 1、关于kafka下载 kafka下载页面：http://kafka.apache.org/downloads 2、修改kafka配置文件 kafka安装目录下的config文件夹为其配置文件，我…
2021/6/9 10:55:09 人评论 次浏览 -
异构内存及其在机器学习系统的应用与优化
第四范式深耕于人工智能领域，在人工智能相关算法、应用、系统和底层架构设计等有兼具广度和深度的理解。 随着近几年先进存储技术的飞速发展，涌现出了具有颠覆性的存储技术，比如非易失性存储、SSD等。基于此类技术的异构内存架构，正在颠覆传统应用程序的设计和优化模式…
2021/6/9 7:22:06 人评论 次浏览 -
什么是消息队列
关于消息队列的使用 一、消息队列概述 消息队列中间件是分布式系统中重要的组件，主要解决应用解耦，异步消息，流量削锋等问题，实现高性能，高可用，可伸缩和最终一致性架构。目前使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ 二、消息队列…
2021/6/8 18:57:25 人评论 次浏览
