搜索结果
查询Tags标签: kafka,共有 918条记录-
深入理解Kafka核心设计及原理(二):生产者
转载请注明出处: 2.1Kafka生产者客户端架构2.2 Kafka 进行消息生产发送代码示例及ProducerRecord对象kafka进行消息生产发送代码示例:public class KafkaProducerAnalysis {public static final String brokerList = "localhost:9092";public static final St…
2022/4/7 6:25:29 人评论 次浏览 -
spark streaming整合kafka中聚合类运算如何和kafka保持exactly once一致性语义(redis方式,利用pipeline)
/*** 从Kafka读取数据,实现ExactlyOnce,偏移量保存到Redis中* 1.将聚合好的数据,收集到Driver端,* 2.然后将计算好的数据和偏移量在一个pipeline中同时保存到Redis中* 3.成功了提交事物* 4.失败了废弃原来的数据并让这个任务重启*/ object ExactlyOnceWordCountOffset…
2022/4/6 2:19:25 人评论 次浏览 -
spark streaming整合kafka中聚合类运算如何和kafka保持exactly once一致性语义(mysql方式,利用事务)
/*** 从Kafka读取数据,实现ExactlyOnce,偏移量保存到MySQL中* 1.将聚合好的数据,收集到Driver端,* 2.然后建计算好的数据和偏移量在一个事物中同时保存到MySQL中* 3.成功了提交事物* 4.失败了让这个任务重启** MySQL数据库中有两张表:保存计算好的结果、保存偏移量*/…
2022/4/6 2:19:24 人评论 次浏览 -
python之Kafka
1.安装kafka环境# 看这个地址 https://blog.csdn.net/github_38482082/article/details/82112641 # 你还需要装Java环境 # 测试启动如果启动成功,那么证明kafka启动成功 .\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties #启动kafka .\bin\wind…
2022/3/31 20:49:29 人评论 次浏览 -
十六、kafka消费者之SyncGroup(一)
这部分主要来说明消费者对协议的处理。 各个消费者都可设置partition.assignment.strategy(分区分配策略),服务端是如何处理的呢? 这块的代码要追溯到joinGroup请求结束,通过前面的源码分析我们知道joinGroup主要是判断是否发起rebalance以及等待其他组成员加入组,而在…
2022/3/20 23:59:43 人评论 次浏览 -
windows系统搭建kafka+flume环境
1.配置环境变量 新建ZOOKEEPER_HOME=G:\bigdatatool\zookeeper-3.4.14 path添加%ZOOKEEPER_HOME%\bin; 2.在zookeeper的conf目录下将zoo_sample.cfg文件重命名为zoo.cfg 3.双击在zookeeper的bin目录下执行zkServer.cmd 4.打开cmd 进入kafka目录,执行以下命令启动kafka 修…
2022/3/20 7:28:46 人评论 次浏览 -
kafka
同步方式存在的问题
2022/3/18 23:32:43 人评论 次浏览 -
Kafka v2.3 快速入门与实践
消息队列应用场景:应用解耦、异步消息、流量削峰等问题,实现高性能、高可用、可伸缩和最终一致性架构。 Kafka是由LinkedIn开发的一个分布式的消息系统,可独立部署在单台服务器上,也可部署在多台服务器上构成集群。它提供了发布与订阅功能。用户可以发送数据到Kafka集…
2022/3/18 23:29:35 人评论 次浏览 -
kafka常用脚本
原文地址: kafka常用脚本 欢迎访问: 我的博客 引言 本文是转载的, 但是原文 在Kafka安装目录下 ($KAFKA_HOME/bin), 提供了很多内置的脚本供我们使用, 使用脚本可以测试 Kafka 的大多数功能, 下面我们就脚本的使用作出说明. 启动 broker bin/kafka-server-start.sh 脚本提…
2022/3/9 23:14:46 人评论 次浏览 -
Windows 11下配置Kafka
前言:在Windows 11下配置kafka,请确保已经配置好了jdk和zookeeper,本文使用的是jdk 11.0.11 + zookeeper 3.7.0,配置jdk的方法请参考其他资料,这里不再赘述一、配置zookeeper 下载地址 https://dlcdn.apache.org/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-b…
2022/3/5 7:16:33 人评论 次浏览 -
练习: Flink Sink 将数据 保存 到 HDFS MySQL
1 import lombok.AllArgsConstructor;2 import lombok.Data;3 import lombok.NoArgsConstructor;4 5 @Data6 @NoArgsConstructor7 @AllArgsConstructor8 public class Sensor {9 private String sensor_id; 10 private Long sensor_timeStamp; 11 private Dou…
2022/3/5 2:15:18 人评论 次浏览 -
如何对消息队列进行选型
【写在前面】 消息队列中间件(简称消息中间件)是指利用高效可靠的消息传递机制进行与平台无关的数据交流,并基于数据通信来进行分布式系统的集成。 它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能,是异步RPC的主要手段之一。 作为分布式系统架构…
2022/3/3 6:15:18 人评论 次浏览 -
Kafka宝典
Kafka 笔记内容取自尚硅谷Kafka3.0教程,以及《深入理解Kafka核心设计与实践原理》 内容还会不断充实~ 概述 定义 传统定义: Kafka是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大数据实时处理领域 最新定义: Kafka是一个开源的分布式事件流…
2022/2/28 6:25:51 人评论 次浏览 -
EFAK - Kafka可视化管理工具
前言 什么是EFAK EFAK(Eagle For Apache Kafka,以前称为 Kafka Eagle)EFAK是开源可视化和管理软件。可以查询、可视化、监控kafka集群,是将 kafka 的集群数据转换为图形可视化的工具。 为什么要用EFAKApache Kafka 没有正式提供监控系统或页面。 开源Kafka监控系统功…
2022/2/28 6:25:25 人评论 次浏览 -
Kafka 入门
一、Kafka概述 Kafka是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大数据实时处理领域。 Kafka专为分布式高吞吐量系统而设计。 最新定义:Kafka是一个开源的分布式事件流平台(EventStreamingPlatform),被数千家公司用于高性能数据管道、流…
2022/2/28 6:22:34 人评论 次浏览