搜索结果
查询Tags标签： kafka，共有 918条记录-
聊聊 Kafka： Producer 的网络模型
一、Producer 的网络模型 我们前面几篇有说 Producer 发送流程的源码分析，但那个是大的轮廓，涉及到发送很多相关的内容，比如： 获取 topic 的 metadata 信息key 和 value 的序列化获取该 record 要发送到的 partition向 RecordAccmulator 中追加 record 数据唤醒 sende…
2021/11/8 23:42:48 人评论 次浏览 -
聊聊 Kafka： Producer 的网络模型
一、Producer 的网络模型 我们前面几篇有说 Producer 发送流程的源码分析，但那个是大的轮廓，涉及到发送很多相关的内容，比如： 获取 topic 的 metadata 信息key 和 value 的序列化获取该 record 要发送到的 partition向 RecordAccmulator 中追加 record 数据唤醒 sende…
2021/11/8 23:42:48 人评论 次浏览 -
kafka 难点
参考文章 [[Kafka常见面试题](https://blog.csdn.net/qq_28900249/article/details/90346599) [参考文章](https://www.cnblogs.com/juniorMa/articles/13936154.html)重要考点 kafka 为什么那么快 Cache Filesystem Cache PageCache缓存 顺序写 由于现代的操作系统提供了…
2021/11/5 6:13:55 人评论 次浏览 -
kafka 难点
参考文章 [[Kafka常见面试题](https://blog.csdn.net/qq_28900249/article/details/90346599) [参考文章](https://www.cnblogs.com/juniorMa/articles/13936154.html)重要考点 kafka 为什么那么快 Cache Filesystem Cache PageCache缓存 顺序写 由于现代的操作系统提供了…
2021/11/5 6:13:55 人评论 次浏览 -
2.Kafka的工作原理及数据丢失、数据重复问题
一、概述一个分布式消息中间件，基于zookeeper的分布式日志系统。简单来讲，就是一个存储系统，起一个缓冲作用。所谓的消息系统，就是将数据从一个地方传递到另一个地方。消息传递模式有两种：点对点传递模式，发 布-订阅模式。Kafka是一种发布-订阅模式。二、特点1.解耦…
2021/11/4 23:11:14 人评论 次浏览 -
2.Kafka的工作原理及数据丢失、数据重复问题
一、概述一个分布式消息中间件，基于zookeeper的分布式日志系统。简单来讲，就是一个存储系统，起一个缓冲作用。所谓的消息系统，就是将数据从一个地方传递到另一个地方。消息传递模式有两种：点对点传递模式，发 布-订阅模式。Kafka是一种发布-订阅模式。二、特点1.解耦…
2021/11/4 23:11:14 人评论 次浏览 -
1.Kafka的搭建以及常用命令
这里我使用的是Kafka 2.11-2.0.0.首先确保已经安装好zookeeper （kafka只负责数据的传输，而每次传输数据的位置会有一个游标来记录，下次传输数据直接找到游标的位置。而负责记录这个游标位置的是：zookeeper） 1.搭建 上传并解压压缩包 ，进入到config目录下，vim zo…
2021/11/3 23:15:58 人评论 次浏览 -
1.Kafka的搭建以及常用命令
这里我使用的是Kafka 2.11-2.0.0.首先确保已经安装好zookeeper （kafka只负责数据的传输，而每次传输数据的位置会有一个游标来记录，下次传输数据直接找到游标的位置。而负责记录这个游标位置的是：zookeeper） 1.搭建 上传并解压压缩包 ，进入到config目录下，vim zo…
2021/11/3 23:15:58 人评论 次浏览 -
二, Kafka架构深入
二, Kafka架构深入 2.1 Kafka 工作流程(待完善) [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bAk1dhqF-1635778465190)(2021-10-25-14-00-42.png)] Kafka 中消息是以topic进行分类的, 生产者生产消息, 消费者消费消息, 都是面向topic的.topic…
2021/11/1 23:09:37 人评论 次浏览 -
二, Kafka架构深入
二, Kafka架构深入 2.1 Kafka 工作流程(待完善) [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bAk1dhqF-1635778465190)(2021-10-25-14-00-42.png)] Kafka 中消息是以topic进行分类的, 生产者生产消息, 消费者消费消息, 都是面向topic的.topic…
2021/11/1 23:09:37 人评论 次浏览 -
Kafka 笔记
一、什么是kafka？Kafka最初由Linkedin 公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper 协调的分布式日志系统，也可以作为MQ消息系统。Linkedin 公司在2010 年贡献给了Apache基金会并成为了顶级开源项目。简单一句话，是一款分布式消息发布和订阅系…
2021/10/28 23:40:27 人评论 次浏览 -
Kafka 笔记
一、什么是kafka？Kafka最初由Linkedin 公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper 协调的分布式日志系统，也可以作为MQ消息系统。Linkedin 公司在2010 年贡献给了Apache基金会并成为了顶级开源项目。简单一句话，是一款分布式消息发布和订阅系…
2021/10/28 23:40:27 人评论 次浏览 -
kafka学习（三）kafka基础理论
一、消费模式的选择kafka常见的消费模式有两种：单播模式：一条消息只能被某一个消费者消费的模式。 多播模式：一条消息能被多个消费者组中的消费者消费的模式。PS：记录消费偏移量是以组为单位进行的，增删消费者不影响。【会在下面进行说明】 单播模式定义：一条消息只…
2021/10/28 23:10:04 人评论 次浏览 -
kafka学习（三）kafka基础理论
一、消费模式的选择kafka常见的消费模式有两种：单播模式：一条消息只能被某一个消费者消费的模式。 多播模式：一条消息能被多个消费者组中的消费者消费的模式。PS：记录消费偏移量是以组为单位进行的，增删消费者不影响。【会在下面进行说明】 单播模式定义：一条消息只…
2021/10/28 23:10:04 人评论 次浏览 -
kafka消息保留策略设置
项目遇到一个问题，kafka服务器被下电了4天，消息保留策略设置的24小时。服务器上电后，消息过期，消费者拿不到消息。模拟这种场景，复现下log.retention.minutes=1设置消息保留时间为1分钟log.retention.hours也可以设置多个小时，默认是168个小时，7天。log.retention.…
2021/10/28 6:12:54 人评论 次浏览
