搜索结果
查询Tags标签： kafka，共有 918条记录-
Kafka关键原理
日志分段切分条件 日志分段文件切分包含以下4个条件，满足其一即可：当前日志分段文件的大小超过了broker端参数 log.segment.bytes 配置的值。log.segment.bytes参数的默认值为 1073741824，即1GB 当前日志分段中消息的最小时间戳与当前系统的时间戳的差值大于log.roll.m…
2023/6/10 1:22:21 人评论 次浏览 -
手记系列之六 ----- 分享个人使用kafka经验
前言 本篇文章主要介绍的关于本人从刚工作到现在使用kafka的经验，内容非常多，包含了kafka的常用命令，在生产环境中遇到的一些场景处理，kafka的一些web工具推荐等等。由于kafka这块的记录以及经验是从我刚开始使用kafka，从2017年开始，可能里面有些内容过时，请见谅。…
2023/6/9 5:22:56 人评论 次浏览 -
Kafka的系统架构和API开发
系统架构 主题topic和分区partitiontopic Kafka中存储数据的逻辑分类；你可以理解为数据库中“表”的概念；比如，将app端日志、微信小程序端日志、业务库订单表数据分别放入不同的topic partition分区（提升kafka吞吐量） topic中数据的具体管理单元； 每个partition由一…
2023/6/9 1:23:17 人评论 次浏览 -
kafka的安装和基本操作
基本概念 简介 Kafka 最初是由 LinkedIn 即领英公司基于 Scala 和 Java 语言开发的分布式消息发布-订阅系统，现已捐献给Apache 软件基金会。其具有高吞吐、低延迟的特性，许多大数据实时流式处理系统比如 Storm、Spark、Flink等都能很好地与之集成。 总的来讲，Kafka 通常…
2023/6/8 1:23:26 人评论 次浏览 -
原来kafka也有事务啊，再也不担心消息不一致了
前言 现在假定这么一个业务场景，从kafka中的topic获取消息数据，经过一定加工处理后，发送到另外一个topic中，要求整个过程消息不能丢失，也不能重复发送，即实现端到端的Exactly-Once精确一次消息投递。这该如何实现呢？kafka事务介绍 针对上面的业务场景，kafka已经替…
2023/6/6 11:22:06 人评论 次浏览 -
面试官问：kafka为什么如此之快？
前言 天下武功，唯快不破。同样的，kafka在消息队列领域，也是非常快的，这里的块指的是kafka在单位时间搬运的数据量大小，也就是吞吐量，下图是搬运网上的一个性能测试结果，在同步发送场景下，单机Kafka的吞吐量高达17.3w/s，不愧是高吞吐量消息中间件的行业老大。那究…
2023/6/5 18:22:09 人评论 次浏览 -
kafka消费者那些事儿
前言 消息的消费一般有两种模式，推模式和拉模式。推模式是服务端主动将消息推送给消费者，而拉模式是消费者主动向服务端发起请求来拉取消息。kakfa采用的是拉模式，这样可以很好的控制消费速率。那么kafka消费的具体工作流程是什么样的呢？kafka的位移管理又是怎么样的呢…
2023/6/1 11:23:11 人评论 次浏览 -
kafka集群是如何选择leader，你知道吗？
前言 kafka集群是由多个broker节点组成，这里面包含了许多的知识点，以下的这些问题你都知道吗?你知道topic的分区leader是怎么选举的吗？ 你知道zookeeper中存储了kafka的什么信息吗？起到什么做呢？ 你知道kafka消息文件是怎么存储的吗？ 如果kafka中leader节点或者fol…
2023/5/30 14:52:11 人评论 次浏览 -
Kafka实时数据即席查询应用与实践
作者：vivo 互联网搜索团队- Deng Jie Kafka中的实时数据是以Topic的概念进行分类存储，而Topic的数据是有一定时效性的，比如保存24小时、36小时、48小时等。而在定位一些实时数据的Case时，如果没有对实时数据进行历史归档，在排查问题时，没有日志追述，会很难定位是哪…
2023/5/26 11:22:19 人评论 次浏览 -
kafka生产者你不得不知的那些事儿
前言 kafka生产者作为消息发送中很重要的一环，这里面可是大有文章，你知道生产者消息发送的流程吗？知道消息是如何发往哪个分区的吗？如何保证生产者消息的可靠性吗？如何保证消息发送的顺序吗？如果对于这些问题还比较模糊的话，那么很有必要看看这篇文章了，本文主要是…
2023/5/23 14:22:15 人评论 次浏览 -
如何借助Kafka持久化存储K8S事件数据？
大家应该对 Kubernetes Events 并不陌生，特别是当你使用 kubectl describe 命令或 Event API 资源来了解集群中的故障时。$ kubectl get events15m Warning FailedCreate …
2023/5/22 14:22:20 人评论 次浏览 -
用好kafka，你不得不知的那些工具
前言 工欲善其事，必先利其器。本文主要分享一下消息中间件kafka安装部署的过程，以及我平时在工作中针对kafka用的一些客户端工具和监控工具。 kafka部署架构一个kafka集群由多个kafka broker组成，每个broker将自己的元数据信息注册到zookeeper中，通过zookeeper关联形成…
2023/5/19 14:22:17 人评论 次浏览 -
8张图带你全面了解kafka的核心机制
前言 kafka是目前企业中很常用的消息队列产品，可以用于削峰、解耦、异步通信。特别是在大数据领域中应用尤为广泛，主要得益于它的高吞吐量、低延迟，在我们公司的解决方案中也有用到。既然kafka在企业中如此重要，那么本文就通过几张图带大家全面认识一下kafka，现在我们…
2023/5/17 14:22:12 人评论 次浏览 -
C# Kafka重置到最新的偏移量，即从指定的Partition订阅消息使用Assign方法
在使用Kafka的过程中，消费者断掉之后，再次开始消费时，消费者会从断掉时的位置重新开始消费。 场景再现：比如昨天消费者晚上断掉了，今天上午我们会发现kafka消费的数据不是最新的，而是昨天晚上的数据，由于数据量比较多，也不会及时的消费到今天上午的数据，这个时候…
2023/4/11 18:52:24 人评论 次浏览 -
C# Kafka重置到最新的偏移量，即从指定的Partition订阅消息使用Assign方法
在使用Kafka的过程中，消费者断掉之后，再次开始消费时，消费者会从断掉时的位置重新开始消费。 场景再现：比如昨天消费者晚上断掉了，今天上午我们会发现kafka消费的数据不是最新的，而是昨天晚上的数据，由于数据量比较多，也不会及时的消费到今天上午的数据，这个时候…
2023/4/11 18:52:21 人评论 次浏览
