搜索结果
查询Tags标签： kafka，共有 918条记录-
kafka消息保留策略设置
项目遇到一个问题，kafka服务器被下电了4天，消息保留策略设置的24小时。服务器上电后，消息过期，消费者拿不到消息。模拟这种场景，复现下log.retention.minutes=1设置消息保留时间为1分钟log.retention.hours也可以设置多个小时，默认是168个小时，7天。log.retention.…
2021/10/28 6:12:54 人评论 次浏览 -
kafka max.poll.interval.ms配置太短
max.poll.interval.ms这个应该是消费者每次去kafka拉取数据最大间隔，如果超过这个间隔，服务端会认为消费者已离线。触发rebalancedemo1 public ConsumerDemo(String topicName) {2 Properties props = new Properties();3 props.put("bootstra…
2021/10/27 6:11:39 人评论 次浏览 -
kafka max.poll.interval.ms配置太短
max.poll.interval.ms这个应该是消费者每次去kafka拉取数据最大间隔，如果超过这个间隔，服务端会认为消费者已离线。触发rebalancedemo1 public ConsumerDemo(String topicName) {2 Properties props = new Properties();3 props.put("bootstra…
2021/10/27 6:11:39 人评论 次浏览 -
【Kafka】安装测试
知识点 Kafka基本架构的介绍： Broker Kafka集群包含一个或多个服务器，这种服务器被称为brokerTopic 每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。（物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broker上，但用户只需指…
2021/10/25 23:40:50 人评论 次浏览 -
【Kafka】安装测试
知识点 Kafka基本架构的介绍： Broker Kafka集群包含一个或多个服务器，这种服务器被称为brokerTopic 每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。（物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broker上，但用户只需指…
2021/10/25 23:40:50 人评论 次浏览 -
kafka（三）重平衡
历史文章： kafka（一）kafka的基础与常用配置 文章目录 一、kafka消费者组二、重平衡（Rebalance）2.1、重平衡触发条件2.2、重平衡策略2.2.1、Range 平均分配2.2.2、RoundRobin 轮询分配2.2.3、Sticky 粘性分配 2.3、重平衡过程2.3.1、消费者组状态2.3.2重平衡过程 2.4、…
2021/10/21 23:09:41 人评论 次浏览 -
kafka（三）重平衡
历史文章： kafka（一）kafka的基础与常用配置 文章目录 一、kafka消费者组二、重平衡（Rebalance）2.1、重平衡触发条件2.2、重平衡策略2.2.1、Range 平均分配2.2.2、RoundRobin 轮询分配2.2.3、Sticky 粘性分配 2.3、重平衡过程2.3.1、消费者组状态2.3.2重平衡过程 2.4、…
2021/10/21 23:09:41 人评论 次浏览 -
idea编译kafka 2.6 源码
idea编译kafka 2.6 源码 最近项目要接入kafka和flink，有时间就学一下kafka的源码，就编译了一下kafka的源码，期间还是踩了不少坑的。 一、安装jdk二、安装scala三、安装gradle四、本地启动zookeeper 最近在官网下载，然后解压，调整配置文件，将zoo_sample.cfg复制一份为…
2021/10/20 20:43:16 人评论 次浏览 -
idea编译kafka 2.6 源码
idea编译kafka 2.6 源码 最近项目要接入kafka和flink，有时间就学一下kafka的源码，就编译了一下kafka的源码，期间还是踩了不少坑的。 一、安装jdk二、安装scala三、安装gradle四、本地启动zookeeper 最近在官网下载，然后解压，调整配置文件，将zoo_sample.cfg复制一份为…
2021/10/20 20:43:16 人评论 次浏览 -
kafka3.0创建topic出现zookeeper is not a recognized option
在linux云服务器上搭建了一套kafka3.0集群，然后安装以前的创建topic指令，例如这样—— ./kafka-topics.sh --bootstrap-server master:2181,slave1:2181,slave2:2181 --replication-factor 1 --partitions 1 --topic test 然而，却出现了这样一个异常提示： Exception …
2021/10/19 23:11:32 人评论 次浏览 -
kafka3.0创建topic出现zookeeper is not a recognized option
在linux云服务器上搭建了一套kafka3.0集群，然后安装以前的创建topic指令，例如这样—— ./kafka-topics.sh --bootstrap-server master:2181,slave1:2181,slave2:2181 --replication-factor 1 --partitions 1 --topic test 然而，却出现了这样一个异常提示： Exception …
2021/10/19 23:11:32 人评论 次浏览 -
Java连接Kafka示例
1、引入依赖<dependency><groupId>org.apache.kafka</groupId><artifactId>kafka_2.12</artifactId><version>2.1.0</version><scope>provided</scope></dependency><!-- https://mvnrepository.com/arti…
2021/10/19 11:10:11 人评论 次浏览 -
Java连接Kafka示例
1、引入依赖<dependency><groupId>org.apache.kafka</groupId><artifactId>kafka_2.12</artifactId><version>2.1.0</version><scope>provided</scope></dependency><!-- https://mvnrepository.com/arti…
2021/10/19 11:10:11 人评论 次浏览 -
Kafka配置ACL+SASL的认证配置（windows版）
如果希望Kafka支持ACL认证，我们需要完成如下的设置。 1.配置文件配置文件包括Zookeeper配置文件（Zookeeper.properties）。client配置文件（主要是consumer和producer:），kafka server配置文件(server.properties) 1.1 zookeeper.properties的配置文件内容是authProvid…
2021/10/19 7:13:21 人评论 次浏览 -
Kafka配置ACL+SASL的认证配置（windows版）
如果希望Kafka支持ACL认证，我们需要完成如下的设置。 1.配置文件配置文件包括Zookeeper配置文件（Zookeeper.properties）。client配置文件（主要是consumer和producer:），kafka server配置文件(server.properties) 1.1 zookeeper.properties的配置文件内容是authProvid…
2021/10/19 7:13:21 人评论 次浏览
