搜索结果
查询Tags标签： kafka，共有 918条记录-
kafka消费者接收分区测试
【README】 本文演示了当有新消费者加入组后，其他消费者接收分区情况；本文还模拟了 broker 宕机的情况；本文使用的是最新的 kafka3.0.0 ；本文测试案例，来源于 消费者接收分区的5种模型，建议先看模型，refer2 https://blog.csdn.net/PacosonSWJTU/article/details/…
2021/12/12 23:22:09 人评论 次浏览 -
kafka消费者接收分区测试
【README】 本文演示了当有新消费者加入组后，其他消费者接收分区情况；本文还模拟了 broker 宕机的情况；本文使用的是最新的 kafka3.0.0 ；本文测试案例，来源于 消费者接收分区的5种模型，建议先看模型，refer2 https://blog.csdn.net/PacosonSWJTU/article/details/…
2021/12/12 23:22:09 人评论 次浏览 -
【大数据面试】【框架】kafka
一、基本信息 1、组成 生产者 broker 消费者 zookeeper：brokerid、consumer信息（不包含生产者的信息） 2、需要安装多少台 2 * (生产者的峰值生产速率 * 副本 / 100) + 1 = 3 生产环境下，配置副本的数量为2-3个，2个居多 3、副本的优势和劣势 副本越多，越能提高可靠性…
2021/12/11 23:23:30 人评论 次浏览 -
【大数据面试】【框架】kafka
一、基本信息 1、组成 生产者 broker 消费者 zookeeper：brokerid、consumer信息（不包含生产者的信息） 2、需要安装多少台 2 * (生产者的峰值生产速率 * 副本 / 100) + 1 = 3 生产环境下，配置副本的数量为2-3个，2个居多 3、副本的优势和劣势 副本越多，越能提高可靠性…
2021/12/11 23:23:30 人评论 次浏览 -
Linux下搭建Kafka服务
系统环境：Linux CentOS 7.6 Kafka：2.12-2.5.0 1、安装JDK 1.8 yum -y install java-1.8.0*java -version 命令查看JDK版本，如图安装成功：2、安装zookeeper服务参考文章：Linux下ZooKeeper的安装及使用 3、创建工作目录，下载安装包：#创建安装目录 mkdir -p /opt/kafk…
2021/12/11 7:19:46 人评论 次浏览 -
Linux下搭建Kafka服务
系统环境：Linux CentOS 7.6 Kafka：2.12-2.5.0 1、安装JDK 1.8 yum -y install java-1.8.0*java -version 命令查看JDK版本，如图安装成功：2、安装zookeeper服务参考文章：Linux下ZooKeeper的安装及使用 3、创建工作目录，下载安装包：#创建安装目录 mkdir -p /opt/kafk…
2021/12/11 7:19:46 人评论 次浏览 -
不同linux发行版 对tmp目录的处理逻辑大全
今天因为kafka的日志清理问题被坑了 起因: kafka设置的默认log目录是tmpkafka配置了定期清理loglinux的tmp机制, 导致了log被提前删除kafka删除log时, 由于log已经删除, 导致报出异常, 停止服务 在某些发行版里， tmp 目录原来只有在启动的时候才会被清理 在 Debian-like …
2021/12/9 7:24:10 人评论 次浏览 -
不同linux发行版 对tmp目录的处理逻辑大全
今天因为kafka的日志清理问题被坑了 起因: kafka设置的默认log目录是tmpkafka配置了定期清理loglinux的tmp机制, 导致了log被提前删除kafka删除log时, 由于log已经删除, 导致报出异常, 停止服务 在某些发行版里， tmp 目录原来只有在启动的时候才会被清理 在 Debian-like …
2021/12/9 7:24:10 人评论 次浏览 -
kafka集群管理指南
本指南使用的工具为kafka/bin目录下相关脚本。 添加/删除topics 可以使用如下命令进行新增topics：> bin/kafka-topics.sh --bootstrap-server broker_host:port --create --topic my_topic_name \--partitions 20 --replication-factor 3 --config x=y其中，—topic表…
2021/12/8 6:16:56 人评论 次浏览 -
kafka集群管理指南
本指南使用的工具为kafka/bin目录下相关脚本。 添加/删除topics 可以使用如下命令进行新增topics：> bin/kafka-topics.sh --bootstrap-server broker_host:port --create --topic my_topic_name \--partitions 20 --replication-factor 3 --config x=y其中，—topic表…
2021/12/8 6:16:56 人评论 次浏览 -
kafka在python中的使用及结束kafka消费者
先说下问题： 正常使用kafka消费者，接收消息时，会出现消息循环无法结束问题，增加参数 consumer_timeout_ms:超时时间（毫秒），超过指定时间没有获取到消息关闭kafka。（例子如下） consumer.py文件： from kafka import KafkaProducer, KafkaConsumer import timeclas…
2021/12/6 17:17:14 人评论 次浏览 -
kafka在python中的使用及结束kafka消费者
先说下问题： 正常使用kafka消费者，接收消息时，会出现消息循环无法结束问题，增加参数 consumer_timeout_ms:超时时间（毫秒），超过指定时间没有获取到消息关闭kafka。（例子如下） consumer.py文件： from kafka import KafkaProducer, KafkaConsumer import timeclas…
2021/12/6 17:17:14 人评论 次浏览 -
40个W年薪蚂蚁团队Java岗技术4面分享：HashMap+线程池，kafka幂等性原理
java反射原理， 注解原理？ 说说一致性 Hash 原理 HashMap在什么情况下会扩容，或者有哪些操作会导致扩容？ HashMap检测到hash冲突后，将元素插入在链表的末尾还是开头？ 1.8还采用了红黑树，讲讲红黑树的特性，为什么人家一定要用红黑树而不是AVL、B树之类的？ htt…
2021/12/5 11:20:02 人评论 次浏览 -
40个W年薪蚂蚁团队Java岗技术4面分享：HashMap+线程池，kafka幂等性原理
java反射原理， 注解原理？ 说说一致性 Hash 原理 HashMap在什么情况下会扩容，或者有哪些操作会导致扩容？ HashMap检测到hash冲突后，将元素插入在链表的末尾还是开头？ 1.8还采用了红黑树，讲讲红黑树的特性，为什么人家一定要用红黑树而不是AVL、B树之类的？ htt…
2021/12/5 11:20:02 人评论 次浏览 -
一次严重生产问题日记(初步怀疑是重启项目导致redis锁没有释放的问题)
2021.11.17 今天，考试系统出现生产问题。 1.老师反馈，无法创建考试、发布考试。 2.学员反馈，无法打开"我的考试"列表，无法参加考试、提交考试后成绩无法显示，一直处于"成绩正在计算中"页面。 开发人员自测，发现整个系统感觉变慢，响应时间变长；…
2021/12/4 19:16:35 人评论 次浏览
