搜索结果
查询Tags标签： kafka，共有 918条记录-
大型网站架构系列：分布式消息队列（一）
一、消息队列概述消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题。实现高性能，高可用，可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。目前在生产环境，使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，Me…
2022/11/14 23:23:57 人评论 次浏览 -
flink-cdc同步mysql数据到hive
本文首发于我的个人博客网站 等待下一个秋-Flink什么是CDC？ CDC是（Change Data Capture 变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等），将这些变更按发生的顺序完整记录下来，写入到消息中间…
2022/9/17 2:17:16 人评论 次浏览 -
linux下部署kafka集群
一、环境 系统：CentOS Linux release 7.9.2009 (Core) zookeeper：3.6 kafka：kafka_2.13-2.8.0 二、部署 zookeeper部署详见：https://www.cnblogs.com/sxFu/p/16017975.html 下载kafka：http://kafka.apache.org/downloads 节点：192.168.48.133 192.168.48.159 192.16…
2022/9/15 5:17:18 人评论 次浏览 -
在几个小时内从初级开发人员到高级开发人员
在几个小时内从初级开发人员到高级开发人员 我有 25 年的专业开发经验，总共有 40 年的经验。多年来，我一直担任开发主管、项目负责人、首席技术官、项目经理、高级架构师，并担任过您能想象到的所有可能的角色。今天，我是一家为全球数百家软件开发公司提供云服务的服务…
2022/9/7 6:23:12 人评论 次浏览 -
在生产环境中运行 Kafka 后的经验教训
在生产环境中运行 Kafka 后的经验教训Kafka logo 在生产环境中运行自托管 Kafka 超过 2 年。在这里，我编制了一个提示和陷阱列表。 背景：我们使用 Kafka 作为我们的主要 Pub-Sub 来设置多个管道和接近 100 个主题，超过 5000 个 pod（客户端）连接到它，每天在最繁忙的主…
2022/9/4 6:54:09 人评论 次浏览 -
python kafka 生产者发送数据的三种方式
发送方式 同步发送发送数据耗时最长有发送数据的状态，不会丢失数据，数据可靠性高以同步的方式发送消息时，一条一条的发送，对每条消息返回的结果判断， 可以明确地知道每条消息的发送情况，但是由于同步的方式会阻塞，只有当消息通过get返回future对象时，才会继续下一…
2022/9/2 1:25:35 人评论 次浏览 -
centos7安装kafka
参考：https://blog.csdn.net/yang1393214887/article/details/123425715 1. 官网下载https://kafka.apache.org/downloads https://dlcdn.apache.org/kafka/3.1.0/kafka_2.12-3.1.0.tgz2. 上传到centos7 /usr/目录，解压到此目录tar -zxvf kafka_2.12-3.2.1.tgz 4. 配置k…
2022/8/31 5:22:48 人评论 次浏览 -
重新编译kafka_exporter源码，构建镜像
1.github https://github.com/danielqsj/kafka_exporter2.dockerfileFROM golang:1.17 ENV GO111MODULE=on \GOPROXY="https://goproxy.cn,direct" COPY kafka_exporter-1.4.2 /apps/kafka_exporter-1.4.2 WORKDIR /apps/kafka_exporter-1.4.2 RUN make RUN cp …
2022/8/29 1:22:55 人评论 次浏览 -
Kafka的简单使用
下面目的主要是进行简单测试kafka，比如在其他网络中已提供了IP和地址，进行kafka的读取，自已不想再写代码: 环境要求：存在java环境： 1、下载Kafka的程序 https://kafka.apache.org/downloads 2、将代码解压。 3、执行消息命令。 bin/kafka-console-consumer.sh --topi…
2022/8/27 23:27:45 人评论 次浏览 -
kafka
另外找一个zk，有客户端命令的.\zkCli.cmd -server 127.0.0.1:2181ls /brokers 查看注册信息1，kafka不支持分布式事务消息 不支持消费失败重试 2，kafka的单机TPS能跑到每秒上百万，是因为Producer端将多个小消息合并，批量发向broker 3，RocketMQ写入性能上不如kafka, 主…
2022/8/16 23:23:40 人评论 次浏览 -
Windows下搭建kafka并通过命令消费
一、依赖环境准备1、检查JDK是否存在且和JVM版本一致，我这里系统是64位，JVM也是64位2、如果出现以下报错则是JVM不一致 二、安装kafka1、下载最新版本kafkakafka官方下载路径： https://kafka.apache.org/downloads.html我们下载官方推荐的最新版本kafka 3.2.1, Scala 2…
2022/8/15 5:24:32 人评论 次浏览 -
zookeeper、kafka加SASL认证后offsetExplorer如何连接
按照如下所示配置既可：
2022/8/12 23:23:55 人评论 次浏览 -
python kafka发送中文的编码问题
项目中需要构造带有中文字符非json的测试数据，格式如下： {userid: 0, ts: 2022-08-03 16:33:38.487973, user_name: 中国人}发过去之后发现消费出来的都是unicode的编码，且指定了utf-8也没用，一开始以为是kafka producer的value_serializer序列化器用的不对，后面发现…
2022/8/4 1:23:02 人评论 次浏览 -
记一次Linux server偶发CPU飙升问题的跟进与解决
背景 进入6月后，随着一个主要功能版本api的上线，服务端的QPS翻了一倍，平时服务器的CPU使用稳定在30%上下，高峰期则在60%上下，但是偶尔会有单台机器出现持续数分钟突然飙到90%以上，导致大量api响应缓慢超过客户端等待时间，触发其主动断开连接产生大量nginx499。 问题…
2022/8/1 5:23:05 人评论 次浏览 -
kafka各个版本的特性
1. kafka-0.8.2 新特性 1.1 异步发送 producer不再区分同步（sync）和异步方式（async），所有的请求以异步方式发送，这样提升了客户端效率。producer请求会返回一个应答对象，包括偏移量或者错误信。这种异步方地批量的发送消息到kafka broker节点，因而可以减少server端…
2022/7/28 23:28:21 人评论 次浏览
