网站首页 站内搜索

搜索结果

查询Tags标签: kafka,共有 918条记录
  • 大型网站架构系列:分布式消息队列(一)

    一、消息队列概述消息队列中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题。实现高性能,高可用,可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。目前在生产环境,使用较多的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,Kafka,Me…

    2022/11/14 23:23:57 人评论 次浏览
  • flink-cdc同步mysql数据到hive

    本文首发于我的个人博客网站 等待下一个秋-Flink什么是CDC? CDC是(Change Data Capture 变更数据获取)的简称。核心思想是,监测并捕获数据库的变动(包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等),将这些变更按发生的顺序完整记录下来,写入到消息中间…

    2022/9/17 2:17:16 人评论 次浏览
  • linux下部署kafka集群

    一、环境 系统:CentOS Linux release 7.9.2009 (Core) zookeeper:3.6 kafka:kafka_2.13-2.8.0 二、部署 zookeeper部署详见:https://www.cnblogs.com/sxFu/p/16017975.html 下载kafka:http://kafka.apache.org/downloads 节点:192.168.48.133 192.168.48.159 192.16…

    2022/9/15 5:17:18 人评论 次浏览
  • 在几个小时内从初级开发人员到高级开发人员

    在几个小时内从初级开发人员到高级开发人员 我有 25 年的专业开发经验,总共有 40 年的经验。多年来,我一直担任开发主管、项目负责人、首席技术官、项目经理、高级架构师,并担任过您能想象到的所有可能的角色。今天,我是一家为全球数百家软件开发公司提供云服务的服务…

    2022/9/7 6:23:12 人评论 次浏览
  • 在生产环境中运行 Kafka 后的经验教训

    在生产环境中运行 Kafka 后的经验教训Kafka logo 在生产环境中运行自托管 Kafka 超过 2 年。在这里,我编制了一个提示和陷阱列表。 背景:我们使用 Kafka 作为我们的主要 Pub-Sub 来设置多个管道和接近 100 个主题,超过 5000 个 pod(客户端)连接到它,每天在最繁忙的主…

    2022/9/4 6:54:09 人评论 次浏览
  • python kafka 生产者发送数据的三种方式

    发送方式 同步发送发送数据耗时最长有发送数据的状态,不会丢失数据,数据可靠性高以同步的方式发送消息时,一条一条的发送,对每条消息返回的结果判断, 可以明确地知道每条消息的发送情况,但是由于同步的方式会阻塞,只有当消息通过get返回future对象时,才会继续下一…

    2022/9/2 1:25:35 人评论 次浏览
  • centos7安装kafka

    参考:https://blog.csdn.net/yang1393214887/article/details/123425715 1. 官网下载https://kafka.apache.org/downloads https://dlcdn.apache.org/kafka/3.1.0/kafka_2.12-3.1.0.tgz2. 上传到centos7 /usr/目录,解压到此目录tar -zxvf kafka_2.12-3.2.1.tgz 4. 配置k…

    2022/8/31 5:22:48 人评论 次浏览
  • 重新编译kafka_exporter源码,构建镜像

    1.github https://github.com/danielqsj/kafka_exporter2.dockerfileFROM golang:1.17 ENV GO111MODULE=on \GOPROXY="https://goproxy.cn,direct" COPY kafka_exporter-1.4.2 /apps/kafka_exporter-1.4.2 WORKDIR /apps/kafka_exporter-1.4.2 RUN make RUN cp …

    2022/8/29 1:22:55 人评论 次浏览
  • Kafka的简单使用

    下面目的主要是进行简单测试kafka,比如在其他网络中已提供了IP和地址,进行kafka的读取,自已不想再写代码: 环境要求:存在java环境: 1、下载Kafka的程序 https://kafka.apache.org/downloads 2、将代码解压。 3、执行消息命令。 bin/kafka-console-consumer.sh --topi…

    2022/8/27 23:27:45 人评论 次浏览
  • kafka

    另外找一个zk,有客户端命令的.\zkCli.cmd -server 127.0.0.1:2181ls /brokers 查看注册信息1,kafka不支持分布式事务消息 不支持消费失败重试 2,kafka的单机TPS能跑到每秒上百万,是因为Producer端将多个小消息合并,批量发向broker 3,RocketMQ写入性能上不如kafka, 主…

    2022/8/16 23:23:40 人评论 次浏览
  • Windows下搭建kafka并通过命令消费

    一、依赖环境准备1、检查JDK是否存在且和JVM版本一致,我这里系统是64位,JVM也是64位2、如果出现以下报错则是JVM不一致 二、安装kafka1、下载最新版本kafkakafka官方下载路径: https://kafka.apache.org/downloads.html我们下载官方推荐的最新版本kafka 3.2.1, Scala 2…

    2022/8/15 5:24:32 人评论 次浏览
  • zookeeper、kafka加SASL认证后offsetExplorer如何连接

    按照如下所示配置既可:

    2022/8/12 23:23:55 人评论 次浏览
  • python kafka发送中文的编码问题

    项目中需要构造带有中文字符非json的测试数据,格式如下: {userid: 0, ts: 2022-08-03 16:33:38.487973, user_name: 中国人}发过去之后发现消费出来的都是unicode的编码,且指定了utf-8也没用,一开始以为是kafka producer的value_serializer序列化器用的不对,后面发现…

    2022/8/4 1:23:02 人评论 次浏览
  • 记一次Linux server偶发CPU飙升问题的跟进与解决

    背景 进入6月后,随着一个主要功能版本api的上线,服务端的QPS翻了一倍,平时服务器的CPU使用稳定在30%上下,高峰期则在60%上下,但是偶尔会有单台机器出现持续数分钟突然飙到90%以上,导致大量api响应缓慢超过客户端等待时间,触发其主动断开连接产生大量nginx499。 问题…

    2022/8/1 5:23:05 人评论 次浏览
  • kafka各个版本的特性

    1. kafka-0.8.2 新特性 1.1 异步发送 producer不再区分同步(sync)和异步方式(async),所有的请求以异步方式发送,这样提升了客户端效率。producer请求会返回一个应答对象,包括偏移量或者错误信。这种异步方地批量的发送消息到kafka broker节点,因而可以减少server端…

    2022/7/28 23:28:21 人评论 次浏览
扫一扫关注最新编程教程