搜索结果
查询Tags标签： kafka，共有 918条记录-
【Azure 应用服务】本地创建Azure Function Kafka Trigger 函数和Kafka output的HTTP Trigger函数实验
问题描述 在上一篇博文(https://www.cnblogs.com/lulight/p/16525902.html)中，我们成功的以VM作为Kafka服务器运行，并且验证了从其他机器中远程访问。在本文中，将使用Visual Studio 2022创建Azure Function 作为生产者和消费者在本地进行验证生产者：使用HTTP Trigger函…
2022/7/28 23:28:16 人评论 次浏览 -
Kafka-java代码向kafka中输入和消费数据
Kafka-java 1. 在写代码前需要导入依赖<dependency><groupId>org.apache.flink</groupId><artifactId>flink-connector-kafka</artifactId><version>${flink.version}</version></dependency>2. 使用java代码从kafka中拿…
2022/7/26 1:22:48 人评论 次浏览 -
Kafka学习(十五) Python Kafka Client 性能测试
一、前言由于工作原因使用到了 Kafka，而现有的代码并不能满足性能需求，所以需要开发高效读写 Kafka 的工具，本文是一个 Python Kafka Client 的性能测试记录，通过本次测试，可以知道选用什么第三方库的性能最高，选用什么编程模型开发出来的工具效率最高。二、第三方库…
2022/7/24 14:30:43 人评论 次浏览 -
windows安装启动kafka
本地安装Kafka一、安装方法前提 ： 本地安装zookeeper1、下载 kafka_2.13-2.5.1.tgz 文件 （带src是源码 如：kafka-2.5.1-src.tgz ，不能安装）2、解压文件，进入目录，创建 logs文件夹。进入config目录，打开 server.properties 文件：注释#log.dirs=/tmp/kafka-logs#zo…
2022/7/23 5:24:13 人评论 次浏览 -
Kafka入门实战教程（8）：常用的shell工具脚本
1 Kafka提供的命令行脚本 Kafka默认提供了多个命令行脚本，用于实现各种各样的功能和运维管理。从2.2版本开始，提供了多达30+个Shell脚本。今天我们来看一些其中比较实用的Shell脚本。 2 生产消费测试脚本 这恐怕是我们最常用到的工具脚本了，没有之一。 生产消息 生产消…
2022/7/23 5:24:12 人评论 次浏览 -
linux系统下，自己搭建kafka环境（单机）
安装前准备：安装JDK 安装zookeeper（如果使用kafka内置的zookeeper，可以忽略）第一步、安装JDK kafka依赖JAVA环境，所以首先要安装jdk 第二步、安装zookeeper １）下载 官网地址：https://zookeeper.apache.org/releases.html 下载地址：http://archive.apache.org/dis…
2022/7/23 5:23:02 人评论 次浏览 -
Kafka入门实战教程（7）：Kafka Streams
1 关于流处理 流处理平台（Streaming Systems）是处理无限数据集（Unbounded Dataset）的数据处理引擎，而流处理是与批处理（Batch Processing）相对应的。所谓的无线数据，指的是数据永远没有尽头。而流处理平台就是专门处理这种数据集的系统或框架。下图生动形象地展示…
2022/7/21 6:24:38 人评论 次浏览 -
Kafka网络通信模型
先说NIO reactor 原始的方式 全部一个线程完成networkclient acceptor dispathch hander networkclient增加一个处理器负责处理业务 Processor 线程池专门处理 handlernetworkclient acceptor (多线程)Processor pool 【新增】 dispathch hander networkclient主从Reacto…
2022/7/20 23:25:13 人评论 次浏览 -
docker 中安装kafka
docker 中安装kafka 在安装kafka之前需要先安装zookeeper，因为kafka 启动会将元数据保存在 zookeeper 中，zookeeper是一种分布式协调服务，可以再分布式系统中共享配置，协调锁资源，提供命名服务。 zookeeper 安装 1、在docker中拉取zookeeper 镜像docker pull wurstme…
2022/7/14 6:21:32 人评论 次浏览 -
大数据Hadoop之——Kafka鉴权认证（Kafka kerberos认证+kafka账号密码认证+CDH Kerberos认证）
目录一、Kerberos概述与安装二、Kafka Kerberos认证1）创建用户和生成用户keytab2）Kerberos 相关配置3）Kafka 服务端配置1、修改server.properties2、修改kafka-server-start.sh4）Kafka 客户端配置1、配置client.properties2、配置kafka-client-jaas.conf3、配置kafka-…
2022/7/14 6:21:24 人评论 次浏览 -
centos7脚本安装jdk-zookeeper-kafka
#!/bin/bash ZK_URL="https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3-bin.tar.gz"KAFKA_URL="https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.8.1/kafka_2.13-2.8.1.tgz" NODE1=10.0.0.17NOD…
2022/7/12 5:20:14 人评论 次浏览 -
Kafka - 04数据存储及查询
Kafka - 04数据存储及查询 一、Kafka数据存储 1.1 存储结构topic在broker上存储方式创建topic时，指定分区和副本数量 分区目录ttopic2-0， 格式： 主题-分区号目录下是数据文件，Kafka数据就是message，数据存储在log文件里 .log结尾的就是日志文件， 在Kafka中把数据文…
2022/7/10 23:51:32 人评论 次浏览 -
我是如何将一个老系统的kafka消费者服务的性能提升近百倍的
☞☞☞ 我是如何将一个老系统的kafka消费者服务的性能提升近百倍的 ☜☜☜○○○○○○○☝☝☝☝☝☝☝☝☝☝☝☝☝☝☝☝☝☝☝☝○○○○○○○○ 大家好，又见面了~ kafka作为一种高吞吐量的分布式发布订阅消息系统，在业务系统中被广泛的使用。如果问你，如何提高ka…
2022/7/5 23:20:57 人评论 次浏览 -
Kafka解析-1快速入门
前言 官网 Kafka 中文文档 - ApacheCN Apache Kafka Kafka传统定义：一个分布式基于发布/订阅模式的消息队列（MQ），主要应用于大数据实时处理领域。 Kafka最新定义：一个开源的分布式事件流平台（ESP），被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用…
2022/6/30 23:22:23 人评论 次浏览 -
Windows Docker好方便呀呀呀
Windows Docker好方便呀呀呀今天我需要测试自己写的KafKa基础类库，自己需要搭建一个KafKa环境，自己的云主机不能用，电脑也没有开虚拟机，但是想了一下需要在windows电脑安装Kafka 环境好麻烦呀！！！！ 后面想到有Windows for Docker 工具可以解决困惑。安装Hyper-V和开…
2022/6/30 5:22:26 人评论 次浏览
