搜索结果
查询Tags标签： kafka，共有 918条记录-
【Java面试】Kafka 怎么避免重复消费
Hi，大家好，我是Mic 一个工作5年的粉丝找到我。 他说： “Mic老师，你要是能回答出这个问题，我就佩服你” 我当场就懵了，现在打赌都这么随意了吗？ 我问他问题是什么，他说“Kafka如何避免重复消费的问题！” 下面看看普通人和高手的回答！普通人： Kafka怎么避免重复消…
2022/6/25 1:21:09 人评论 次浏览 -
Java 最常见的 208 道面试题：（15）
十五、Kafka 152. kafka 可以脱离 zookeeper 单独使用吗？为什么？ kafka 不能脱离 zookeeper 单独使用，因为 kafka 使用 zookeeper 管理和协调 kafka 的节点服务器。 153. kafka 有几种数据保留的策略？ kafka 有两种数据保存策略：按照过期时间保留和按照存储的消息大小…
2022/6/23 5:19:58 人评论 次浏览 -
【转！】metersphere win源码部署
你是个好人，可全无用处。--《围城》 转自：https://www.cnblogs.com/bowanghou/p/15834107.html 前端：vue 后端：springboot 中间件: mysql, kafka 【meterSphere开源地址】 https://github.com/metersphere/metersphere 【准备工作】 基于技术栈，需要准备以下 软件安装…
2022/6/23 1:20:09 人评论 次浏览 -
docker-compose部署emqx、minio、redis、nacos、kafka集群
docker-compose部署minio集群参考（https://blog.csdn.net/kea_iv/article/details/108061337）创建一个新的文件夹，并在文件夹下创建一个docker-compose.yaml vi docker-compose.yaml 把一下内容复制进去 #docker-compose.yaml version: 3.7# starts 4 docker container…
2022/6/22 2:19:56 人评论 次浏览 -
4.3：flume+Kafka日志采集实验
〇、目标 使用kafka和flume组合进行日志采集 拓扑结构 一、重启SSH和zk服务 打开终端，首先输入：sudo service ssh restart 重启ssh服务。之后输入下述命令开启zookeeper服务： zkServer.sh start二、启动flume 输入cd /home/user/bigdata/apache-flume-1.9.0-bin 进入f…
2022/6/16 23:22:04 人评论 次浏览 -
springcloudStream集成Kafka遇到的问题
最近做kafka存储文件类型的信息的项目，遇到两个问题一个是springcloudstream的版本问题，这个问题只需要注意在引入maven依赖的时候不添加version就可以避免，把版本管理问题交给 springcloud来管理，比如我用的是--<spring.cloud.version>Hoxton.SR12</spring.…
2022/6/15 23:24:24 人评论 次浏览 -
flume 读目录下文件 ,同步到kafka
启动和配置flumeAgent 是一个 JVM 进程，它以事件（Event）的形式将数据从源头（Source）通过渠道（Channel）送至目标端（Sink）。 Agent 主要有 3 个部分组成，Source、Channel、Sink。# 目录->kafka a1.sources = s1 a1.sinks = k1 a1.channels = c1a1.sources.s1.c…
2022/6/12 23:51:39 人评论 次浏览 -
SparkStreaming整合Kafka
intellij代码实现Spark Stream和Kafka结合消息接收及处理StreamKaf StreamKafkaProducer1package org.hnswimport java.utilimport org.apache.kafka.clients.consumer.ConsumerConfig import org.apache.kafka.clients.producer.{KafkaProducer, ProducerConfig, Produce…
2022/6/10 23:21:31 人评论 次浏览 -
JAVA分布式优惠券系统后台
第一章 课程介绍 1-1 导学 jdk1.8 新特性 springboot 微服务架构 hbase 分布式数据存储 数据量大 面向列 非关系性数据库 mysql 关系型数据库， redis 业务系统繁忙的时候，IO读写成为系统的性能瓶颈。需要使用缓存系统解决。 kafka 工程与工程之间的通信，消息队列…
2022/6/8 1:20:15 人评论 次浏览 -
kafka消费数据命令 消费以前的数据命令
到kafka 的bin目录下 [root@node2 bin]# ./kafka-console-consumer.sh --bootstrap-server ip:9092 --topic topicname消费以前的数据[root@node2 bin]# ./kafka-console-consumer.sh --bootstrap-server ip:9092 -- --from-beginning topic topicname
2022/6/6 23:23:01 人评论 次浏览 -
Pulsar解决的问题
1.提供一个实时处理消息队列以及大规模数据流处理的平台 2.当前大多数的流处理平台，都无法简单的上云平台进行弹性伸缩扩展，比如Kafka，扩展node或者topic的分区，都要触发rebalance，rebalance期间是无法进行数据读写的。
2022/6/4 23:21:42 人评论 次浏览 -
Django Model 如何返回空的 QuerySet
>>> from django.contrib.auth.models import User >>> User.objects.none() <QuerySet []>以上就是本文的全部内容，如果觉得还不错的话，欢迎点赞，转发和关注，感谢支持。推荐阅读：计算机经典书籍 技术博客： 硬核后端开发技术干货，内容包括…
2022/5/5 23:44:20 人评论 次浏览 -
spring boot集成kafka报错
背景： spring boot 2.1.0 集成 kafka，报错：[org.springframework.kafka.annotation.KafkaListenerAnnotationBeanPostProcessor]: Constructor threw exception; nested exceptionkafka依赖配置如下：<!-- kafka 依赖 开始 --><dependency><groupId>…
2022/5/4 23:19:53 人评论 次浏览 -
Kafka 服务器源码
4.1 程序入口 Kafka.scala def main(args: Array[String]): Unit = {try {// 获取参数相关信息val serverProps = getPropsFromArgs(args)// 配置服务val server = buildServer(serverProps)try {if (!OperatingSystem.IS_WINDOWS && !Java.isIbmJdk)new LoggingS…
2022/5/2 17:13:03 人评论 次浏览 -
Kafka 生产者源码
2.1 初始化2.1.1 程序入口 从用户自己编写的 main 方法开始阅读 package com.atguigu.kafka.producer;import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.ProducerConfig; import org.apache.kafka.clients.producer.Pr…
2022/5/2 9:13:25 人评论 次浏览
