搜索结果
查询Tags标签： topic，共有 206条记录-
Kafka整体架构、工作流程与文件存储机制
Kafka架构图总结：消息是分主题的，然后为了扩展性，每个主题又有许多分区(分片和索引机制)，这些分片可以跨机存在每个分区内部又是有序的队列，索引从0.1.2..开始这种的注意副本的概念：副本是针对分区的，每个分区都有若干副本(一leader和多follower)副本的leader和fol…
2021/6/26 23:28:14 人评论 次浏览 -
Kafka基础
文章目录 一、应用场景二、与ZK的管理三、架构分析1 Broker2 消息3 生产者4 消费者5 Topic6 Partition 与 Cluster7 Partition 副本 Replica 机制8 Segment9 Consumer Group10 Consumer Offset 四、数据同步问题五、进接特性1、消息幕等性2、生产者事务# 前言 Kafka由Lin…
2021/6/19 23:27:25 人评论 次浏览 -
java自己开发工作流
前言 毕业以来，还算顺利的进入一家互联网公司，从事Java后端的开发。一路走来将近八年的光景，期间经历过刚毕业工作的狂喜，也遇到过因工作失误而受到的打击。我觉得这都是一种历练，经过这些磨砺，算是学到了不少东西，同时我自己也探索了很多的学习方法，总结了很多心…
2021/6/19 20:28:27 人评论 次浏览 -
灵魂拷问！SpringBoot如何实现负载均衡
开头 Netty 作为当前流行的 NIO 框架，在游戏、大数据通讯，云计算、物联网等领域都有广泛的应用，大家熟知的 Dubbo，底层用的就是 Netty。尤其在高性能 RPC 方面，Netty 更是必不可少。然而，想要将 Netty 真正掌握并精通难度却不小。一些学习者可能会遇到这些问题： 多…
2021/6/18 23:33:17 人评论 次浏览 -
rocketmq-spring的consumer设置消费失败最大重试次数
说明 rocketmq-spring的consumer的相关属性配置有两种方式： 在配置文件中进行配置类上使用@RocketMQMessageListener注解配置相关属性 关于注解中的属性可以查看：org.apache.rocketmq.spring.annotation.RocketMQMessageListener，而在文件中可以配置的属性只有如下几个…
2021/6/18 23:28:51 人评论 次浏览 -
kafka集群五、__consumer_offsets副本数修改
kafka几圈搭建好了，但当一个节点挂机后整个集群还是不能使用并没有起到集群的作用，这是为什么？ 在新版本Kafka中，__consumer_offsets这个topic是存放消费者偏移量的，但是该主题默认配置副本数量只有1，容易造成单点故障注：上一篇博客地址https://www.cnblogs.com/yc…
2021/6/17 19:01:17 人评论 次浏览 -
5.4 规划网络---单台ESXi主机多网络的规划
在介绍使用交换网络之前，我们需要了解一下…
2021/6/16 10:24:37 人评论 次浏览 -
Java 开发实战：亿级流量该怎么抗，kafka集群解耦高吞吐量
前言 最近研究kafka，发现网上很多关于kafka的介绍都是基于Linux操作系统的。虽然这些服务最后都是配置Linux上的。但是我们平时使用的大多都是Windows系统。所以研究很是吃力。经过借鉴不同的网络文章终于在Windows上实现了kafka的配置。在这里现在的配置是基于Zookeeper…
2021/6/15 22:23:01 人评论 次浏览 -
springboot整合rabbitmq（topic主题模式）
在direct模式基础上改，但是此次使用注解方式 消费者 修改对应的consumer，用注解方式定义交换机和队列的关系 @Service @RabbitListener(bindings = @QueueBinding(value = @Queue(value = "duanxin.topic.queue",durable = "true",autoDelete = &qu…
2021/6/14 10:25:22 人评论 次浏览 -
源码分析zookeeper在kafka的作用
浪尖的kafka源码系列以kafka0.8.2.2源码为例给大家进行讲解的。纯属个人爱好，希望大家对不足之处批评指正。 一，zookeeper在分布式集群的作用 1，数据发布与订阅（配置中心） 发布与订阅模型，即所谓的配置中心，顾名思义就是讲发布者将数据发布到zk节点上，共订阅者动态…
2021/6/14 1:23:54 人评论 次浏览 -
新版本自带的Zookeeper搭建kafka集群
安装简要说明 新版本的kafka自带有zookeeper，其实自带的zookeeper完全够用，本篇文章以记录使用自带zookeeper搭建kafka集群。 1、关于kafka下载 kafka下载页面：http://kafka.apache.org/downloads 2、修改kafka配置文件 kafka安装目录下的config文件夹为其配置文件，我…
2021/6/9 10:55:09 人评论 次浏览 -
「中间件」RocketMQ解决消息顺序和重复性消费问题整理
前言现在越来越多的产品采用的是分布式架构，部署的时候也同样是分布式部署，那么各个应用间的异步通信大多选择消息中间件MQ来处理，那么就回避不了两个问题：1. 发送消息的顺序性 2. 消息被重复消费目前在生产环境，使用较多的消息队列中间件有ActiveMQ，RabbitMQ，Kafk…
2021/6/7 18:26:32 人评论 次浏览 -
Java面试：2021.05.29
1、Kafka的架构是怎样的？Kafka 的整体架构非常简单，是分布式架构，Producer、Broker 和Consumer 都可以有多个。 1.Producer，Consumer 实现 Kafka 注册的接口。 2.数据从 Producer 发送到 Broker 中，Broker 承担一个中间缓存和分发的作用。 3.Broker 分发注册到系统…
2021/6/7 12:21:34 人评论 次浏览 -
Kafka 简介及Centos 6.5环境下的安装
kafka简介官网：它是一个分布式的流处理平台 Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。Kafka最初是由LinkedIn开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统…
2021/6/5 7:24:39 人评论 次浏览 -
干货精讲！java遍历map的key和value
思维导图前言 在很多时候，我们都可以在各种框架应用中看到ZooKeeper的身影，比如Kafka中间件，Dubbo框架，Hadoop等等。为什么到处都看到ZooKeeper？目录 Kafka的基本介绍Kafka的设计原理分析Kafka数据传输的事务特点Kafka消息存储格式副本（replication）策略Kafka消息分…
2021/6/4 20:23:42 人评论 次浏览
