kafka 难点
2021/11/5 6:13:55
本文主要是介绍kafka 难点,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
参考文章
[[Kafka常见面试题](https://blog.csdn.net/qq_28900249/article/details/90346599) [参考文章](https://www.cnblogs.com/juniorMa/articles/13936154.html)
重要考点
- kafka 为什么那么快
-
Cache Filesystem Cache PageCache缓存
-
顺序写 由于现代的操作系统提供了预读和写技术,磁盘的顺序写大多数情况下比随机写内存还要快。
-
Zero-copy 零拷技术减少拷贝次数
-
传统传输文件流程
1. 硬盘—>内核buf—>用户buf—>socket相关缓冲区—>协议引擎
零拷贝
1. sendfile系统调用,文件数据被copy至内核缓冲区
2. 再从内核缓冲区copy至内核中socket相关的缓冲区
3. 最后再socket相关的缓冲区copy到协议引擎
总结
相较传统read/write方式,2.1版本内核引进的sendfile已经减少了内核缓冲区到user缓冲区,再由user缓冲区到socket相关缓冲区的文件copy,而在内核版本2.4之后,文件描述符结果被改变,sendfile实现了更简单的方式,再次减少了一次copy操作
* Batching of Messages 批量量处理。合并小的请求,然后以流的方式进行交互,直顶网络上限。 * Pull 拉模式 使用拉模式进行消息的获取消费,与消费端处理能力相符。
- 消息堆积
- 消费端宕机
增加自动拉起脚本 告警 - 消费能力弱
增强消费能力 异常处理 - 调节消费参数
- max.poll.interval.ms 每次poll消息处理时间调大
- max.poll.records 每次拉取消息条数减小
- 分片少
- 分片不均匀
producer生产时设置key hash到分区均匀
- 消费端宕机
这篇关于kafka 难点的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-09-10RabbitMQ教程:初学者指南
- 2024-09-10RabbitMQ教程:初学者指南
- 2024-09-01Kafka事务实现原理
- 2024-08-09KubeSphere 部署 Kafka 集群实战指南
- 2024-07-24百行代码实现 Kafka 运行在 S3 之上
- 2024-07-18如何使用观测云监测 AutoMQ 集群状态
- 2024-07-18活动回顾 | AutoMQ 联合 GreptimeDB 共同探讨新能源汽车数据基础设施
- 2024-07-15AutoMQ vs Kafka: 来自小红书的独立深度评测与对比
- 2024-07-15AutoMQ 生态集成 Kafdrop-ui
- 2024-07-15AutoMQ 与蚂蚁数科达成战略合作