【大数据面试】【框架】kafka
2021/12/11 23:23:30
本文主要是介绍【大数据面试】【框架】kafka,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
一、基本信息
1、组成
生产者
broker
消费者
zookeeper:brokerid、consumer信息(不包含生产者的信息)
2、需要安装多少台
2 * (生产者的峰值生产速率 * 副本 / 100) + 1 = 3
生产环境下,配置副本的数量为2-3个,2个居多
3、副本的优势和劣势
副本越多,越能提高可靠性
增加了网络IO传输
4、峰值生产速率,一般在百兆左右每秒
需要使用压力测试
如,10T数据,多长时间可以传输完
消费速率也是百兆每秒
5、监控器用的什么
kafka egale、monitor、manager,都是开源的
我们都是自己研发的,怎么回答,仰视大佬
6、kafka数据保存多久
默认保存7天,生产环境下建议保存3天
原因:当天把数据消费完,才能做到T+1模式,消费完数据
没有必要保存7天
其他原因:
日志服务器已经保存了30天☆(logfile)
7、数据量
二、挂了
三、丢失数据
四、重复数据
五、数据积压
六、优化
七、其他
这篇关于【大数据面试】【框架】kafka的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-12-22揭秘 Fluss:下一代流存储,带你走在实时分析的前沿(一)
- 2024-12-20DevOps与平台工程的区别和联系
- 2024-12-20从信息孤岛到数字孪生:一本面向企业的数字化转型实用指南
- 2024-12-20手把手教你轻松部署网站
- 2024-12-20服务器购买课程:新手入门全攻略
- 2024-12-20动态路由表学习:新手必读指南
- 2024-12-20服务器购买学习:新手指南与实操教程
- 2024-12-20动态路由表教程:新手入门指南
- 2024-12-20服务器购买教程:新手必读指南
- 2024-12-20动态路由表实战入门教程