【九月打卡】第5天 Kafka核心之存储和容错机制

【九月打卡】第5天 Kafka核心之存储和容错机制

第一模块

• 课程名称：消息队列之Kafka从入门到小牛
• 章节名称：第5章 Kafka核心之存储和容错机制
• 讲师姓名：徐老师

第二模块

• 课程内容：

1. Topic、Partition扩展、Message扩展
2. 存储策略：在kafka中每个topic包含1到多个partition，每个partition存储一部分Message。每条Message包含三个属性，其中有一个是offset。
   Kafka中数据的存储流程：生产者生产的消息会被发送到topic的多个partition上，topic收到消息后往对应partition的最后一个segment上添加该消息，segment达到一定的大小后会创建新的segment。
3. 容错机制：当Kafka集群中的一个Broker节点宕机之后，对整个集群而言没有什么特别的大影响，此时集群会给partition重新选出来一些新的Leader节点；当集群中新加入一个broker节点，zookeeper会自动识别并在适当的机会选择此节点提供服务

第三模块

• 学习心得：业务类型增加需要增加Topic数量、数据量大需要增加Partition数量

第四模块