Redis新旧复制
2021/9/30 2:40:53
本文主要是介绍Redis新旧复制,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
在Redis中,用户可以通过执行SALVEOF命令,让一个服务器去复制另一个服务器。
127.0.0.1:12345> SLAVEOF 127.0.0.1 6379 OK
- 6379的奴隶是12345。
旧版复制功能实现
Redis的复制功能分为同步(sync)和命令传播两个操作:
- 同步:将从服务器更新为主服务器的状态。
- 命令传播:在主服务器状态被修改,导致主从状态不一致,让主从回到一致状态。
同步
客户端向服务器发送SYNC命令,SYNC步骤:
- 从 -> 主 发送SYNC。
- 主 执行BGSAVE命令,后台生成RDB,并且使用缓冲区记录 从 现在开始执行的所有写命令。
- RDB生成完毕时,发送给 从,从 载入这个RDB,更新至 主 执行BGSAVE时的数据库状态。
- 主 将缓冲区的写命令发给 从,从 更新至 主 当前的状态。
命令传播
在同步执行完毕之后,主从达到一致状态,但是当 主 执行客户端的命令时,主从再次不一致。
为了让主从再次回到一致状态,主 需要对 从 执行命令传播操作:主 会将自己执行的写命令发送给 从 ,这样就回
到主从一致了(迫真)。
旧版复制的缺陷
对于第一次复制来说旧版是可以的,但是对于断线后重连效率是很低的,因为,断线重连的服务器保存的数据大部
分是相同的,发送SYNC命令传送RDB文件并不是非做不可的!
SYNC命令是一个非常耗费资源的操作。
新版复制功能的实现
为了解决旧版的问题,Redis从2.8开始,使用PSYNC代替SYNC。
PSYNC有完整重同步和部分重同步2个命令:
-
完整重同步:与同步命令是一样的。
-
部分重同步:如果条件允许,主 可以将主从服务器连接断开期间执行的写命令发送给 从。
部分重同步的实现
部分重同步由以下三个部分构成:
-
主服务器的复制偏移量(replication offset)和从服务器的复制偏移量。
-
主服务器的复制积压缓冲区(replication backlog)。
-
服务器的运行ID(run ID)。
复制偏移量
A断线后,从服务器向主服务器发送PSYNC,报告A的offset为10086。
复制积压缓冲区
缓冲区由主服务区维护的固定长度先进先出(fixed-size FIFO)队列,默认大小为1MB。
当主服务器进行命令传播时,不仅会将命令发送给从服务器,还会将写命令入队到缓冲区中。
因此,主服务器的缓冲区保存着最近传播的写命令,并且记录了每个字节的偏移量。
当从服务器重新连上主服务器,从服务器发送自己的offset,主服务器根据这个offset决定执行何种操作:
- 如果offset之后的数据仍然存在于缓冲区里,那么主服务器将对从服务器执行部分重同步。
- 相反如果不存在于缓冲区里,那么执行完整重同步。
根据需要调整复制积压缓冲区大小
最小大小计算公式:second * write_size_per_second
second为从服务器重新连上主服务器的平均时间。
write_size_per_second是主服务器平均每秒产生的写命令数据量。
服务器运行ID
每个服务器运行后会自动生成40个随机十六进制字符的ID。
-
主 和 从 初次复制时,主 会将自己的ID给 从。
-
当从服务器断线并重新连上主服务器时,从服务器会发送之前保存的ID给 主,如果一致就可以部分重同步。
复制的实现
-
设置主服务器的地址和端口
-
建立套接字连接
-
发送PING
-
身份验证
-
发送端口信息
-
同步
值得一提的是,在同步之前,只有 从 是 主 的客户端,同步之后,主 也是 从 的客户端。主从服务器双方都是对方
的客户端,他们才可以互相发送命令,主 才可以发送写命令改变 从 的数据库状态。
- 命令传播
Reference
《Redis设计与实现》
这篇关于Redis新旧复制的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-11-08阿里云Redis项目实战入门教程
- 2024-11-08阿里云Redis资料:新手入门与初级使用指南
- 2024-11-08阿里云Redis教程:新手入门及实用指南
- 2024-11-07阿里云Redis学习入门:新手必读指南
- 2024-11-07阿里云Redis学习入门:从零开始的操作指南
- 2024-11-07阿里云Redis学习:初学者指南
- 2024-11-06阿里云Redis入门教程:轻松搭建与使用指南
- 2024-11-02Redis项目实战:新手入门教程
- 2024-10-22Redis入门教程:轻松掌握数据存储与操作
- 2024-10-22Redis缓存入门教程:快速掌握Redis缓存基础知识