【Redis】主从复制之读写分离&原理&实战
2022/2/23 19:21:43
本文主要是介绍【Redis】主从复制之读写分离&原理&实战,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
由于人权问题,slave更改为了replica
Redis默认采用异步复制的持久化方案(RDB),具备低延迟、高性能的特点。这是大多数Redis的自然复制模式。
主从复制(master-replica)-读写分离这是基于RDB持久化方案的全量数据复制模式。
1.主从复制-读写分离介绍
为了解决高并发场景下Redis的性能问题,需要对单例Redis进行横向扩展;我们都知道在缓存中读的并发量要远远大于写的并发量。所以就产生了一种读写分离的方法:
将读和写分开,master节点可以进行读写操作,而slave节点只能进行读操作(conf文件可以修改),因此读写分离是一种基于RDB持久化方案的主从架构。
2.读写分离核心流程
首先需要从slave节点初始化进行分析,因为slave节点只能进行读操作,所以它如何拥有初始数据是第一步。
- 当salve节点初始化时会首先ping向master节点,如果ping通,salve就会把master上的rdb文件复制到slave节点,然后加载到内存中。
- 后续当master节点有写操作时,master会将相同操作命令传输给salve节点,然后salve进行执行即可。
3.三种工作机制
- 当master和slave链接良好时,master向slave发送命令流来完成salve更新;
- 当master和salve链接中断时,由于网络原因或master和salve检测超;salve将尝试重新连接并尝试进行部分重新同步,这意味着同步的是断开连接那段时间的命令流
- 当无法进行部分重新同步时,salve将进行全部重新同步。这涉及了一个更复杂的过程,需要master创建所有的快照并发给salve。
4.主副本之间如何进行协商的?
试想master每向Redis副本发送一次命令流,是否需要等待副本处理完成?(因为副本可能由于某种原因没有处理完这个命令流)
答:这是不需要的,副本会定期确认与master接收的数据量。所以master知道副本已经处理了哪个命令,这具有可选的同步复制。
5.Redis复制的特点
Ⅰ.Redis复制在主控端是非阻塞的(异步复制),意味着当一个或多个副本进行同步数据时,master仍然可以进行数据查询。
Ⅱ.Redis复制在副本也是非阻塞的(异步复制),在副本执行同步时,仍然可以被查询。但当副本进行初始化时,需要删除本身的旧数据集加载新数据集,这短暂的期间是不能被客户端连接的。在Redis4.0以后,允许在conf进行配置删除旧数据集发生在不同的线程中,但是加载新数据集仍发生在主线程中,所以这个时间段仍是阻塞的。
Ⅲ.一个master可以连接多个副本,一个副本也可以连接多个副本,类似于级联结构。
Ⅳ.避免了master将整个数据写入磁盘的成本。
6.Redis复制的工作原理
每个Redis实例都有Replication ID,每个主机也存在一个偏移量,该偏移量随着主机向副本发送命令流的字节而增加。
当副本要连接主机时,会通过PSYNC命令发送它的旧主机Replication ID和Offset。这样主机只需要向副本发送增量部分。
发送Offset(偏移量)我们应该都明白它是为了定位缓冲区发送的起始位置,向副本发送它缺少的那部分数据。那Replication ID有什么用呢?
其实这是为了让主机将自身的Replication ID与副本发送的Replication ID做对比,判断是否相同,如果相同则可以进行增量复制。如果不相同,所以主机已经被更换,需要进行全量复制。
完全同步的工作流程:
主机生成RDB文件,在这个同时缓冲从客户端接收到的新的写命令;主机向副本发送RDB文件,副本将其保存在磁盘并加载到内存中;最后主机将所有缓冲的命令发送给副本。
总结:
Redis在进行全量同步时,master会将内存数据通过bgsave落地rdb文件;同时将接收到的客户端写指令存放到复制缓冲区中。当rdb快照构建完毕之后,master会将rdb和复制缓冲队列中的数据全部发送给replica(副本),可以看出全量同步对系统的性能和资源访问造成影响。
在Redis2.8之前,Redis只支持全量复制;2.8之后引入了PSYNC,增加了一个复制积压缓冲,master在将写指令发送给replica之后,也会在复制积压缓冲存放一份。当由于网络波动导致master与replica连接断开并重新连接时,replica会向master发送replid(复制id)和偏移量,如果master的replid和副本发送的replid相同并且偏移量仍在复制积压缓冲,则master使用增量复制。
Redis4.0之后,引入了PSYNC2,这是对PSYNC的优化,额外加入了一个replid2。每个Redis实例启动之后都会被分配一个长度为40的随机字符串最为replid的初始值,当replica连接master之后,会将master的replid替换自己的replid;replid2会存储上次主机的replid,这样一来如果master发送变动,则master的replid与replica的replid或者replid2相同,仍然可以使用增量复制。
7. 主从复制-读写分离实战
模拟三台Redis服务器,一台6379为主机,另外的6380和6381为副本。
1.首先在Linux服务器下载安装Redis服务
下载安装包:wget https://download.redis.io/releases/redis-6.2.6.tar.gz
解压:tar -zxvf redis-6.2.6.tar.gz
编译:make
安装:make PREFIX=/path install (path为安装路径)
安装之后会发现只有一个bin目录。
2.建立相应的文件保存数据、日志、配置文件
mkdir -p /opt/redis/data
mkdir -p /opt/redis/conf
mkdir -p /opt/redis/
touch redis-6379.conf
touch redis-6380.conf
touch redis-6381.conf
3.将redis解压目录下的redis.conf文件复制一份到/opt/redis/conf
复制:cp redis.conf /opt/redis/conf
重命名:mv redis.conf redis-common.conf
4.修改redis-common.conf配置文件
点击ESC->输入:/搜索词 ,即可进行搜索,键盘点击n表示寻找下一个
(1)修改protected-mode的值为no
(2)修改daemonize的值为yes:表示后台启动redis
(3)注释掉bind(注释掉表示所有的都可以访问)
(4)注释掉port
(5)注释掉logfile
(6)注释掉dbfilename
(7)修改目录
(8)打开masterauth(从服务器访问主服务器所需要的密码)
(9)注释掉pidfile
5.编辑redis-6379.conf、redis-6380.conf、redis-6381.conf
最后一个slaveof表示主机地址,这里的6379为主机,所以不需要配置。
6.启动
./redis-server /opt/redis/conf/redis-6379.conf
./redis-server /opt/redis/conf/redis-6380.conf
./redis-server /opt/redis/conf/redis-6381.conf
使用ps -ef|grep redis进行查看进程
7.测试
复制三个窗口,连接三个客户端,输入info replication查看信息。
这篇关于【Redis】主从复制之读写分离&原理&实战的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-10-22Redis入门教程:轻松掌握数据存储与操作
- 2024-10-22Redis缓存入门教程:快速掌握Redis缓存基础知识
- 2024-10-22Redis入门指南:轻松掌握Redis基础操作
- 2024-10-22Redis Quicklist 竟让内存占用狂降50%?
- 2024-10-17Redis学习:从入门到初级应用教程
- 2024-10-12Redis入门:新手必读教程
- 2024-09-26阿里云Redis项目实战:新手入门教程
- 2024-09-26阿里云Redis资料入门教程
- 2024-09-25阿里云Redis入门教程:快速掌握Redis的基本操作
- 2024-09-25阿里云Redis学习:新手入门教程