Redis缓存雪崩,穿透、multiGet 批量查询优化、pipeline 批量查询优化
2021/8/5 19:07:59
本文主要是介绍Redis缓存雪崩,穿透、multiGet 批量查询优化、pipeline 批量查询优化,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
一、缓存穿透的解决方案
为了演示缓存穿透,这里设置的redis是单机单实例。
二、缓存穿透之布隆过滤器
布隆过滤器能够迅速判断一个元素是否存在于集合里。
布隆过滤器缺点:
1.会有1%的误判率,误判概率越低,数组所占用的空间越长。
2.布隆过滤器的数据只能添加,不能移除,主要是由于多个数据可能存在于同一个位置,比如subCat:2、subCat:3。
3.维护起来比较麻烦,代码复杂。
三、缓存雪崩与预防
1.什么是缓存雪崩?
当在同一时刻缓存里有大量的key过期时间结束,此时有大量过期的key请求,这时就会有大量的请求落到数据库,数据库承载不了这么大的数据访问,就会宕机。
2.雪崩预防
对于雪崩来说,我们不可能完全解决,只能对它预防,缓解雪崩的现象
预防方法如下:
(1)永不过期
(2)过期时间错开
比如热点数据可以把过期时间设置久一点,或者永不过期;其他不长访问的数据的过期时间设置短一点;在设置过期时间时,比如设置1小时过期,精确到毫秒就是1*60*60*1000,那么就可以在1分钟之内(60*1000)取随机数,每次在1小时的基础上加或减随机数。
(3)多缓存结合(多级缓存)
Memcache中的key过期时间设置的比redis的过期时间长,这样的话,redis中的key过期了就会去查Memcache
(4)采购第三方Redis
第三方服务还是很牛的,不用自己维护,减少运维成本。
阿里云Redis
HA:就相当于哨兵形式,SlaveN:有很多slave节点,都是哨兵模式
四、缓存穿透和缓存雪崩的区别
穿透是单个的key不存在于redis,雪崩是指大面积的key失效;两者都是由于超高流量的并发打在数据库上,造成数据库不可用。
五、multiGet 批量查询优化
每次get查询,其实就是建立一个连接,等get之后,再关闭连接。(socket通信),这样是会有IO损耗的,我们实现mget,这样对于批量查询,只建立一次连接。
/** * 批量查询,对应mget * @param keys * @return */ public List<String> mget(List<String> keys) { return redisTemplate.opsForValue().multiGet(keys); }
六、pipeline 批量查询优化
除了用mget批量查询,还可以用管道。
就如keepalive对nginx的作用:建立一次连接,pipeline对redis的作用也是建立一次连接,可以在管道内部进行很多类型的操作,如get,mget,range,set,mset等
/** * 批量查询,管道pipeline * @param keys * @return */ public List<Object> batchGet(List<String> keys) { // nginx -> keepalive // redis -> pipeline List<Object> result = redisTemplate.executePipelined(new RedisCallback<String>() { @Override public String doInRedis(RedisConnection connection) throws DataAccessException { StringRedisConnection src = (StringRedisConnection)connection; for (String k : keys) { src.get(k); } return null; } }); return result; }
为什么实现了mget方法,还要实现pipeline方法批量查询?
因为pipeline支持更多类型的操作,set,get,mget,mset,range等,不仅仅支持String类型,其他类型也支持。
这篇关于Redis缓存雪崩,穿透、multiGet 批量查询优化、pipeline 批量查询优化的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-11-08阿里云Redis项目实战入门教程
- 2024-11-08阿里云Redis资料:新手入门与初级使用指南
- 2024-11-08阿里云Redis教程:新手入门及实用指南
- 2024-11-07阿里云Redis学习入门:新手必读指南
- 2024-11-07阿里云Redis学习入门:从零开始的操作指南
- 2024-11-07阿里云Redis学习:初学者指南
- 2024-11-06阿里云Redis入门教程:轻松搭建与使用指南
- 2024-11-02Redis项目实战:新手入门教程
- 2024-10-22Redis入门教程:轻松掌握数据存储与操作
- 2024-10-22Redis缓存入门教程:快速掌握Redis缓存基础知识