Redis linux中安装和配置 api使用 慢查询 pipline事务

2022/5/23 2:02:41

本文主要是介绍Redis linux中安装和配置 api使用 慢查询 pipline事务,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

内容详细

1 redis 的linux安装和配置

        # redis 版本选择问题
            -最新:7.0
          -最稳定版本:6.x
          -讲课:5.x
          -企业里:3.x,4.x,5.x   6.x(极少数公司在用)
          -windows:3.x,5.x

        # 哪些公司在用
            -大部分公司-多多少少都会用到redis
          -99%以上公司项目会用关系型数据库(mysql,postgrasql,oracle,国产数据库:达梦)
          -80%公司用redis
          -去ioe--->ibm(浪潮,联想) ,oracle(达梦..),emc存储
          -通用性东西:网络,数据库,redis,nginx,docker。。。

        # 特性
        1 速度快:10w ops(每秒10w读写),数据存在内存中,c语言实现
        2 持久化:rdb和aof
        3 多种数据结构:
            5大数据结构
            BitMaps位图:布隆过滤器 本质是 字符串
            HyperLogLog:超小内存唯一值计数,12kb HyperLogLog 本质是 字符串
            GEO:地理信息定位 本质是有序集合--》附近5公里的美女
        4 支持多种编程语言:基于tcp通信协议,各大编程语言都支持,客户端
        5 功能丰富:发布订阅(消息) Lua脚本 事务(pipeline),实现分布式锁---(mysql,redis,zookeeper)
        6 简单:源代码几万行,不依赖外部库(源码编译安装---》可执行文件执行)
        7 主从复制:主服务器和从服务器,主服务器可以同步到从服务器中
        8 高可用和分布式:
            2.8版本以后使用redis-sentinel支持高可用
            3.0版本以后支持分布式

1.1 下载安装

        wget http://download.redis.io/releases/redis-5.0.7.tar.gz
        #解压
        tar -xzf redis-5.0.7.tar.gz
        #建立软连接
        ln -s redis-5.0.7 redis
        cd redis
        # 文件和文件夹
            -Makefile    # make,make install
          -src         # c的源代码
          -redis.conf  # redis的配置文件,启动的时候使用
        make && make install
        # make:编译---可执行文件
        # make install :安装--》根据config配置---》把可执行文件释放到某个路径,在环境变量中

        # 在src目录下可以看到
          #redis-server--->redis服务器
          #redis-cli---》redis命令行客户端
          #redis-benchmark---》redis性能测试工具
          #redis-check-aof--->aof文件修复工具
          #redis-check-dump---》rdb文件检查工具
          #redis-sentinel---》sentinel服务器,哨兵
        #redis作者对windows维护不好,window自己有安装包



        # 卸载 ---卸载redis
        # 1、查看redis进程;
        ps aux|grep redis
        # 2、kill掉进程;
        kill 进程id
        # 3、进入到redis目录
        cd /root/s20
        # 4、删除redis对应的文件
        rm -f /usr/local/redis/bin/redis*
        rm -f /usr/local/bin/redis*
        # 5、删除对应的文件
        rm -rf redis

1.2 三种启动方式

        # 只要在环境变量的某个路径下,在任意位置敲,都能找到
            # 默认的 /usr/bin   /usr/local/bin
          # 系统环境变量,用户环境变

        #最简启动,来到redis路径下
        ./src/redis-server
        ps -ef|grep redis  #查看进程
        netstat -antpl|grep redis #查看端口
        redis-cli -h ip -p port ping #命令查看
        redis-cli -h 127.0.0.1 -p 6379


        #  动态参数启动
        redis-serve --port 6380 #启动,监听6380端口



        # 常用:配置文件启动---》100来对配置文件
        # redis 的目录下
        vim redis.conf

        daemonize yes
        pidfile /var/run/redis.pid
        port 6379
        dir "/root/s20/redis/data"
        logfile 6379.log

        # 启动
        mkdir data
        redis-server ./redis.conf

1.3 客户端连接

        # 无密码情况
        redis-cli -p 端口  -h 地址
        # 有密码情况
        redis-cli -h 127.0.0.1    -p 6370 -a 123456

        # 查看redis的配置信息
        config get port
        config get *   # 100多对

        # 修改配置文件---》有漏洞--》可以利用这个漏洞,提权,以root用户登录到你的redis服务器上
        CONFIG SET maxmemory 128M  # 设置最大使用的内存
        CONFIG set requirepass 123456  # 设置密码,如果没执行下面,在内存中,只要redis服务不重启,就一直生效,但是咱们下写到配置文件中
        CONFIG REWRITE  # 保存到配置文件,重启redis,密码也在

        # 进入到链接后,再输密码
        redis-cli -p 端口  -h 地址
        auth 123456
        # 登陆的同时输入密码
        redis-cli -h 127.0.0.1    -p 6370 -a 123456

1.4 使用场景

        # 缓存系统:使用最广泛的就是缓存--->做缓存,接口缓存
        # 计数器:网站访问量,转发量,评论数(文章转发,商品销量,不会出现并发问题)
        # 消息队列:发布订阅,阻塞队列实现(简单的分布式,blpop:阻塞队列,生产者消费者)
        # 排行榜:有序集合(阅读排行,点赞排行,推荐(销量高的,推荐)) 有序集合
        # 社交网络:很多特效跟社交网络匹配,粉丝数,关注数  集合 
        # 实时系统:垃圾邮件处理系统,布隆过滤器

2 redis 的api使用

2.1 通用命令

        # 衡量算法好坏的指标,大 O 表示法
            -空间复杂度(占多大内存),时间复杂(耗费多长时间)
            -O(1),O(log n),O(n),O(n方)

        ####1-keys 
        #打印出所有key
        keys * 
        #打印出所有以he开头的key
        keys he*
        #打印出所有以he开头,第三个字母是h到l的范围
        keys he[h-l]
        #三位长度,以he开头,?表示任意一位
        keys he?
        #keys命令一般不在生产环境中使用,生产环境key很多,时间复杂度为o(n),用scan命令

        ####2-dbsize   计算key的总数
        dbsize #redis内置了计数器,插入删除值该计数器会更改,所以可以在生产环境使用,时间复杂度是o(1)

        ###3-exists key 时间复杂度o(1)
        #设置a
        set a b
        #查看a是否存在
        exists a
        (integer) 1
        #存在返回1 不存在返回0
        ###4-del key  时间复杂度o(1)
        删除成功返回1,key不存在返回0
        ###5-expire key seconds  时间复杂度o(1)
        expire name 3 #3s 过期
        ttl name  #查看name还有多长时间过期
        persist name #去掉name的过期时间
        ###6-type key  时间复杂度o(1)
        type name #查看name类型,返回string


        ### 7 其他-->系统相关
        info命令:内存,cpu,主从相关--->django写一个redis服务监控--》折线图,饼形图
            subprocess---》redis-cli -a 123456 info---》字符串---》
        client list  正在连接的会话
        client kill ip:端口
        # client kill 127.0.0.1:40704
        dbsize  总共有多少个key
        flushall  清空所有
        flushdb  只清空当前库  # 16 个库
        select 数字  选择某个库  总共16个库  # 默认在第0个
        monitor  记录操作日志,夯住

        # 一个次只会执行一条命令
        # 为什么这么快?
        1 纯内存
        2 非阻塞IO (epoll),自身实现了事件处理,不在网络io上浪费过多时间
        # 注意
        1 一次只运行一条命令
        2 拒绝长慢命令
            -keys,flushall,flushdb,慢的lua脚本,mutil/exec,operate,big value
        3 其实不是单线程(在做持久化是另外的线程)

2.2 字符串操作

        ###1---基本使用get,set,del
        get name       #时间复杂度 o(1)
        set name lqz   #时间复杂度 o(1)
        del name       #时间复杂度 o(1)
        ###2---其他使用incr,decr,incrby,decrby
        incr age  #对age这个key的value值自增1
        decr age  #对age这个key的value值自减1
        incrby age 10  #对age这个key的value值增加10
        decrby age 10  #对age这个key的value值减10
        #统计网站访问量(单线程无竞争,天然适合做计数器)
        #缓存mysql的信息(json格式)


        ###3---set,setnx,setxx
        set name lqz  #不管key是否存在,都设置 
        setnx name lqz #key不存在时才设置(新增操作)
        set name lqz nx #同上
        set name lqz xx #key存在,才设置(更新操作)

        ###4---mget mset
        mget key1 key2 key3     #批量获取key1,key2.。。时间复杂度o(n)
        mset key1 value1 key2 value2 key3 value3    #批量设置时间复杂度o(n)

        # n次get和mget的区别   n次get时间=n次命令时间+n次网络时间  mget时间=1次网络时间+n次命令时间

        ###5---其他:getset,append,strlen
        getset name lqznb #设置新值并返回旧值 时间复杂度o(1)
        append name 666 #将value追加到旧的value 时间复杂度o(1)
        strlen name  #计算字符串长度,字节(注意中文,3个字节)  时间复杂度o(1)

        ###6---其他:incrybyfloat,getrange,setrange
        increbyfloat age 3.5  #为age自增3.5,传负值表示自减 时间复杂度o(1)
        getrange key start end #获取字符串制定下标所有的值  时间复杂度o(1)
        setrange key index value #从指定index开始设置value值  时间复杂度o(1)

2.3 哈希类型

        # 只支持一层
        info  {name:lqz,age:19,hobby:字符串}


        ###1---hget,hset,hdel
        hget key field  #获取hash key对应的field的value 时间复杂度为 o(1)
        hset key field value #设置hash key对应的field的value值 时间复杂度为 o(1)
        hdel key field #删除hash key对应的field的值 时间复杂度为 o(1)
        #测试
        hset user:1:info age 23
        hget user:1:info ag
        hset user:1:info name lqz
        hgetall user:1:info
        hdel user:1:info age
        ###2---hexists,hlen
        hexists key field  #判断hash key 是否存在field 时间复杂度为 o(1)
        hlen key   #获取hash key field的数量  时间复杂度为 o(1)
        hexists user:1:info name
        hlen user:1:info  #返回数量

        ###3---hmget,hmset
        hmget key field1 field2 ...fieldN  #批量获取hash key 的一批field对应的值  时间复杂度是o(n)
        hmset key field1 value1 field2 value2  #批量设置hash key的一批field value 时间复杂度是o(n)

        ###4--hgetall,hvals,hkeys
        hgetall key  #返回hash key 对应的所有field和value  时间复杂度是o(n)
        hvals key   #返回hash key 对应的所有field的value  时间复杂度是o(n)
        hkeys key   #返回hash key对应的所有field  时间复杂度是o(n)

        ###小心使用hgetall
        ##1 计算网站每个用户主页的访问量
        hincrby user:1:info pageview count

        ##2 缓存mysql的信息,直接设置hash格式-->建议用字符串,json形式存



        ##其他操作 hsetnx,hincrby,hincrbyfloat
        hsetnx key field value #设置hash key对应field的value(如果field已存在,则失败),时间复杂度o(1)
        hincrby key field intCounter #hash key 对英的field的value自增intCounter 时间复杂度o(1)
        hincrbyfloat key field floatCounter #hincrby 浮点数 时间复杂度o(1)

2.4 列表

        # 有序队列,可以从左侧添加,右侧添加,可以重复,可以从左右两边弹出

        # 插入操作
        #rpush 从右侧插入
        rpush key value1 value2 ...valueN  #时间复杂度为o(1~n)
        #lpush 从左侧插入
        #linsert
        linsert key before|after value newValue   #从元素value的前或后插入newValue 时间复杂度o(n) ,需要遍历列表
        linsert listkey before b java
        linsert listkey after b php

        # 删除操作
        lpop key #从列表左侧弹出一个item 时间复杂度o(1)
        rpop key #从列表右侧弹出一个item 时间复杂度o(1)
        lrem key count value
        #根据count值,从列表中删除所有value相同的项 时间复杂度o(n)
        1 count>0 从左到右,删除最多count个value相等的项
        2 count<0 从右向左,删除最多 Math.abs(count)个value相等的项
        3 count=0 删除所有value相等的项
        lrem listkey 0 a #删除列表中所有值a
        lrem listkey -1 c #从右侧删除1个c
        ltrim key start end #按照索引范围修剪列表 o(n)
        ltrim listkey 1 4 #只保留下表1--4的元素

        # 查询
        lrange key start end #包含end获取列表指定索引范围所有item  o(n)
        lrange listkey 0 2
        lrange listkey 1 -1 #获取第一个位置到倒数第一个位置的元素

        lindex key index #获取列表指定索引的item  o(n)
        lindex listkey 0
        lindex listkey -1

        llen key #获取列表长度

        # 修改
        lset key index newValue #设置列表指定索引值为newValue o(n)
        lset listkey 2 ppp #把第二个位置设为ppp

        # 其它
        blpop key timeout #lpop的阻塞版,timeout是阻塞超时时间,timeout=0为拥有不阻塞 o(1)
        brpop key timeout #rpop的阻塞版,timeout是阻塞超时时间,timeout=0为拥有不阻塞 o(1)

        #要实现栈的功能:先进后出,后进先出---》吃了吐
        lpush+lpop   
        #实现队列功能:先进先出---》吃了拉--》直梯
        lpush+rpop 
        #固定大小的列表
        lpush+ltrim   
        #消息队列
        lpush+brpop 

2.5 集合

        sadd key element #向集合key添加element(如果element存在,添加失败) o(1)

        srem key element #从集合中的element移除掉 o(1)

        scard key #计算集合大小

        sismember key element #判断element是否在集合中  

        srandmember key count #从集合中随机取出count个元素,不会破坏集合中的元素 (抽奖)


        spop key #从集合中随机弹出一个元素

        smembers key #获取集合中所有元素 ,无序,小心使用,会阻塞住 

        sdiff user:1:follow user:2:follow  #计算user:1:follow和user:2:follow的差集

        sinter user:1:follow user:2:follow  #计算user:1:follow和user:2:follow的交集

        sunion user:1:follow user:2:follow  #计算user:1:follow和user:2:follow的并集

        sdiff|sinter|suion + store destkey... #将差集,交集,并集结果保存在destkey集合中

        # 抽奖系统 :通过spop来弹出用户的id,活动取消,直接删除
        # 点赞,点踩,喜欢等,用户如果点了赞,就把用户id放到该条记录的集合中
        # 标签:给用户/文章等添加标签,sadd user:1:tags 标签1 标签2 标签3
        # 给标签添加用户,关注该标签的人有哪些
        # 共同好友:集合间的操作

2.6 有序集合

        zadd key score element #score可以重复,可以多个同时添加,element不能重复 o(logN) 

        zrem key element #删除元素,可以多个同时删除 o(1)

        zscore key element #获取元素的分数 o(1)

        zincrby key increScore element #增加或减少元素的分数  o(1)

        zcard key #返回元素总个数 o(1)

        zrank key element #返回element元素的排名(从小到大排,从0开始)

        zrange key 0 -1 #返回排名,不带分数  o(log(n)+m) n是元素个数,m是要获取的值
        zrange player:rank 0 -1 withscores #返回排名,带分数

        zrangebyscore key minScore maxScore #返回指定分数范围内的升序元素 o(log(n)+m) n是元素个数,m是要获取的值
        zrangebyscore user:1:ranking 90 210 withscores #获取90分到210分的元素

        zcount key minScore maxScore #返回有序集合内在指定分数范围内的个数 o(log(n)+m)

        zremrangebyrank key start end #删除指定排名内的升序元素 o(log(n)+m)
        zremrangebyrank user:1:rangking 1 2 #删除升序排名中1到2的元素

        zremrangebyscore key minScore maxScore #删除指定分数内的升序元素 o(log(n)+m)
        zremrangebyscore user:1:ranking 90 210 #删除分数90到210之间的元素


        zrevrank #从高到低排序
        zrevrange #从高到低排序取一定范围
        zrevrangebyscore #返回指定分数范围内的降序元素
        zinterstore #对两个有序集合交集
        zunionstore #对两个有序集合求并集


        # 排行榜---》金币排行,阅读排序,销量排行

客户端

        # python  --->redis模块
        # go---》https://www.cnblogs.com/liuqingzheng/p/16024070.html

3 高级用法之慢查询

        # 通过配置,对慢查询命令的保存,通过命令,取出保存的慢查询命令---》分析
        # 两个配置
        慢查询是一个先进先出的队列
        固定长度
        保存在内存中
        slowlog-max-len=128 
        slowly-log-slower-than=10000  # 毫秒,超过这个毫秒的,就会被记录在队列中


        # 配置
        config set slowlog-log-slower-than 0
        config set slowlog-max-len 100
        config rewrite


        # 命令
        slowlog get [n]  # 查到哪个用户执行的那个命令
        slowlog len    #获取慢查询队列长度
        slowlog reset #清空慢查询队列

4 pipline事务

        # Redis的pipeline(管道)功能在命令行中没有,但redis是支持pipeline的,而且在各个语言版的client中都有相应的实现(客户端又,py-redis,go-redis)

        # 将一批命令,批量打包,在redis服务端批量计算(执行),然后把结果批量返回

        # 1次pipeline(n条命令)=1次网络时间+n次命令时间

        pipeline期间将“独占”链接,此期间将不能进行非“管道”类型的其他操作,直到pipeline关闭;如果你的pipeline的指令集很庞
        大,为了不干扰链接中的其他操作,你可以为pipeline操作新建Client链接,让pipeline和其他正常操作分离在2个client中。不过
        pipeline事实上所能容忍的操作个数,和socket-output缓冲区大小/返回结果的数据尺寸都有很大的关系;同时也意味着每个
        redis-server同时所能支撑的pipeline链接的个数,也是有限的,这将受限于server的物理内存或网络接口的缓冲能力

        import redis
        pool = redis.ConnectionPool(host='127.0.0.1', port=6379)
        r = redis.Redis(connection_pool=pool)
        # pipe = r.pipeline(transaction=False)
        #创建pipeline
        pipe = r.pipeline(transaction=True)
        #开启事务
        pipe.multi()
        pipe.set('name', 'yyy')
        #其他代码,可能出异常
        pipe.set('role', 'nb')

        pipe.execute()


        #### #注意:pipeline每次只能作用在一个Redis的节点上  集群环境中,用不了pipline


        # # redis支持事务操作
        # 1 mutil  开启事务,放到管道中一次性执行--->管道的使用

        multi   # 开启事务
        set name yyy
        set age 18
        exec


        # 2 模拟事务
        # 在开启事务之前,先watch,监控age,如果被别人改了,它就改不成功了--》乐观锁
        wathc age
        multi
        decr age
        exec

        # 另一台机器
        multi
        decr age
        exec  # 先执行,上面的执行就会失败(乐观锁,被wathc的事务不会执行成功)


        # 集成到项目中---demo
        https://www.cnblogs.com/liuqingzheng/p/9997092.html



这篇关于Redis linux中安装和配置 api使用 慢查询 pipline事务的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!


扫一扫关注最新编程教程