Redis缓存机制与应用

Redis/缓存系统
330
0
0
2022-03-28
标签   Redis

Redis是目前最为主流的缓存技术之一,Redis基于内存操作从而拥有强大的性能,可以达到每秒10万次的请求,可以说是一款非常强大的缓存技术了。

本文分为三部分:

  • 基础知识介绍
  • 常用技术讲解与缓存机制
  • 使用场景、缓存问题

基础知识介绍

NoSQL概述

什么是NoSQL?

NoSQL = Not Only SQL (不仅仅是SQL)

关系型数据库:表格 ,行 ,列

非关系型数据库:没有固定的查询语言,键值对存储,列存储,文档存储

随着web2.0互联网的诞生!传统的关系型数据库很难对付web2.0时代!尤其是超大规模的高并发的社区。

NoSQL 特点

1、方便扩展

2、大数据量高性能(Redis 一秒写8万次,读取11万)

3、数据类型是多样性的

NoSQL四大分类

KV键值对:如Redis主要是用于内容缓存,主要是为了处理大量数据高访问负载

文档型数据库:如MongoDBMongoDB 是一个基于分布式文件存储的数据库

列存储数据库:如HBase分布式文件系统,以列簇式存储,将同一列数据存储在一起

图关系数据库:如Neo4j他不是存图形,放的是关系,比如:朋友圈社交网络,广告推荐!

Redis简介

Redis 是什么?

Redis(Remote Dictionary Server ),即远程字典服务,它是一个开源的由ANSI C语言编写,性能优秀、支持网络、可持久化的Key-Value内存的NoSQL数据库!

Redis 能干嘛?

1、内存存储、持久化。

2、效率高,可以用于高速缓存

3、发布订阅系统

4、计时器、浏览量! 5、........

Redis好处

主要从“高性能”和“高并发”这两点来介绍。

Redis缓存机制与应用

把数据库数据存入缓存,请求直接从内存中读取不用经过数据库,减轻数据库压力并且提升性能。

常用技术讲解与缓存机制

Redis主要有5种数据类型,包括String,List,Set,Zset,Hash,满足大部分的使用要求

String

  • String:session、对象、小文件(存文件流字节数组,比磁盘IO快)?
  • int:秒杀、限流、计数
  • bitmap:

场景1.setbit和bitcount结合可以统计一年365天哪天有用户操作过,getbit可以获取某一天是否用户操作过

场景2.权限控制,比如每个权限对应一个bit,哪个用户有该权限,该位为1,没权限为0

list

替换java jvm中的集合,可以作为数据共享,java的话多进程间不能共享或不好共享

hash

可以使redis key变少,类似对象。

场景1.商品详情页、商品对应的收藏数、库存啊,放在redis中因为是原子性的,多地方访问都是实时性的

场景2.聚合场景:一个对象在数据库中可能各个属性在不同表,可以聚合到redis同个对象中

set

set性能慢,可以单独redis实例

场景1.SRANDMEMBER或者spop命令可以用来抽奖

场景2.随机事件

场景3.共同好友(交集)

场景4.推荐好友(差集)

sorted_set

有序集合,数量少时底层是zipList压缩表,数据多了变skiplist

场景1.排行榜

场景2.有序事件

场景3.评论分页

Redis缓存机制与应用

Redis 中除开最常用的 5 种数据类型之外,还有 3 种特殊的数据类型

Redis缓存机制与应用

可以通过help命令查询相关类型命令说明,比如:

help @string
help @list

分享一下我记录的几种数据类型的基本命令

String

#设置值
set key value


#获取值
get key


#获取值类型(set的都是String)
type key 


#获取值编码类型(raw/int)
object encoding key


#获取字节长度(注意1字节等于8位bit)
strlen key


#+1计算
#incr key

bitmap(二进制操作)

#设置该值左边第几位为1,bit长度不是8位整数的补成8的整数长度,如 10会补成00000010,  0100000001 会补成0000000100000001
格式:setbit key offset value
setbit k1 1 1  #01000000  对应ascii码为‘@’
get k1  #'@'
#将k1值得第7位设置为1
setbit k1 7 1 #01000001 对应ascii码为‘A’
setbit k1 8 1 #0100000110000000  

#获取对应位置bit的值(1或0)
getbit key offset

getbit k1 7  #假如k1值位00000001,第7位返回1
getbit k1 5  #假如k1值位00000001,第5位返回0

#获取对应范围内1的数量(注意范围是字节区间,不是Bit位区间)
bitcount key [start end]
bitcount k1 #获取bit位为1的数量 相当于bitcount k1 0 -1(假如k1值位00001001,返回2,假如k1值位0000000100001001,返回3)
bitcount k1 0 0 #获取第一个字节的8位Bit中有几位为1 (假如k1值位0000000100001001,返回1),注意是从左边开始数每8位为一个字节

#与、或、非、异或操作
bitop opration destkey key [key...]  #opration可选值(and/or/not),destkey为计算完后要保存的新的key
bitop and k3 k1 k2 #与运算,假如k1为01000000,k2为00000001,则结果k3为00000000
bitop or k3 k1 k2 #或运算,假如k1为01000000,k2为00000001,则结果k3为01000001
bitop xor k3 k1 k2 #异或运算,假如k1为01000000,k2为01000001,则结果k3为00000001
bitop not k3 k1  #非运算,假如k1为01000000,则结果k3为10111111


list(链表)

#左边插入
格式:lpush key value [value...]
lpush k1 1 2 3 4 5 6  #k1值为六项:6 5 4 3 2 1

#右边插入
格式:rpush key value [value...]
rpush k1 1 2 3 4 5 6  #k1值为六项:1 2 3 4 5 6

#获取k1范围内的的值
lrange k1 0 -1 

#获取第一个数(最左边的数)并删除该值(像栈操作)
lpop key  #k1值为六项:1 2 3 4 5 6 那么会返回1,k1值变为2 3 4 5 6

#获取指定下标值
lindex key

#删除范围之外的数值
ltrim key start end 
ltrim k1 0 3 #k1值为六项:1 2 3 4 5 6,那么k1只留下1 2 3 4

hash(对象)

#设置对象属性值
hset key field value
hset user1 name huangtl #设置user1的name属性为huangtl
hset user1 age  18 #设置user1的age属性为18

#单个属性获取
hget user1 age #18

#所有属性获取
hgetall user1 #返回属性、值、属性、值 :name huangtl age 18

#获取对象所有key
hkeys user1 #返回user1的所有属性:name age

#获取对象所有kvalue
hvals user1 #返回user1的所有属性得值:huangtl 18


set(无序、去重集合)

#存入集合数据
sadd key member [member...]
sadd k1 1 2 3 4 5 6 2 #两个2知会存一个2,集合内数值有1 2 3 4 5 6

#获取集合数据
SMEMBERS k1

#随机获取集合几条数据
SRANDMEMBER k1 [count]
SRANDMEMBER k1 #随机获取一条
SRANDMEMBER k1 8 #随机获取8条数据,不会重复的数据,集合不足8条取集合全部数据
SRANDMEMBER k1 -8 #随机取8条,可能会重复的数据,集合不足8条也会取8条数据

#取数值并删除
spop key [count]
spop key  #随机取一条并删除
spop key 5 #随机取5条并删除

#多个集合取并集
SUNION key [key...]
SUNION k1 k2 #假如k1为1 2 3 4 5 6 ,k2为4 5 6 7 8 9,则返回1 2 3 4 5 6 7 8 9

#多个集合取交集
SINTER key [key...]
SINTER k1 k2 #假如k1为1 2 3 4 5 6 ,k2为4 5 6 7 8 9,则返回4 5 6 

#多个集合取差集
sdiff key [key...]
sdiff k1 k2 #按顺序取k1减掉k2中的值后剩下的值 #假如k1为1 2 3 4 5 6 ,k2为4 5 6 7 8 9,则返回1 2 3 
sdiff k2 k1 #按顺序取k2不减掉k1中的值值后剩下的值 #假如k1为1 2 3 4 5 6 ,k2为4 5 6 7 8 9,则返回7 8 9

sorted_set(有序集合)

#新建key并添加元素
zadd key score member [score member...]
zadd set1 1 apple 2 orange 3 banana

#返回范围内集合数据,按score分值正序
zrange set1 0 -1  #默认返回 apple orange banana
zrange set1 -2 -1 #按正序取最后两名,返回 orange banana
ZREVRANGE set1 0 1 #倒序返回前两名,返回  banana orange

#获取元素位置
zrank set1 apple #返回0,代表apple在第一位

事务

Redis 事务本质:一组命令的集合! 一个事务中的所有命令都会被序列化,在事务执行过程的中,会按照顺序执行!

Redis单条命令式保存原子性的,但是事务不保证原子性!

# 开启事务
multi 

#命令入队
set k1 v1 
set k2 v2  
get k2  

# 执行事务
exec   

Redis缓存机制与应用

Redis持久化

持久化就是把内存的数据写到磁盘中去,防止服务宕机了内存数据丢失。

redis提供两种持久化机制 RDB(默认) 和 AOF 机制。

1、RDB

RDB是Redis DataBase缩写快照 ,默认的持久化方式。按照一定的时间将内存的数据以快照的形式保存到硬盘中,对应产生的数据文件为dump.rdb

Redis缓存机制与应用

触发机制

(1)save的规则满足的情况下

(2)执行 flushall 命令

(3)退出redis,也会产生 rdb 文件

2、AOF:

持久化,AOF持久化(即Append Only File持久化),则是将Redis执行的每次写命令记录到单独的日志文件中,当重启Redis会重新将持久化的日志中文件恢复数据。

Redis缓存机制与应用

AOF的三种策略(1)always (2)everysec(默认值) (3)no always

Redis缓存机制与应用

在应用时,要根据自己的实际需求,选择RDB或者AOF,其实,如果想要数据足够安全,可以两种方式都开启,但两种持久化方式同时进行IO操作,会严重影响服务器性能,因此有时候不得不做出选择。

redis主从复制

概念主从复制,是指将一台Redis服务器的数据,复制到其他的Redis服务器。前者称为主节点(master/leader),后者称为从节点(slave/follower);数据的复制是单向的,只能由主节点到从节点。

优点:(1)读写分离 (2)备份

缺点:主服务器宕机,需要人工启动

Redis缓存机制与应用

哨兵模式

哨兵模式是一种特殊的模式,首先Redis提供了哨兵的命令,哨兵是一个独立的进程,作为进程,它会独立运行。其原理是哨兵通过发送命令,等待Redis服务器响应,从而监控运行的多个Redis实例。

Redis缓存机制与应用

使用场景、缓存问题

1、热点数据的缓存

公司项目用户量达到一定数量的时候,这时合理的利用缓存不仅能够提升项目访问速度,还能大大降低数据库的压力。

2、业务上的统计,排行榜

为了保证数据实时效,比如项目的访问量,每次浏览都得给+1,并发量高时如果每次都请求数据库操作无疑是种挑战和压力

3、限时业务的运用

每日签到、限制登录功能等业务场景

4、消息队列

提供基本的发布订阅功能,但不像消息队列那种专业级别

缓存雪崩

原因:大量redis key在同一时间失效,导致大量请求访问数据库,数据库服务器宕机,线上服务大面积报错。

解决办法:

(1)redis高可用

(2)加锁排队,限流降级

(3)缓存失效时间均匀分布

Redis缓存机制与应用

缓存穿透

原因:指缓存和数据库中都没有的数据,导致所有的请求都落到数据库上,造成数据库短时间内承受大量请求而崩掉。

解决办法: (1)接口层增加校验 (2)采用布隆过滤器

Redis缓存机制与应用

缓存击穿

原因:指缓存中没有但数据库中有的数据(一般是缓存时间到期),这时由于并发用户特别多,同时读缓存没读到数据,又同时去数据库去取数据,引起数据库压力瞬间增大,造成过大压力。比如微博热搜。

解决办法:

(1)设置热点数据缓存没有过期时间

(2)加互斥锁

Redis缓存机制与应用

好了就介绍到这了,可以自己动手尝试吧。