1. 前言

1.1 使用场景

问题现象

  • 海量用户
  • 高并发

罪魁祸首——关系型数据库

  • 性能瓶颈：磁盘IO性能低下
  • 扩展瓶颈：数据关系复杂，扩展性差，不便于大规模集群

解决思路 Nosql

  • 降低磁盘IO次数，越低越好 —— 内存存储
  • 去除数据间关系，越简单越好—— 不存储关系，仅存储数据

1.2 Nosql

NoSQL：即 Not-Only SQL（ 泛指非关系型的数据库），作为关系型数据库的补充
Nosql 作用：应对基于海量用户和海量数据前提下的数据处理问题

特征：

  • 可扩容，可伸缩
  • 大数据量下高性能
  • 灵活的数据模型
  • 高可用

常见 Nosql 数据库：

  • Redis
  • memcache
  • HBase
  • MongoDB

1.3 解决方案（电商场景）

数量小， 变化小 MySQL

商品基本信息：名称、价格、厂商

文档处理 MongoDB

商品附加信息：描述、详情、评论

图片信息 分布式文件系统

搜索关键字 ES、Lucene、solr

热点信息 Redis、memcache、tair

高频、波段性

基本信息存储

2. Redis简介

2.1 Redis

概念：*Redis (REmote DIctionary Server)* 是用 C 语言开发的一个开源的高性能键值对（key-value）数据库

Redis 特征：

  1. 数据间没有必然的关联关系
  2. 内部采用单线程机制进行工作
  3. 高性能。官方提供测试数据，50个并发执行100000 个请求,读的速度是110000 次/s,写的速度是81000次/s
  4. 多数据类型支持
    • 字符串类型 string
    • 列表类型 list
    • 散列类型 hash
    • 集合类型 set
    • 有序集合类型 sorted_set
  5. 持久化支持。可以进行数据灾难恢复

2.2 Redis 的应用

  • 为热点数据加速查询（主要场景），如热点商品、热点新闻、热点资讯、推广类等高访问量信息等
  • 任务队列，如秒杀、抢购、购票排队等
  • 即时信息查询，如各位排行榜、各类网站访问统计、公交到站信息、在线人数信息（聊天室、网站）、设备信号等
  • 时效性信息控制，如验证码控制、投票控制等
  • 分布式数据共享，如分布式集群架构中的 session 分离
  • 消息队列
  • 分布式锁

3. Redis 的基本操作

3.1启动

启动

1
redis-server redis6379.conf

登录

1
redis-cli -p 6379

3.2 功能性命令

信息添加

功能：设置 key，value 数据

1
2
3
set key value

set name windandstill

信息查询

功能：根据 key 查询对应的 value，如果不存在，返回空（nil）

1
2
3
get key

get name

3.3 清除屏幕信息

功能：清除屏幕中的信息

1
clear

3.4 帮助信息查阅

功能：获取命令帮助文档，获取组中所有命令信息名称

1
2
help 命令名称
help @组名

3.5 退出指令

退出客户端命令行模式

功能：退出客户端

1
2
3
quit
exit
<ESC>

3.6 关闭客户端

1
redis-cli shutdown

4. 数据存储类型介绍

4.1 redis 数据存储格式

  • redis 自身是一个 Map，其中所有的数据都是采用 key : value 的形式存储
  • 数据类型指的是存储的数据的类型，也就是 value 部分的类型，key 部分永远都是字符串

4.2 string

  • 存储的数据：单个数据，最简单的数据存储类型，也是最常用的数据存储类型
  • 存储数据的格式：一个存储空间保存一个数据
  • 存储内容：通常使用字符串，如果字符串以整数的形式展示，可以作为数字操作使用

设置数值数据增加指定范围的值

1
2
3
4
5
6
7
//设置数值数据减少指定范围的值
incr key
incrby key increment
incrbyfloat key increment
//设置数值数据减少指定范围的值
decr key
decrby key increment

string 作为数值操作

  • string在redis内部存储默认就是一个字符串，当遇到增减类操作incr，decr时会转成数值型进行计算
  • redis所有的操作都是原子性的，采用单线程处理所有业务，命令是一个一个执行的，因此无需考虑并发带来的数据影响
  • 注意：按数值进行操作的数据，如果原始数据不能转成数值，或超越了redis 数值上限范围，将报错
    9223372036854775807（java中long型数据最大值，Long.MAX_VALUE）

redis用于控制数据库表主键id，为数据库表主键提供生成策略，保障数据库表的主键唯一性
此方案适用于所有数据库，且支持数据库集群

常用操作

指令 作用
set key value 添加/修改数据
get key 获取数据
del key 删除数据
mset key1 value1 key2 value2 添加/修改多个数据
mget key1 key2 获取多个数据
strlen key 获取数据字符个数（字符串长度）
append key value 追加信息到原始信息后部（如果原始信息存在就追加，否则新建）

设置数据具有指定的生命周期

1
2
setex key seconds value
psetex key milliseconds value

redis 控制数据的生命周期，通过数据是否失效控制业务行为，适用于所有具有时效性限定控制的操作

注意事项

  • 数据操作不成功的反馈与数据正常操作之间的差异

    ① 表示运行结果是否成功
    (integer) 0 → false 失败
    (integer) 1 → true 成功

    ② 表示运行结果值
    (integer) 3 → 3 3个
    (integer) 1 → 1 1个
    数据未获取到 （nil）等同于null

  • 数据最大存储量 512MB

  • 数值计算最大范围（java中的long的最大值）9223372036854775807

使用案例

需求 :主页高频访问信息显示控制，例如新浪微博大V主页显示粉丝数与微博数量

解决方案

  • 在redis中为大V用户设定用户信息，以用户主键和属性值作为key，后台设定定时刷新策略即可

    eg: user:id :3506728370:fans → 12210947

    eg: user:id :3506728370:blogs → 6164

    eg: user:id :3506728370:focuss → 83

  • 在redis中以json格式存储大V用户信息，定时刷新（也可以使用hash类型）

eg: user:id :3506728370 → {“id”:3506728370,”name”:”春晚”,”fans”:12210862,”blogs”:6164, “focus”:83}

string 类型应用场景

  • redis应用于各种结构型和非结构型高热度数据访问加速
  • blog数量粉丝数等
  • 定时投票

key 的设置约定

数据库中的热点数据key命名惯例

表名:主键名:主键值:字段名

4.3 hash

  • 新的存储需求：对一系列存储的数据进行编组，方便管理，典型应用存储对象信息
  • 需要的存储结构：一个存储空间保存多个键值对数据
  • hash类型：底层使用哈希表结构实现数据存储

hash的存储模式为 key hash空间 hash空间里有 filed 和 value

redis hash存储结构

hash存储结构优化

  • 如果field数量较少，存储结构优化为类数组结构
  • 如果field数量较多，存储结构使用HashMap结构

常用指令

指令 作用
hset key field value 添加/修改数据
hget key field
hgetall key		 获取数据
hdel key field1 [field2] 删除数据
hmset key field1 value1 field2 value2 添加/修改多个数据
hmget key field1 field2 获取多个数据
hlen key 获取哈希表中字段的数量
hexists key field 获取哈希表中是否存在指定的字段
hkeys key
hvals key		 获取哈希表中所有的字段名或字段值
hincrby key field increment
hincrbyfloat key field increment		 设置指定字段的数值数据增加指定范围的值

hash 类型数据操作的注意事项

  • hash类型下的value只能存储字符串，不允许存储其他数据类型，不存在嵌套现象。如果数据未获取到，对应的值为（nil）
  • 每个 hash 可以存储 2^32 - 1 个键值对
  • hash类型十分贴近对象的数据存储形式，并且可以灵活添加删除对象属性
    但hash设计初衷不是为了存储大量对象而设计的，切记不可滥用，更不可以将hash作为对象列表使用
  • hgetall 操作可以获取全部属性，如果内部field过多，遍历整体数据效率就很会低，有可能成为数据访问瓶颈

hash 类型应用场景

  • 购物车数据存储设计
  • 抢购，限购类、限量发放优惠卷、激活码等业务的数据存储设计
  • string存储对象（json）与hash存储对象

4.4 list

  • 数据存储需求：存储多个数据，并对数据进入存储空间的顺序进行区分
  • 需要的存储结构：一个存储空间保存多个数据，且通过数据可以体现进入顺序
  • list类型：保存多个数据，底层使用双向链表存储结构实现

redis list存储结构

常用指令

指令 作用
lpush key [value1]
rpush key [value1]		 添加/修改数据
lrange key start stop
lindex key index
llen key		 获取数据
lpop key
rpop key		 获取并移除数据
blpop [key1] timeout
brpop [key1] timeout
brpoplpush source destination timeout		 规定时间内获取并移除数据
lrem key count value 移除指定数据

list 类型数据操作注意事项

  • list中保存的数据都是string类型的，数据总容量是有限的，最多2 32 - 1 个元素 (4294967295)
  • list具有索引的概念，但是操作数据时通常以队列的形式进行入队出队操作，或以栈的形式进行入栈出栈操作
  • 获取全部数据操作结束索引设置为-1
  • list可以对数据进行分页操作，通常第一页的信息来自于list，第2页及更多的信息通过数据库的形式加载

list 类型应用场景

  • 关注列表
  • 点赞
  • 资讯

4.5 set

  • 新的存储需求：存储大量的数据，在查询方面提供更高的效率
  • 需要的存储结构：能够保存大量的数据，高效的内部存储机制，便于查询
  • set类型：与hash存储结构完全相同，仅存储键，不存储值（nil），并且值是不允许重复的

redis set存储结构

常用指令

指令 作用
sadd key [member1] 添加数据
smembers key 获取全部数据
srem key [member1] 删除数据
scard key 获取集合数据总量
sismember key member 判断集合中是否包含指定数据
srandmember key [count] 随机获取集合中指定数量的数据
spop key [count] 随机获取集合中的某个数据并将该数据移出集合
sinter [key1]
sunion [key1]
sdiff [key1]		 求两个集合的交、并、差集
sinterstore destination [key1]
sunionstore destination [key1]
sdiffstore destination [key1]		 求两个集合的交、并、差集并存储到指定集合中
smove source destination member 将指定数据从原始集合中移动到目标集合中

注意事项

  • set 类型不允许数据重复，如果添加的数据在 set 中已经存在，将只保留一份
  • set 虽然与hash的存储结构相同，但是无法启用hash中存储值的空间

set 类型应用场景

  • 随机推荐类信息检索，例如热点歌单推荐，热点新闻推荐，热卖旅游线路，应用APP推荐， 大V推荐等

  • redis 应用于同类信息的关联搜索，二度关联搜索，深度关联搜索

    • 显示共同关注（一度）
    • 由用户A出发，获取到好友用户B的购物清单列表（二度）

  • 统计网站的PV（访问量）,UV（独立访客）,IP（独立IP）

    • PV：网站被访问次数，可通过刷新页面提高访问量
      建立string类型数据，利用incr统计日访问量（PV）
    • UV：网站被不同用户访问的次数，可通过cookie统计访问量，相同用户切换IP地址，UV不变
      建立set模型，记录不同cookie数量（UV）
    • IP：网站被不同IP地址访问的总次数，可通过IP地址统计访问量，相同IP不同用户访问，IP不变
      建立set模型，记录不同IP数量（IP）

  • 黑白名单

    • 基于经营战略设定问题用户发现、鉴别规则
    • 周期性更新满足规则的用户黑名单，加入set集合
    • 用户行为信息达到后与黑名单进行比对，确认行为去向
    • 黑名单过滤IP地址：应用于开放游客访问权限的信息源
    • 黑名单过滤设备信息：应用于限定访问设备的信息源
    • 黑名单过滤用户：应用于基于访问权限的信息源

4.6 sorted_set

  • 新的存储需求：数据排序有利于数据的有效展示，需要提供一种可以根据自身特征进行排序的方式
  • 需要的存储结构：新的存储模型，可以保存可排序的数据
  • sorted_set类型：在set的存储结构基础上添加可排序字段

sorted_ser存储结构

常用指令

指令 作用
zadd key [score1 member1] 添加数据
zrange key start stop [WITHSCORES]
zrevrange key start stop [WITHSCORES]		 获取全部数据
zrem key [member …] 删除数据
zrangebyscore key min max [WITHSCORES] [LIMIT]
zrevrangebyscore key max min [WITHSCORES]		 按条件获取数据
zremrangebyrank key start stop
zremrangebyscore key min max		 条件删除数据
zcard key
zcount key min max		 获取集合数据总量
zinterstore destination numkeys [key …]
zunionstore destination numkeys [key …]		 集合交、并操作
zrank key member
zrevrank key member		 获取数据对应的索引（排名）
zscore key member
zincrby key increment member		 score值获取与修改
  • min与max用于限定搜索查询的条件
  • start与stop用于限定查询范围，作用于索引，表示开始和结束索引
  • offset与count用于限定查询范围，作用于查询结果，表示开始位置和数据总量

sorted_set 类型数据操作的注意事项

  • score保存的数据存储空间是64位，如果是整数范围是-9007199254740992~9007199254740992
  • score保存的数据也可以是一个双精度的double值，基于双精度浮点数的特征，可能会丢失精度，使用时候要慎重
  • sorted_set 底层存储还是基于set结构的，因此数据不能重复，如果重复添加相同的数据，score值将被反复覆盖，保留最后一次修改的结果

sorted_set 应用场景

redis 应用于计数器组合排序功能对应的排名

redis 应用于定时任务执行顺序管理或任务过期管理

5 案例

5.1 限次数限时间

试用用户的使用行为进行限速，限制每个用户每分钟最多发起10次调用

解决方案

  • 设计计数器，记录调用次数，用于控制业务执行次数
    以用户id作为key，使用次数作为value
  • 在调用前获取次数，判断是否超过限定次数
    不超过次数的情况下，每次调用计数+1 业务调用失败，计数-1
  • 为计数器设置生命周期为指定周期，例如1秒/分钟，自动清空周期内使用次数

改良

  • 取消最大值的判定，利用incr操作超过最大值抛出异常的形式替代每次判断是否大于最大值
  • 判断是否为nil
    如果是，设置为Max-次数
    如果不是，计数+1 业务调用失败，计数-1
  • 遇到异常即+操作超过上限，视为使用达到上限

5.2 消息提醒

指定消息 消息的显示先后顺序

解决方案

  • 依赖list的数据具有顺序的特征对消息进行管理，将list结构作为栈使用
  • 对置顶与普通会话分别创建独立的list分别管理
  • 当某个list中接收到用户消息后，将消息发送方的id从list的一侧加入list（此处设定左侧）
  • 多个相同id发出的消息反复入栈会出现问题，在入栈之前无论是否具有当前id对应的消息，先删除对应id
  • 推送消息时先推送置顶会话list，再推送普通会话list，推送完成的list清除所有数据
  • 消息的数量，也就是微信用户对话数量采用计数器的思想另行记录，伴随list操作同步更新