爆款云主机2核4G限时秒杀,88元/年起!
查看详情

活动

天翼云最新优惠活动,涵盖免费试用,产品折扣等,助您降本增效!
热门活动
  • 618智算钜惠季 爆款云主机2核4G限时秒杀,88元/年起!
  • 免费体验DeepSeek,上天翼云息壤 NEW 新老用户均可免费体验2500万Tokens,限时两周
  • 云上钜惠 HOT 爆款云主机全场特惠,更有万元锦鲤券等你来领!
  • 算力套餐 HOT 让算力触手可及
  • 天翼云脑AOne NEW 连接、保护、办公,All-in-One!
  • 中小企业应用上云专场 产品组合下单即享折上9折起,助力企业快速上云
  • 息壤高校钜惠活动 NEW 天翼云息壤杯高校AI大赛,数款产品享受线上订购超值特惠
  • 天翼云电脑专场 HOT 移动办公新选择,爆款4核8G畅享1年3.5折起,快来抢购!
  • 天翼云奖励推广计划 加入成为云推官,推荐新用户注册下单得现金奖励
免费活动
  • 免费试用中心 HOT 多款云产品免费试用,快来开启云上之旅
  • 天翼云用户体验官 NEW 您的洞察,重塑科技边界

智算服务

打造统一的产品能力,实现算网调度、训练推理、技术架构、资源管理一体化智算服务
智算云(DeepSeek专区)
科研助手
  • 算力商城
  • 应用商城
  • 开发机
  • 并行计算
算力互联调度平台
  • 应用市场
  • 算力市场
  • 算力调度推荐
一站式智算服务平台
  • 模型广场
  • 体验中心
  • 服务接入
智算一体机
  • 智算一体机
大模型
  • DeepSeek-R1-昇腾版(671B)
  • DeepSeek-R1-英伟达版(671B)
  • DeepSeek-V3-昇腾版(671B)
  • DeepSeek-R1-Distill-Llama-70B
  • DeepSeek-R1-Distill-Qwen-32B
  • Qwen2-72B-Instruct
  • StableDiffusion-V2.1
  • TeleChat-12B

应用商城

天翼云精选行业优秀合作伙伴及千余款商品,提供一站式云上应用服务
进入甄选商城进入云市场创新解决方案
办公协同
  • WPS云文档
  • 安全邮箱
  • EMM手机管家
  • 智能商业平台
财务管理
  • 工资条
  • 税务风控云
企业应用
  • 翼信息化运维服务
  • 翼视频云归档解决方案
工业能源
  • 智慧工厂_生产流程管理解决方案
  • 智慧工地
建站工具
  • SSL证书
  • 新域名服务
网络工具
  • 翼云加速
灾备迁移
  • 云管家2.0
  • 翼备份
资源管理
  • 全栈混合云敏捷版(软件)
  • 全栈混合云敏捷版(一体机)
行业应用
  • 翼电子教室
  • 翼智慧显示一体化解决方案

合作伙伴

天翼云携手合作伙伴,共创云上生态,合作共赢
天翼云生态合作中心
  • 天翼云生态合作中心
天翼云渠道合作伙伴
  • 天翼云代理渠道合作伙伴
天翼云服务合作伙伴
  • 天翼云集成商交付能力认证
天翼云应用合作伙伴
  • 天翼云云市场合作伙伴
  • 天翼云甄选商城合作伙伴
天翼云技术合作伙伴
  • 天翼云OpenAPI中心
  • 天翼云EasyCoding平台
天翼云培训认证
  • 天翼云学堂
  • 天翼云市场商学院
天翼云合作计划
  • 云汇计划
天翼云东升计划
  • 适配中心
  • 东升计划
  • 适配互认证

开发者

开发者相关功能入口汇聚
技术社区
  • 专栏文章
  • 互动问答
  • 技术视频
资源与工具
  • OpenAPI中心
开放能力
  • EasyCoding敏捷开发平台
培训与认证
  • 天翼云学堂
  • 天翼云认证
魔乐社区
  • 魔乐社区

支持与服务

为您提供全方位支持与服务,全流程技术保障,助您轻松上云,安全无忧
文档与工具
  • 文档中心
  • 新手上云
  • 自助服务
  • OpenAPI中心
定价
  • 价格计算器
  • 定价策略
基础服务
  • 售前咨询
  • 在线支持
  • 在线支持
  • 工单服务
  • 建议与反馈
  • 用户体验官
  • 服务保障
  • 客户公告
  • 会员中心
增值服务
  • 红心服务
  • 首保服务
  • 客户支持计划
  • 专家技术服务
  • 备案管家

了解天翼云

天翼云秉承央企使命,致力于成为数字经济主力军,投身科技强国伟大事业,为用户提供安全、普惠云服务
品牌介绍
  • 关于天翼云
  • 智算云
  • 天翼云4.0
  • 新闻资讯
  • 天翼云APP
基础设施
  • 全球基础设施
  • 信任中心
最佳实践
  • 精选案例
  • 超级探访
  • 云杂志
  • 分析师和白皮书
  • 天翼云·创新直播间
市场活动
  • 2025智能云生态大会
  • 2024智算云生态大会
  • 2023云生态大会
  • 2022云生态大会
  • 天翼云中国行
天翼云
  • 活动
  • 智算服务
  • 产品
  • 解决方案
  • 应用商城
  • 合作伙伴
  • 开发者
  • 支持与服务
  • 了解天翼云
      • 文档
      • 控制中心
      • 备案
      • 管理中心

      缓存一致性设计思路

      首页 知识中心 存储 文章详情页

      缓存一致性设计思路

      2024-04-26 08:39:47 阅读次数:45

      Redis,数据库,缓存

      Redis 是现在互联网中使用最广泛的分布式缓存系统,几乎每家公司都在用。它的 qps 可以达到10万每秒,吞吐量还是非常可观的,对于一般体量的互联网公司,一台机器就够了。但不论是什么业务,都不得不面对一个棘手的问题:那就是Redis和源数据的一致性问题。

      一、Spring注解使用,控制Redis缓存更新

      使用 SpringBoot 可以很容易地对 Redis 进行操作。Java 的 Redis 的客户端常用的有三个:jedis、redisson、lettuce。其中,Spring 默认使用的是 lettuce。 很多人喜欢使用 Spring 抽象的缓存包 spring-cache,它可以使用注解,非常方便。它的注解采用 AOP 的方式,对 Cache 层进行了抽象,可以在各种堆内缓存框架和分布式框架之间进行切换。

      我们来看一下它的 maven 坐标:

      <dependency> 
          <groupId>org.springframework.boot</groupId> 
          <artifactId>spring-boot-starter-cache</artifactId> 
      </dependency>
      

      使用spring-cache有三个步骤:

      1. 在启动类上加上@EnableCaching 注解;
      2. 使用 CacheManager 初始化要使用的缓存框架,使用 @CacheConfig 注解注入要使用的资源;
      3. 使用@Cacheable等注解对资源进行缓存。而针对缓存操作的注解有三个:

      @Cacheable 表示如果缓存系统里没有这个数值,就将方法的返回值缓存起来; @CachePut 表示每次执行该方法,都把返回值缓存起来; @CacheEvict 表示执行方法的时候,清除某些缓存值。

      二、缓存一致性问题是如何产生的?

      在说缓存一致性问题如何产生的前,我们先看下缓存的API操作,缓存操作和数据库的CRUD结合起来,大致可以抽象成以下几个方法:

      • getFromDB(key)
      • getFromRedis(key)
      • putToDB(key,value)
      • putToRedis(key,value)
      • deleteFromDB(key)
      • deleteFromRedis(key)
      •  

      把Redis当缓存使用,就说明Redis是不合适作为落地存储的。 一般我们是把最终的数据存放在数据库中的,,一般情况下,Redis 的操作速度比数据库的操作速度快得多。毕竟是 10wQPS 和上千 QPS 的对比。

      上面这些 API 很简单,但把它们的顺序调整一下,一致性就会出现问题。一致性,简单说就是“数据库里的数据”与“Redis 中的数据”不一样了。 对于读的过程,一般是没什么异议的。

      • 首先,读缓存;
      • 如果缓存没有值,那就读取数据库的值;
      • 同时把这个值写进缓存中;

      我们下面主要看一下写模式。

      三、双更新模式:操作不合理,导致数据一致性问题

      我们来看下常见的一个错误编码方式,这些是代码 review 时要着重看的点,也是常出问题的地方。

      public void putValue(key,value){
          putToRedis(key,value);
          putToDB(key,value);//操作失败了
      }
      

      比如我们需要更新一个值,首先刷了缓存,然后把数据库也更新了。但更新数据库过程中出现了异常,发生了回滚。所以,最后“缓存里的数据”和“数据库的数据”就不一样了,也就是出现了数据不一致的问题。

      那如果先更新数据库,再更新缓存呢?如代码:

      public void putValue(key,value){
          putToDB(key,value);
          putToRedis(key,value);
      }
      

      这依然会有问题。

      考虑到下面的场景:操作 A 更新 a 的值为 1,操作 B 更新 a 的值为 2。由于数据库和 Redis 的操作,并不是原子的,它们的执行时长也不是可控制的。当两个请求的时序发生了错乱,就会发生缓存不一致的情况。

      放到实操中来说:A 操作在更新数据库成功后,再更新 Redis;但在更新 Redis 之前,另外一个更新操作 B 执行完毕。那么操作 A 的这个 Redis 更新动作,就和数据库里面的值不一样了。 其实双更新模式的问题,主要不是体现在并发的一致性上,而是业务操作的合理性上。

      我们大多数业务代码并没有经过良好的设计。一个缓存的值,可能是多条数据库记录拼凑或计算得出来的。比如一个余额操作,可能是“钱包里的值”加上“基金里的值”计算得出来的。

      要是采用“更新”的方式,那这个计算代码就分散在项目的多个地方,这就不合理了。

      那么怎么办呢?其实,我们把“缓存更新”改成“删除”就好了。

      四、“后删缓存”,能解决多数不一致

      因为每次读取时,如果判断 Redis 里没有值,就会重新读取数据库,这个逻辑是没问题的。唯一的问题是:我们是先删除缓存?还是后删除缓存?

      答案是后者!

      1、如果先删缓存

      我们来看一下先删除缓存会有什么问题:

      public void putValue(key,value){
          deleteFromRedis(key);
          putToDB(key,value);
      }
      

      操作 B 删除了某个 key 的值,这时候有另外一个请求 A 到来,那么它就会击穿到数据库,读取到旧的值。无论操作 B 更新数据库的操作持续多长时间,都会产生不一致的情况。

      2、如果后删缓存

      而把删除的动作放在后面,就能够保证每次读到的值都是新鲜的,从数据库里面拿到最新的。

      public void putValue(key,value){
          putToDB(key,value);
          deleteFromRedis(key);
      }
      

      这就是我们通常说的Cache-Aside Pattern,也是我们平常使用最多的模式。我们看一下它的具体方式。 先看一下数据的读取过程,规则是“先读 cache,再读 db”,详细步骤如下:

      1. 每次读取数据,都从 cache 里读;
      2. 如果读到了,则直接返回,称作 cache hit;
      3. 如果读不到 cache 的数据,则从 db 里面捞一份,称作 cache miss;
      4. 将读取到的数据塞入到缓存中,下次读取时,就可以直接命中。

      再来看一下写请求,规则是“先更新 db,再删除缓存”,详细步骤如下:

      1. 将变更写入到数据库中;
      2. 删除缓存里对应的数据。

      为什么说最常用呢?因为 Spring cache 就是默认实现了这个模式。

      五、大厂高并发,“后删缓存”依旧不一致

      所以在高并发情况下,Cache Aside Pattern会不够用。下面就描述一个“先更新再删除”这种场景下,依然会产生不一致的情况。场景很好理解、很极端,但在高并发多实例的情况下很常见。

      有一系列的高并发操作,一直执行着更新、删除的动作。某个时刻,它更新数据库的值为 1,然后删除了缓存。

      public void proccess(key,value){
          N:putToDB(key,1);
          N:deleteFromRedis(key);
      
          A:getFromRedis(key);
          A:getFromDB(key)=1;
          B:putToDB(key,2);
          B:deleteFromRedis(key);
          A:putToRedis(key,1);
      
          //DB=2,Redis=1
      }
      

      正在这时,有两个请求发生了:

      • 一个是读操作,读到的当然是数据库的旧值 1,我们记作操作 A;

      • 同时,另外一个请求发起了更新操作,把数据库记录更新为 2,我们记作操作 B。

      一般情况下,读取操作都是比写入操作快的,但我们要考虑两种极端情况:

      • 一种是这个读取操作 A,发生在更新操作 B 的尾部;

      • 一种是操作 A 的这个 Redis 的操作时长,耗费了非常多的时间。比如,这个节点正好发生了 STW。 那么很容易地,读操作 A 的结束时间就超过了操作 B 删除的动作。就像上图虚线部分画的一样,这个时候,数据也是不一致的。

      实际上,你也无法控制它们的执行顺序。只要发生这种情况,大概率数据库和 Redis 的值会不一致。

      但为什么一般公司不去处理这种情况呢?你仔细看这张图,它发生的条件是非常苛刻的。它要求在一系列“并发写”的同时,还有“并发读”的参与。而一般业务是达不到这个量级的,所以一般公司不去处理这种情况,但高并发业务就非常常见了。

      六、如何解决高并发的不一致问题?

      大家看上面这种不一致情况发生的场景,归根结底还是“删除操作”发生在“更新操作”之前了。

      1、延时双删

      而假如有一种机制,能够确保删除动作一定被执行,那就可以解决问题,起码能缩小数据不一致的时间窗口。常用的方法就是延时双删,依然是先更新再删除,唯一不同的是:我们把这个删除动作,在不久之后再执行一次,比如 5 秒之后。

      public void putValue(key,value){
          putToDB(key,value);
          deleteFromRedis(key);
      
          ...deleteFromRedis(key,after5sec);
      }
      

      而删除动作也有多种选择:

      • 如果放在 DelayQueue 中,会有随着 JVM 进程的死亡,丢失更新的风险;

      • 如果放在 MQ 中,会增加编码的复杂性。 所以到了这个时候,并没有一个能够行走天下的解决方案。我们得综合评价很多因素去做设计,比如团队的水平、工期、不一致的忍受程度等。

      2、闪电缓存

      还有一种不太常用的,那就是采用闪电缓存。就是把缓存的失效时间设置非常短,比如 3~4 秒。一旦失效,就会再次去数据库读取最新数据到缓存。但这种方式,在非常高的并发下,同一时间对某个 key 的请求击穿到 DB,会锁死数据库,所以很少用。

      对于一般并发场景,上面的各种修修补补,已经把不一致问题降低到很小的概率了。但是它仍然是有问题的,因为它引入了一个高可用问题:缓存击穿。

      七、如何解决缓存击穿?

      缓存击穿,指的是缓存中没有数据但数据库中有,由于同一时刻请求量特别大,但是没有读到缓存数据,就会一股脑涌入到数据库中读取,造成数据库假死。

      任何删除缓存的动作都会造成缓存击穿。 所以我们上面一直说的是要删除缓存,但在极高并发下,你还不能乱删。 你反过头去看一下,好像我们一开始双更的方案比 Cache-Aside Pattern 还要靠谱一些,起码能用。怎么回事?代码还能不能写了?这就是业务开发中的特事特办,要专门针对这种功能进行编码。场景特殊时,代码也就不要追求极端优雅性了,毕竟也没有万能的解决方案。

      这时,盘点一下我们手头上的工具,可以看到有两种不同的解决方式:

      • 读操作互斥,使用锁或者分布式锁来控制;

      • 更新集中,采用定时或者 binlog 的方式同步更新。

      1、读操作互斥

      先来看一下锁操作。我们依然采用 Cache-Aside Pattern,只不过在读的时候进行一下处理。来看一下伪代码,从 Redis 读取不到值的时候,我们要上锁去从数据库中读这个值。我们这里默认这个值是有的,否则就得处理缓存穿透的问题。

      get(key){
          res = getFromRedis(key);
          //读取缓存为null
          if(null == res){
              lock.lock(...);
              //再次读取缓存为null
              res = getFromRedis(key);
              if(res == null){
                  res = getFromDB(key);
                  if(null != res){
                      //读取设值
                      putToRedis(key,res);
                  }
              }
              lock.unlock();
          }
          return res;
      }
      getFromDB(key){
          ...
      }
      

      使用分布式锁和非分布式锁的主要区别,还是在于数据一致性窗口上:

      • 对于多线程锁来说,可能某些节点执行得非常慢,更新了旧的值到 Redis;

      • 对于分布式锁来说,肯定又是一个效率上的话题。

      2、集中更新

      我们再来看一下集中更新。这个很美好,但大多数业务很复杂,这对业务架构的前期设计要求非常高。比如通过 Binlog 方式,典型的如 Canal。我们不会在代码里做任何 Redis 更新的操作,而是会设计一个服务,订阅最新的 binlog 更新信息,然后解析它们,主动去更新缓存。这个一般在大并发大厂才会采用。

      还有一种就是弱化数据库。所有的数据首先在 Redis 落地,也就是把 Redis 作为数据库使用,把数据库作为备份库使用。有定时任务,定期把 Redis 中的数据,保存到数据库或其他地方。

      一般,重要业务还要配备一个对账系统,定时去扫描,以便快速发现不一致的情况。

      版权声明:本文内容来自第三方投稿或授权转载,原文地址:https://blog.51cto.com/jiangyi/6195185,作者:我爱哇哈哈,版权归原作者所有。本网站转在其作品的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如因作品内容、版权等问题需要同本网站联系,请发邮件至ctyunbbs@chinatelecom.cn沟通。

      上一篇:Xenserver 彻底删除控制台残留的本地存储

      下一篇:在浏览器输入一个url后按回车,会发生什么?

      相关文章

      2025-05-19 09:05:01

      项目更新到公网服务器的操作步骤

      项目更新到公网服务器的操作步骤

      2025-05-19 09:05:01
      公网 , 数据库 , 文件 , 更新 , 服务器
      2025-05-19 09:04:53

      Django rest froamwork-ModelSerializer

      Django rest froamwork-ModelSerializer

      2025-05-19 09:04:53
      django , sqlite , 数据库
      2025-05-19 09:04:38

      mysql只有在任务处于完成状态才能运行

      mysql只有在任务处于完成状态才能运行

      2025-05-19 09:04:38
      MySQL , 任务 , 数据库 , 查询 , 状态
      2025-05-19 09:04:30

      设置28401事件后启动数据库时报错ORA-49100

      设置28401事件后启动数据库时报错ORA-49100

      2025-05-19 09:04:30
      ORA , 数据库 , 时报
      2025-05-16 09:15:24

      Redis Hash哈希

      Redis Hash哈希

      2025-05-16 09:15:24
      field , hash , Redis , value , 哈希
      2025-05-14 10:03:13

      MySQL 索引优化以及慢查询优化

      MySQL 是一种广泛使用的关系型数据库管理系统,因其性能优异和使用便捷而备受欢迎。然而,随着数据量的增长和查询复杂度的增加,性能瓶颈也变得越来越明显。

      2025-05-14 10:03:13
      MySQL , 优化 , 使用 , 性能 , 数据库 , 查询 , 索引
      2025-05-14 10:03:13

      【Mybatis】-防止SQL注入

      【Mybatis】-防止SQL注入

      2025-05-14 10:03:13
      SQL , 执行 , 日志 , 注入 , 缓存 , 编译 , 语句
      2025-05-14 10:03:05

      Oracle数据库用户权限分析

      Oracle数据库用户权限分析

      2025-05-14 10:03:05
      Oracle , 分析 , 数据库 , 权限 , 用户
      2025-05-14 10:02:48

      互斥锁解决redis缓存击穿

      在高并发系统中,Redis 缓存是一种常见的性能优化方式。然而,缓存击穿问题也伴随着高并发访问而来。

      2025-05-14 10:02:48
      Redis , 互斥 , 数据库 , 线程 , 缓存 , 请求
      2025-05-14 10:02:48

      SQL Server 事务日志体系结构1--基本术语

      事务包括对数据库的一次更改或一系列更改。它有一个明确开始和明确结束。开始时使用BEGIN TRANSACTION语句,或者SQL Server会自动为您开始一个事务。

      2025-05-14 10:02:48
      Server , SQL , 事务 , 数据库 , 日志 , 磁盘
      查看更多
      推荐标签

      作者介绍

      天翼云小翼
      天翼云用户

      文章

      33561

      阅读量

      5265950

      查看更多

      最新文章

      【Mybatis】-防止SQL注入

      2025-05-14 10:03:13

      分隔链表-146. LRU 缓存

      2025-05-13 09:50:28

      LRU 缓存

      2025-05-12 08:43:47

      DS初阶:时间复杂度和空间复杂度

      2025-05-08 09:04:25

      springboot系列教程(十三):基于Cache注解模式,管理Redis缓存

      2025-05-07 09:08:42

      【Linux 从基础到进阶】Redis缓存服务安装与调优

      2025-05-06 09:18:38

      查看更多

      热门文章

      jsp电子商务购物车之五 数据库存储篇2

      2022-11-14 02:56:39

      leetcode数据结构-LRU

      2023-03-02 10:21:35

      精华推荐 | 【深入浅出RocketMQ原理及实战】「底层原理挖掘系列」透彻剖析贯穿RocketMQ的存储系统的实现原理和持久化机制

      2023-02-24 10:12:47

      elasticsearch预加载数据到文件系统缓存

      2024-09-25 10:13:57

      jedis工具类

      2023-02-16 08:14:03

      mysql列存储引擎-POC-需求分析

      2023-05-09 06:03:25

      查看更多

      热门标签

      存储 缓存 内存 数据库 数据 redis mysql 服务器 数据恢复 Redis linux java 链表 MySQL sql
      查看更多

      相关产品

      弹性云主机

      随时自助获取、弹性伸缩的云服务器资源

      天翼云电脑(公众版)

      便捷、安全、高效的云电脑服务

      对象存储

      高品质、低成本的云上存储服务

      云硬盘

      为云上计算资源提供持久性块存储

      查看更多

      随机文章

      laravel5.5 Call to undefined method Closure::__set_state()

      搭建Redis主从集群和哨兵

      MySQL 数据库系列(五)-----索引、事务与存储引擎(Linux版)

      redis中什么是缓存穿透?该如何解决?

      [redis] redis配置中的save引起rdb快照生成的规则

      串口通讯(meArm机械臂)

      • 7*24小时售后
      • 无忧退款
      • 免费备案
      • 专家服务
      售前咨询热线
      400-810-9889转1
      关注天翼云
      • 旗舰店
      • 天翼云APP
      • 天翼云微信公众号
      服务与支持
      • 备案中心
      • 售前咨询
      • 智能客服
      • 自助服务
      • 工单管理
      • 客户公告
      • 涉诈举报
      账户管理
      • 管理中心
      • 订单管理
      • 余额管理
      • 发票管理
      • 充值汇款
      • 续费管理
      快速入口
      • 天翼云旗舰店
      • 文档中心
      • 最新活动
      • 免费试用
      • 信任中心
      • 天翼云学堂
      云网生态
      • 甄选商城
      • 渠道合作
      • 云市场合作
      了解天翼云
      • 关于天翼云
      • 天翼云APP
      • 服务案例
      • 新闻资讯
      • 联系我们
      热门产品
      • 云电脑
      • 弹性云主机
      • 云电脑政企版
      • 天翼云手机
      • 云数据库
      • 对象存储
      • 云硬盘
      • Web应用防火墙
      • 服务器安全卫士
      • CDN加速
      热门推荐
      • 云服务备份
      • 边缘安全加速平台
      • 全站加速
      • 安全加速
      • 云服务器
      • 云主机
      • 智能边缘云
      • 应用编排服务
      • 微服务引擎
      • 共享流量包
      更多推荐
      • web应用防火墙
      • 密钥管理
      • 等保咨询
      • 安全专区
      • 应用运维管理
      • 云日志服务
      • 文档数据库服务
      • 云搜索服务
      • 数据湖探索
      • 数据仓库服务
      友情链接
      • 中国电信集团
      • 189邮箱
      • 天翼企业云盘
      • 天翼云盘
      ©2025 天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
      公司地址:北京市东城区青龙胡同甲1号、3号2幢2层205-32室
      • 用户协议
      • 隐私政策
      • 个人信息保护
      • 法律声明
      备案 京公网安备11010802043424号 京ICP备 2021034386号