0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

缓存是什么 为什么需要缓存

倩倩 来源:未知 作者:科技有点牛 2019-09-28 02:48 次阅读

背景

缓存是软件开发中一个非常有用的概念,数据库缓存更是在项目中必然会遇到的场景。而缓存一致性的保证,更是在面试中被反复问到,这里进行一下总结,针对不同的要求,选择恰到好处的一致性方案。

缓存是什么 为什么需要缓存

缓存是什么

存储的速度是有区别的。缓存就是把低速存储的结果,临时保存在高速存储的技术。

如图所示,金字塔更上面的存储,可以作为下面存储的缓存。我们本次的讨论,主要针对数据库缓存场景,将以redis作为mysql的缓存为案例来进行。

为什么需要缓存

存储如mysql通常支持完整的ACID特性,因为可靠性,持久性等因素,性能普遍不高,高并发的查询会给mysql带来压力,造成数据库系统的不稳定。同时也容易产生延迟。根据局部性原理,80%请求会落到20%的热点数据上,在读多写少场景,增加一层缓存非常有助提升系统吞吐量和健壮性。

存在问题

存储的数据随着时间可能会发生变化,而缓存中的数据就会不一致。具体能容忍的不一致时间,需要具体业务具体分析,但是通常的业务,都需要做到最终一致。

redis作为mysql缓存

通常的开发模式中,都会使用mysql作为存储,而redis作为缓存,加速和保护mysql。但是,当mysql数据更新之后,redis怎么保持同步呢。

强一致性同步成本太高,如果追求强一致,那么没必要用缓存了,直接用mysql即可。通常考虑的,都是最终一致性。

解决方案

方案一

通过key的过期时间,mysql更新时,redis不更新。 这种方式实现简单,但不一致的时间会很长。如果读请求非常频繁,且过期时间比较长,则会产生很多长期的脏数据。

优点:

开发成本低,易于实现;

管理成本低,出问题的概率会比较小。

不足:

完全依赖过期时间,时间太短容易缓存频繁失效,太长容易有长时间更新延迟

方案二

在方案一的基础上扩展,通过key的过期时间兜底,并且,在更新mysql时,同时更新redis。

优点:

相对方案一,更新延迟更小。

不足:

如果更新mysql成功,更新redis却失败,就退化到了方案一;

在高并发场景,业务server需要和mysql,redis同时进行连接。这样是损耗双倍的连接资源,容易造成连接数过多的问题。

方案三

针对方案二的同步写redis进行优化,增加消息队列,将redis更新操作交给kafka,由消息队列保证可靠性,再搭建一个消费服务,来异步更新redis。

优点:

消息队列可以用一个句柄,很多消息队列客户端还支持本地缓存发送,有效解决了方案二连接数过多的问题;

使用消息队列,实现了逻辑上的解耦;

消息队列本身具有可靠性,通过手动提交等手段,可以至少一次消费到redis。

不足:

依旧解决不了时序性问题,如果多台业务服务器分别处理针对同一行数据的两条请求,举个栗子,a = 1; a = 5;,如果mysql中是第一条先执行,而进入kafka的顺序是第二条先执行,那么数据就会产生不一致。

引入了消息队列,同时要增加服务消费消息,成本较高。

方案四

通过订阅binlog来更新redis,把我们搭建的消费服务,作为mysql的一个slave,订阅binlog,解析出更新内容,再更新到redis。

优点:

在mysql压力不大情况下,延迟较低;

和业务完全解耦;

解决了时序性问题。

缺点:

要单独搭建一个同步服务,并且引入binlog同步机制,成本较大。

总结

方案选型

首先确认产品上对延迟性的要求,如果要求极高,且数据有可能变化,别用缓存。

通常来说,方案1就够了,笔者咨询过4,5个团队,基本都是用方案1,因为能用缓存方案,通常是读多写少场景,同时业务上对延迟具有一定的包容性。方案1没有开发成本,其实比较实用。

如果想增加更新时的即时性,就选择方案2,不过没必要做重试保证之类的。

方案3,方案4针对于对延时要求比较高业务,一个是推模式,一个是拉模式,而方案4具备更强的可靠性,既然都愿意花功夫做处理消息的逻辑,不如一步到位,用方案4。

结论

一般情况,方案1够用。若延时要求高,直接选择方案4。如果是面试场景,从简单讲到复杂,面试官会一步一步追问,咱们就一点点推导,宾主尽欢。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 缓存
    +关注

    关注

    1

    文章

    232

    浏览量

    26645
收藏 人收藏

    评论

    相关推荐

    本地缓存的技术实践

    面试的时候,连缓存都不清楚,那确实多少显的有些尴尬! 项目里面为什么要引入缓存?这个问题还得结合项目中的业务来回答! 引入缓存,其实主要有两个用途: 高性能 、 高并发 ! 假设某个操作非常频繁,比如网站的商城首页,
    的头像 发表于 09-30 15:29 661次阅读
    本地<b class='flag-5'>缓存</b>的技术实践

    硬盘缓存

    硬盘缓存              缓存(Cache)是SCSI硬盘与外部总线交换数据的场所,硬盘先将数据传送到缓存,再由
    发表于 12-17 14:43 1208次阅读

    硬盘缓存是什么?

    硬盘缓存是什么? 缓存是硬盘内部的高速存储器,硬盘需要通过它来完成与外部数据总线交换数据的过程。硬盘本身的高速缓存(Cache)
    发表于 01-22 10:40 709次阅读

    Mybatis缓存之一级缓存

    是SqlSession级别的缓存。在操作数据库时需要构造sqlSession对象,在对象中有一个数据结构(HashMap)用于存储缓存数据。不同的sqlSession之间的缓存数据区域
    发表于 11-27 20:44 1217次阅读
    Mybatis<b class='flag-5'>缓存</b>之一级<b class='flag-5'>缓存</b>

    渲染中的帧缓存和深度缓存

    渲染涉及大量的缓存,这里缓存只是一个简单的存有像素数据的矩形内存块,最重要缓存是帧缓存和深度缓存
    的头像 发表于 05-14 11:44 6303次阅读
    渲染中的帧<b class='flag-5'>缓存</b>和深度<b class='flag-5'>缓存</b>

    什么是Web缓存,HTTP缓存和浏览器缓存的区别

    前端缓存主要是分为HTTP缓存和浏览器缓存。其中HTTP缓存是在HTTP请求传输时用到的缓存,主要在服务器代码上设置;而浏览器
    发表于 09-13 04:17 9420次阅读
    什么是Web<b class='flag-5'>缓存</b>,HTTP<b class='flag-5'>缓存</b>和浏览器<b class='flag-5'>缓存</b>的区别

    缓存的基本原理 缓存的分类

    缓存的主要手段有:浏览器缓存、CDN、反向代理、本地缓存、分布式缓存、数据库缓存
    发表于 06-13 12:04 4644次阅读

    缓存如何工作,如何设计CPU缓存

    20世纪80年代,CPU性能有了显著提升,但这受到板载内存访问速度缓慢增长的阻碍。随着这种差异的恶化,工程师们发现了一种通过新的设计技术缓存来解决问题的方法。本文将帮助你进一步了解什么是缓存,它如何工作以及如何设计CPU缓存
    的头像 发表于 11-19 17:23 2705次阅读

    到底是更新缓存还是删缓存

    如何保证缓存和数据库一致性,这是一个老生常谈的话题了。 但很多人对这个问题,依旧有很多疑惑: 到底是更新缓存还是删缓存? 到底选择先更新数据库,再删除缓存,还是先删除
    的头像 发表于 10-22 17:05 5011次阅读
    到底是更新<b class='flag-5'>缓存</b>还是删<b class='flag-5'>缓存</b>

    弄懂HTTP缓存机制及原理

    两类缓存规则可以同时存在,强制缓存优先级高于对比缓存,也就是说,当执行强制缓存的规则时,如果缓存生效,直接使用
    的头像 发表于 01-29 09:38 663次阅读

    聊聊本地缓存和分布式缓存

    本地缓存 :应用中的缓存组件,缓存组件和应用在同一进程中,缓存的读写非常快,没有网络开销。但各应用或集群的各节点都需要维护自己的单独
    发表于 06-11 15:12 810次阅读
    聊聊本地<b class='flag-5'>缓存</b>和分布式<b class='flag-5'>缓存</b>

    如何使用缓存

    缓存技术被认为是减轻服务器负载、降低网络拥塞、增强Web可扩展性的有效途径之一,其基本思想是利用客户访问的时间局部性(Temproral Locality)原理, 将客户访问过的内容在Cache中
    的头像 发表于 10-08 14:07 585次阅读

    mybatis一级缓存和二级缓存的原理

    MyBatis是一种轻量级的持久化框架,它提供了一级缓存和二级缓存的机制来优化数据库操作性能。一级缓存是默认开启的,而二级缓存需要手动配置启
    的头像 发表于 12-03 11:55 1077次阅读

    Redis缓存预热+缓存雪崩+缓存击穿+缓存穿透要点简析

    缓存预热就是系统上线后,提前将相关的缓存数据直接加载到缓存系统。
    的头像 发表于 12-25 09:41 843次阅读
    Redis<b class='flag-5'>缓存</b>预热+<b class='flag-5'>缓存</b>雪崩+<b class='flag-5'>缓存</b>击穿+<b class='flag-5'>缓存</b>穿透要点简析

    缓存之美——如何选择合适的本地缓存

    Guava cache是Google开发的Guava工具包中一套完善的JVM本地缓存框架,底层实现的数据结构类似于ConcurrentHashMap,但是进行了更多的能力拓展,包括缓存过期时间设置、缓存容量设置、多种淘汰策略、
    的头像 发表于 11-17 14:24 122次阅读
    <b class='flag-5'>缓存</b>之美——如何选择合适的本地<b class='flag-5'>缓存</b>?