0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

MQ要怎么实现缓冲流量和削峰填谷

西西 来源:itpub技术栈 作者:沈剑 2020-11-01 10:34 次阅读

MQ,很多的应用场景,是消息的订阅发布,是系统上下游的解耦,MQ的还有一个典型应用场景是缓冲流量,削峰填谷,本文将简单介绍下,MQ要怎么实现缓冲流量,削峰填谷。

站点与服务上下游之间,一般如何通讯?有两种常见的方式。

一种是“直接调用”,通过RPC框架,上游直接调用下游。

一种是“MQ推送”,上游将消息发给MQ,MQ将消息推送给下游。

这两种方式,能否缓存流量,能否削峰填谷?不能。不管采用“直接调用”还是“MQ推送”,都有一个缺点,下游消息接收方无法控制到达自己的流量,如果调用方不限速,很有可能把下游压垮。

举个栗子,秒杀业务:上游:发起下单操作。下游:完成秒杀业务逻辑(库存检查,库存冻结,余额检查,余额冻结,订单生成,余额扣减,库存扣减,生成流水,余额解冻,库存解冻)。

上游下单业务简单,每秒发起了10000个请求,下游秒杀业务复杂,每秒只能处理2000个请求,很有可能上游不限速的下单,导致下游系统被压垮,引发雪崩。

如何避免下游被压垮呢?为了避免雪崩,常见的优化方案有两种:(1)业务上游队列缓冲,限速发送;(2)业务下游队列缓冲,限速执行;

不管哪种方案,都会引入业务的复杂性,有“缓冲流量”需求的系统都需要加入类似的机制,正所谓“通用痛点统一解决”,需要一个通用的机制解决这个问题。

能否通过MQ实现缓冲流量?可以,但需要简单修改。

MQ要怎么改,能缓冲流量?由MQ-server推模式,升级为MQ-client拉模式。

MQ-client根据自己的处理能力,每隔一定时间,或者每次拉取若干条消息,实施流控,达到保护自身的效果。并且这是MQ提供的通用功能,无需上下游修改代码。

如果上游发送流量过大,MQ提供拉模式确实可以起到下游自我保护的作用,会不会导致消息在MQ中堆积?下游MQ-client拉取消息,消息接收方能够批量获取消息,需要下游消息接收方进行优化,方能够提升整体吞吐量,例如:批量写。

结论(1)MQ-client提供拉模式,定时或者批量拉取,可以起到削平流量,下游自我保护的作用(MQ需要做的);(2)要想提升整体吞吐量,需要下游优化,例如批量处理等方式(消息接收方需要做的);

架构优化要整体考虑,需要通用服务和业务方一起优化升级。
编辑:hfy

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • RPC
    RPC
    +关注

    关注

    0

    文章

    111

    浏览量

    11493
  • 站点
    +关注

    关注

    0

    文章

    6

    浏览量

    7405
收藏 人收藏

    评论

    相关推荐

    Acrel-2000ES储能柜能量管理系统//需量控制/防逆流控制

    实现了数据采集、处理、存储、数据查询与分析、可视化监控、报警管理和统计报表等功能。此外,该系统在高级应用方面支持能量调度,具备计划曲线、
    的头像 发表于 11-05 14:49 125次阅读
    Acrel-2000ES储能柜能量管理系统/<b class='flag-5'>削</b><b class='flag-5'>峰</b><b class='flag-5'>填</b><b class='flag-5'>谷</b>/需量控制/防逆流控制

    智慧互联,有序充电

    专业全面的能源管理需求 04 降低能源成本 05 运维效率提升 06 有序用电:错用电、 运营需求 站在运营商的角度,除了
    的头像 发表于 10-17 11:04 85次阅读
    智慧互联,有序充电

    基于Sentinel自研组件的系统限流、降级、负载保护最佳实践探索

    景 :Sentinel 承接了阿里巴巴 近 10 年的双十一 大促流量的核心场景,例如秒杀(即突发流量控制在系统容量可以承受的范围)、消息
    的头像 发表于 09-25 11:19 1210次阅读
    基于Sentinel自研组件的系统限流、降级、负载保护最佳实践探索

    安科瑞Home EMS户用光储系统解决方案 、平滑用电负荷

    安科瑞Home EMS户用光储系统解决方案,能够对家庭中光伏、储能、负载进行实时监测、用能计量、能耗分析、诊断告警、全景分析、有序管理和策略控制,实现家庭用电的高效、可靠、安全、有序。
    的头像 发表于 09-03 08:51 285次阅读
    安科瑞Home EMS户用光储系统解决方案 <b class='flag-5'>削</b><b class='flag-5'>峰</b><b class='flag-5'>填</b><b class='flag-5'>谷</b>、平滑用电负荷

    安科瑞Acrel-2000ES可视化监控储能能量管理系统 需量控制

    管理、统计报表等功能。在高级应用上支持能量调度,具备计划曲线、、需量控制、备用电源等控制功能。既可以用于储能一体柜,也可以用于储能集装箱,是专门用于设备管理的一套软件系统平台。
    的头像 发表于 08-29 09:39 182次阅读
    安科瑞Acrel-2000ES可视化监控储能能量管理系统 <b class='flag-5'>削</b><b class='flag-5'>峰</b><b class='flag-5'>填</b><b class='flag-5'>谷</b>需量控制

    需量控制储能柜能量管理系统

    、数据查询与分析、可视化监控、报警管理、统计报表等功能。在高级应用上支持能量调度,具备计划曲线、、需量控制、备用电源等控制功能。系统对电池组性能进行实时监测及历史数据分析、根据
    的头像 发表于 07-11 10:07 238次阅读
    <b class='flag-5'>削</b><b class='flag-5'>峰</b><b class='flag-5'>填</b><b class='flag-5'>谷</b>需量控制储能柜能量管理系统

    探究电池储能系统恒功率策略

    摘要: 以南方电网MW级电池储能示范工程为背景,以求解采用恒功率充放电策略运行的电池储能系统策略为目的,提出了电池储能系统恒功率
    的头像 发表于 05-23 15:14 1486次阅读
    探究电池储能系统恒功率<b class='flag-5'>削</b><b class='flag-5'>峰</b><b class='flag-5'>填</b><b class='flag-5'>谷</b>策略

    储能技术的类型和应用

    储能技术主要是指电能的储存,储存的能量可以用做应急能源,也可以用于在电网负荷低的时候储能,在电网高负荷的时候输出能量,用于,减轻电网波动。
    的头像 发表于 05-06 17:26 740次阅读

    晶科能源向中东地区提供8台额定容量为1.72MWh的海豚工商业储能产品

    晶科能源将向中东地区的Tadiran能源解决方案有限公司提供8台额定容量为1.72MWh的海豚工商业储能产品,用于
    的头像 发表于 03-21 09:46 271次阅读

    【智慧互联、有序充电】新能源汽车充电管理系统解决方案

    ;有序用电、错用电、。 企业微电网平台——与充电管理平台打通数据,为企业微电网提供源、网、荷、储、充一体化解决方案 在源、网、荷、
    的头像 发表于 03-19 11:18 707次阅读
    【智慧互联、有序充电】新能源汽车充电管理系统解决方案

    功放进入保护模式?教你如何排查问题

    功放进入保护模式?教你如何排查问题  功放进入保护模式可能是由多种原因引起的。在排查问题之前,我们首先需要了解什么是功放的
    的头像 发表于 02-05 10:32 977次阅读

    风冷储能一体柜在广东惠州用户侧储能项目中正式并网投运

    该项目所采用的XDKGAF-100kW/215kWh设备主要面向工业储能、商务大楼以及负载增容场景。设备交流侧工作电压为400(380)V,采用三相四线制连接方式,依据及需量调
    的头像 发表于 02-03 14:14 430次阅读

    微电网能量管理系统 配合储能设备、低充高放

    安科瑞微电网系统解决方案,通过在企业内部的源、网、荷、储、充的各个关键节点安装安科瑞自主研发的各类监测、分析、保护、治理装置;通过先进的控制、计量、通信等技术,将分布式电源、储能系统、可控负荷、电动汽车、电能路由器聚合在一起;平台根据最新的电网价格、用电负荷、电网调度指令等情况,灵活调整微电网控制策略并下发给储能、充电桩、逆变器等系统与设备,保证企业微电网始终安全、可靠、节约、高效、经济、低碳的运行
    的头像 发表于 01-31 15:41 556次阅读
    微电网能量管理系统 <b class='flag-5'>削</b><b class='flag-5'>峰</b><b class='flag-5'>填</b><b class='flag-5'>谷</b> 配合储能设备、低充高放

    MQTT I/O模块:储能系统的智能数据传输与控制解决方案

    储能系统是一个利用锂电池/铅电池作为能量储存载体,一定时间内存储电能和一定时间内供应电能的系统,具有平滑过渡、、调频调压等功能。
    的头像 发表于 12-06 11:47 455次阅读
    MQTT I/O模块:储能系统的智能数据传输与控制解决方案

    ZWS工商储能云平台,实现智能化

    ZWS工商储能云平台,根据分时电价,统计储能系统收益,让收益透明化,并可实现云端智能化,拓展收益。
    的头像 发表于 11-24 08:24 630次阅读
    ZWS工商储能云平台,<b class='flag-5'>实现</b>智能化<b class='flag-5'>削</b><b class='flag-5'>峰</b><b class='flag-5'>填</b><b class='flag-5'>谷</b>