0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

MQ要怎么实现缓冲流量和削峰填谷

西西 来源:itpub技术栈 作者:沈剑 2020-11-01 10:34 次阅读

MQ,很多的应用场景,是消息的订阅发布,是系统上下游的解耦,MQ的还有一个典型应用场景是缓冲流量,削峰填谷,本文将简单介绍下,MQ要怎么实现缓冲流量,削峰填谷。

站点与服务上下游之间,一般如何通讯?有两种常见的方式。

一种是“直接调用”,通过RPC框架,上游直接调用下游。

一种是“MQ推送”,上游将消息发给MQ,MQ将消息推送给下游。

这两种方式,能否缓存流量,能否削峰填谷?不能。不管采用“直接调用”还是“MQ推送”,都有一个缺点,下游消息接收方无法控制到达自己的流量,如果调用方不限速,很有可能把下游压垮。

举个栗子,秒杀业务:上游:发起下单操作。下游:完成秒杀业务逻辑(库存检查,库存冻结,余额检查,余额冻结,订单生成,余额扣减,库存扣减,生成流水,余额解冻,库存解冻)。

上游下单业务简单,每秒发起了10000个请求,下游秒杀业务复杂,每秒只能处理2000个请求,很有可能上游不限速的下单,导致下游系统被压垮,引发雪崩。

如何避免下游被压垮呢?为了避免雪崩,常见的优化方案有两种:(1)业务上游队列缓冲,限速发送;(2)业务下游队列缓冲,限速执行;

不管哪种方案,都会引入业务的复杂性,有“缓冲流量”需求的系统都需要加入类似的机制,正所谓“通用痛点统一解决”,需要一个通用的机制解决这个问题。

能否通过MQ实现缓冲流量?可以,但需要简单修改。

MQ要怎么改,能缓冲流量?由MQ-server推模式,升级为MQ-client拉模式。

MQ-client根据自己的处理能力,每隔一定时间,或者每次拉取若干条消息,实施流控,达到保护自身的效果。并且这是MQ提供的通用功能,无需上下游修改代码。

如果上游发送流量过大,MQ提供拉模式确实可以起到下游自我保护的作用,会不会导致消息在MQ中堆积?下游MQ-client拉取消息,消息接收方能够批量获取消息,需要下游消息接收方进行优化,方能够提升整体吞吐量,例如:批量写。

结论(1)MQ-client提供拉模式,定时或者批量拉取,可以起到削平流量,下游自我保护的作用(MQ需要做的);(2)要想提升整体吞吐量,需要下游优化,例如批量处理等方式(消息接收方需要做的);

架构优化要整体考虑,需要通用服务和业务方一起优化升级。
编辑:hfy

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • RPC
    RPC
    +关注

    关注

    0

    文章

    111

    浏览量

    11529
  • 站点
    +关注

    关注

    0

    文章

    6

    浏览量

    7411
收藏 人收藏

    评论

    相关推荐

    LTC6087仿真结果发现输出电压出现现象,低电压也达不到轨到轨,怎么解决?

    LTC6087,想着也用这个实现单端转差分电路吧,按照LT1819的电路,压摆率对于50kHz是没问题的,结果仿真出来发现输出电压出现现象,低电压也达不到轨到轨, 我调整了反馈电阻大小,但问题没有完全
    发表于 12-19 07:49

    新型电力系统下企业微电网能量管理平台-电力电量平衡挑战

    平滑功率输出,提升绿电使用率; 电利用,提高经济性; 降低充电设备对局部电网的冲击; 降低站内配电变压器容量。
    的头像 发表于 12-04 09:13 125次阅读
    新型电力系统下企业微电网能量管理平台-电力电量平衡挑战

    安科瑞Acrel-2000MG光储充一体化微电网能量管理系统

    ,并支持多种控制策略,如计划曲线、、需量控制、防逆流等。它能够对下级各储能单元进行统一监控和管理,同时与上级调度系统数据交互,实现
    的头像 发表于 12-03 16:31 130次阅读
    安科瑞Acrel-2000MG光储充一体化微电网能量管理系统<b class='flag-5'>削</b><b class='flag-5'>峰</b><b class='flag-5'>填</b><b class='flag-5'>谷</b>

    EM储能网关&amp;amp;ZWS智慧储能云应用(5) — 策略接入介绍(二)

    导读ZWS智慧储能云平台,作为储能系统的专业运维管理平台。对于电站的策略,是如何对接的了?上篇介绍了
    的头像 发表于 11-22 01:06 142次阅读
    EM储能网关&amp;amp;ZWS智慧储能云应用(5) — <b class='flag-5'>削</b><b class='flag-5'>峰</b><b class='flag-5'>填</b><b class='flag-5'>谷</b>策略接入介绍(二)

    EM储能网关&amp;amp;ZWS智慧储能云应用(5) — 策略接入介绍(一)

    导读ZWS智慧储能云平台,实时根据电站运营情况,配置电站的策略,让电站收益最大化。现阶段国内推行分时电价,定义尖、、平、
    的头像 发表于 11-16 01:06 167次阅读
    EM储能网关&amp;amp;ZWS智慧储能云应用(5) — <b class='flag-5'>削</b><b class='flag-5'>峰</b><b class='flag-5'>填</b><b class='flag-5'>谷</b>策略接入介绍(一)

    Acrel-2000ES储能柜能量管理系统//需量控制/防逆流控制

    实现了数据采集、处理、存储、数据查询与分析、可视化监控、报警管理和统计报表等功能。此外,该系统在高级应用方面支持能量调度,具备计划曲线、
    的头像 发表于 11-05 14:49 240次阅读
    Acrel-2000ES储能柜能量管理系统/<b class='flag-5'>削</b><b class='flag-5'>峰</b><b class='flag-5'>填</b><b class='flag-5'>谷</b>/需量控制/防逆流控制

    智慧互联,有序充电

    专业全面的能源管理需求 04 降低能源成本 05 运维效率提升 06 有序用电:错用电、 运营需求 站在运营商的角度,除了
    的头像 发表于 10-17 11:04 127次阅读
    智慧互联,有序充电

    基于Sentinel自研组件的系统限流、降级、负载保护最佳实践探索

    景 :Sentinel 承接了阿里巴巴 近 10 年的双十一 大促流量的核心场景,例如秒杀(即突发流量控制在系统容量可以承受的范围)、消息
    的头像 发表于 09-25 11:19 1417次阅读
    基于Sentinel自研组件的系统限流、降级、负载保护最佳实践探索

    安科瑞Acrel-2000ES可视化监控储能能量管理系统 需量控制

    管理、统计报表等功能。在高级应用上支持能量调度,具备计划曲线、、需量控制、备用电源等控制功能。既可以用于储能一体柜,也可以用于储能集装箱,是专门用于设备管理的一套软件系统平台。
    的头像 发表于 08-29 09:39 231次阅读
    安科瑞Acrel-2000ES可视化监控储能能量管理系统 <b class='flag-5'>削</b><b class='flag-5'>峰</b><b class='flag-5'>填</b><b class='flag-5'>谷</b>需量控制

    需量控制储能柜能量管理系统

    、数据查询与分析、可视化监控、报警管理、统计报表等功能。在高级应用上支持能量调度,具备计划曲线、、需量控制、备用电源等控制功能。系统对电池组性能进行实时监测及历史数据分析、根据
    的头像 发表于 07-11 10:07 300次阅读
    <b class='flag-5'>削</b><b class='flag-5'>峰</b><b class='flag-5'>填</b><b class='flag-5'>谷</b>需量控制储能柜能量管理系统

    探究电池储能系统恒功率策略

    摘要: 以南方电网MW级电池储能示范工程为背景,以求解采用恒功率充放电策略运行的电池储能系统策略为目的,提出了电池储能系统恒功率
    的头像 发表于 05-23 15:14 1604次阅读
    探究电池储能系统恒功率<b class='flag-5'>削</b><b class='flag-5'>峰</b><b class='flag-5'>填</b><b class='flag-5'>谷</b>策略

    晶科能源向中东地区提供8台额定容量为1.72MWh的海豚工商业储能产品

    晶科能源将向中东地区的Tadiran能源解决方案有限公司提供8台额定容量为1.72MWh的海豚工商业储能产品,用于
    的头像 发表于 03-21 09:46 305次阅读

    功放进入保护模式?教你如何排查问题

    功放进入保护模式?教你如何排查问题  功放进入保护模式可能是由多种原因引起的。在排查问题之前,我们首先需要了解什么是功放的
    的头像 发表于 02-05 10:32 1147次阅读

    风冷储能一体柜在广东惠州用户侧储能项目中正式并网投运

    该项目所采用的XDKGAF-100kW/215kWh设备主要面向工业储能、商务大楼以及负载增容场景。设备交流侧工作电压为400(380)V,采用三相四线制连接方式,依据及需量调
    的头像 发表于 02-03 14:14 500次阅读

    微电网能量管理系统 配合储能设备、低充高放

    安科瑞微电网系统解决方案,通过在企业内部的源、网、荷、储、充的各个关键节点安装安科瑞自主研发的各类监测、分析、保护、治理装置;通过先进的控制、计量、通信等技术,将分布式电源、储能系统、可控负荷、电动汽车、电能路由器聚合在一起;平台根据最新的电网价格、用电负荷、电网调度指令等情况,灵活调整微电网控制策略并下发给储能、充电桩、逆变器等系统与设备,保证企业微电网始终安全、可靠、节约、高效、经济、低碳的运行
    的头像 发表于 01-31 15:41 626次阅读
    微电网能量管理系统 <b class='flag-5'>削</b><b class='flag-5'>峰</b><b class='flag-5'>填</b><b class='flag-5'>谷</b> 配合储能设备、低充高放