0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

JD-hotkey是京东APP 台热数据探测框架

jf_ro2CN3Fa 来源:gitee 作者:gitee 2022-11-14 15:58 次阅读

JD-hotkey 是京东 APP 后台热数据探测框架,历经多次高压压测和 2020 年京东 618 大促考验。

在上线运行的这段时间内,每天探测的key数量数十亿计,精准捕获了大量爬虫、刷子用户,另准确探测大量热门商品并毫秒级推送到各个服务端内存,大幅降低了热数据对数据层的查询压力,提升了应用性能。

4f2c4600-6300-11ed-8abf-dac502259ad0.png

该框架历经多次压测,性能指标主要有两个

1 探测性能:

8核单机worker端每秒可接收处理16万个key探测任务,16核单机至少每秒平稳处理30万以上,实际压测达到37万,CPU平稳支撑,框架无异常。

2 推送性能:

在高并发写入的同时,对外推送目前性能约平稳推送每秒10-12万次,譬如有1千台server,一台worker上每秒产生了100个热key,那么这1秒会平稳推送100 * 1000 = 10万次,10万次推送会明确在1s内全部送达。如果是写入少,推送多,以纯推送来计数的话,该框架每秒可稳定对外推送40-60万次平稳,80万次极限可撑几秒。

每秒单机吞吐量(写入+对外推送)目前在70万左右稳定。

在真实业务场景中,可用1:1000的比例,即1台worker支撑1000台业务服务端的key探测任务,即可带来极大的数据存储资源节省(如对redis集群的扩充)。

基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

项目地址:https://gitee.com/zhijiantianya/ruoyi-vue-pro

视频教程:https://doc.iocoder.cn/video/

介绍

对任意突发性的无法预先感知的热点请求,包括并不限于热点数据(如突发大量请求同一个商品)、热用户(如爬虫、刷子)、热接口(突发海量请求同一个接口)等,进行毫秒级精准探测到。

然后对这些热数据、热用户等,推送到该应用部署的所有机器JVM内存中,以大幅减轻对后端数据存储层的冲击,并可以由客户端决定如何使用这些热key(譬如对热商品做本地缓存、对热用户进行拒绝访问、对热接口进行熔断或返回默认值)。这些热key在整个应用集群内保持一致性。

核心功能:

热数据探测并推送至集群各个服务器。

基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

项目地址:https://gitee.com/zhijiantianya/yudao-cloud

视频教程:https://doc.iocoder.cn/video/

适用场景

mysql热数据本地缓存

redis热数据本地缓存

黑名单用户本地缓存

爬虫用户限流

接口、用户维度限流

单机接口、用户维度限流限流

集群用户维度限流

集群接口维度限流

worker 端强悍的性能表现

每10秒打印一行,totalDealCount代表处理过的key总量,可以看到每10秒处理量在270万-310万之间,对应每秒30万左右QPS。

仅需要很少的机器,即可完成海量key的实时探测计算推送任务。比扩容redis集群规模成本低太多。

4f6327b0-6300-11ed-8abf-dac502259ad0.png

513817f8-6300-11ed-8abf-dac502259ad0.png

界面效果

516ad42c-6300-11ed-8abf-dac502259ad0.png

审核编辑 :李倩

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据
    +关注

    关注

    8

    文章

    7217

    浏览量

    89902
  • 框架
    +关注

    关注

    0

    文章

    403

    浏览量

    17566
  • 京东
    +关注

    关注

    2

    文章

    1005

    浏览量

    48792

原文标题:牛逼哄哄的 JD-hotkey !

文章出处:【微信号:芋道源码,微信公众号:芋道源码】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    相关推荐

    京东App上线国内打车服务,目前为第三方接入

    近日,有网络传言称京东App已经上线了打车服务,引起了广泛关注。对此,京东相关负责人进行了回应,并揭示了相关细节。 据京东相关负责人介绍,京东
    的头像 发表于 02-19 14:20 119次阅读

    京东金融APP的鸿蒙之旅系列专题 鸿蒙工程化:Hvigor构建技术

    作者:京东科技 杨拓 一、意图框架服务介绍 HarmonyOS NEXT引入了多项创新特性,其中的意图框架能够将应用中的业务功能智能分发至手机的各大系统入口,其中系统入口包括小艺对话、小艺搜索和小艺
    的头像 发表于 10-14 17:11 454次阅读
    <b class='flag-5'>京东</b>金融<b class='flag-5'>APP</b>的鸿蒙之旅系列专题 鸿蒙工程化:Hvigor构建技术

    京东金融APP的鸿蒙之旅系列专题 新特性篇:意图框架接入

    作者:京东科技 杨拓 一、意图框架服务介绍 HarmonyOS NEXT引入了多项创新特性,其中的意图框架能够将应用中的业务功能智能分发至手机的各大系统入口,其中系统入口包括小艺对话、小艺搜索和小艺
    的头像 发表于 10-14 17:10 482次阅读
    <b class='flag-5'>京东</b>金融<b class='flag-5'>APP</b>的鸿蒙之旅系列专题 新特性篇:意图<b class='flag-5'>框架</b>接入

    探秘成像双光谱云驱动技术方案

    在当今科技飞速发展的时代,成像双光谱云驱动技术正逐渐成为众多领域的关键技术之一。这项技术不仅在安防监控、工业检测等领域发挥着重要作用,还为我们的生活带来了诸多便利和安全保障。接下来,就让我们一同
    的头像 发表于 10-08 17:45 439次阅读

    解粒子式电气火灾监控探测器测试条件

    解粒子式电气火灾监控探测器是一种用于监测电气火灾的设备,它通过检测空气中的解粒子来预测和预防火灾的发生。这种探测器通常用于工业、商业和住宅环境中,以确保人们的安全和财产的保护。 1
    的头像 发表于 09-25 15:03 396次阅读

    解粒子式电气火灾监控探测器用的什么传感器

    解粒子式电气火灾监控探测器使用的传感器类型多样,具体取决于探测器的设计和应用场景。一般来说,这类探测器可能采用以下几种类型的传感器:
    的头像 发表于 09-25 15:02 514次阅读

    解粒子探测器与什么相似

    解粒子探测器与某些类型的火灾探测器在功能和原理上有相似之处,但并非完全等同。以下是一些与解粒子探测器相似的
    的头像 发表于 09-25 14:57 502次阅读

    解粒子式电气火灾监控探测器原理

    解粒子式电气火灾监控探测器是一种专门用于监测电气火灾的设备,它通过检测空气中的解粒子来预警电气火灾的发生。 1. 电气火灾的原因 电气火灾通常由以下几种原因引起: 电气设备老化 电气设备过载
    的头像 发表于 09-25 14:23 1209次阅读

    解粒子探测器干嘛用的

    解粒子探测器是一种用于检测和分析粒子的设备,它通过热解技术来实现对粒子的检测。这种探测器在物理学、化学、材料科学、环境科学等领域有着广泛的应用。 解粒子
    的头像 发表于 09-25 14:20 630次阅读

    解粒子探测器测试条件有哪些

    1. 引言 解粒子探测器是一种高灵敏度的分析仪器,它通过热解技术将样品中的污染物转化为可检测的气态分子。这种技术对于检测低浓度的污染物特别有效。 2. 解粒子探测器的工作原理
    的头像 发表于 09-25 14:16 462次阅读

    京东小程序数据中心架构设计与最佳实践

    成为品牌的新机会。“Once Build, Run Anywhere”,一个小程序可以在多个APP运行,引擎层抹平差异,一套代码,相同页面,云端下发,多端运行。   可能大家还不太了解我们的京东小程序,京东小程序到底是什么呢?它
    的头像 发表于 08-08 11:20 468次阅读
    <b class='flag-5'>京东</b>小程序<b class='flag-5'>数据</b>中心架构设计与最佳实践

    AFE58JD16 16通道超声波AFE数据

    电子发烧友网站提供《AFE58JD16 16通道超声波AFE数据表.pdf》资料免费下载
    发表于 07-29 09:32 0次下载
    AFE58<b class='flag-5'>JD</b>16 16通道超声波AFE<b class='flag-5'>数据</b>表

    探索红外成像探测器的基础原理

    红外成像探测器究竟是什么?它是如何工作的呢?让我们一起来揭秘。红外成像探测器:神奇的热能揭示者红外探测器可获得物体表面的温度场分布图像,
    的头像 发表于 07-03 16:06 1030次阅读
    探索红外<b class='flag-5'>热</b>成像<b class='flag-5'>探测</b>器的基础原理

    重药控股与京东集团签署战略合作框架协议

    重药控股(5.710, -0.02, -0.35%)(SZ000950,股价5.73元,市值99.02亿元)公告,与北京京东世纪贸易有限公司(以下简称京东集团)签署了《战略合作框架协议》,以发挥双方各自优势领域,围绕消费品供应链
    的头像 发表于 05-24 14:53 651次阅读

    京东方科技集团与京东集团全面达成战略合作伙伴关系

    3月1日,京东方科技集团与京东集团在北京签订《战略合作框架协议》,基于此前“双京赋能计划”的良好合作基础,全面达成战略合作伙伴关系。
    的头像 发表于 03-01 18:11 1841次阅读