0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

强势应对海量数据,内存分析放大招

5RJg_mcuworld 来源:lp 2019-04-15 13:50 次阅读

只闻其名,不见其形,从小听到大的”黑洞“,终于让我们在有生之年见到了它的真容,只能说幽暗的宇宙美丽也调皮,长久以来人类关于黑洞的探索,在这一刻终于得到影像印证。相信很多人心中都有一个疑惑,为黑洞拍张照片需要两年时间?究其原因一个字“难”!难在哪?“数据”!

首先,望远镜观测到的数据量非常庞大,2017年时8个望远镜的数据量达到了10PB,2018年又增加了格陵兰岛望远镜,庞大的数据量让数据处理的难度不断加大,且在数据处理的过程当中还伴随着不少技术难题。

这张“冲洗”出的照片,蕴含着复杂的后期数据处理分析,而这一过程中涉及的数据量之多,处理难度之大都是前所未有的。那有没有办法,尽快揭开宇宙神秘的面纱?有没有办法,在面对庞大数据量的时候,我们有更高效快捷的方式去处理它们呢?

强势应对海量数据 内存分析放大招

就拿一张小小的黑洞照片来说,它背后的数据量需要一万块500GB硬盘才能装满,而这一万块硬盘高达半吨之重,这么”重“的数据,分析起来已经够难,还想要快速分析那更是难上加难!庞大的数据量不应该成为人类进步的绊脚石,恰恰相反,将其中蕴含的价值挖掘出来,我们将拥有无限宝贵资源。

根据IDC预测,到2025年,全球数据量将从2018年的33ZB增加到175ZB,随着接入大容量数据能力的提高,从这些数据中提取价值的需求势必也在提升。而这也意味着我们了更广泛的工具选择,其中内存分析就是一个绝好的工具,那么它在处理海量数据时到底有多靠谱?

首先,顾名思义,内存分析就是将数据在存储层向上移动,使其更接近CPU,以便加快内存访问速度以更快地进行分析,并缩短获取洞察的时间。所以,倘若那半吨重的数据,运用内存分析或许我们就不会等那么久了。

内存分析的优势可不少,其中包括降低IT成本、简化基础设施、延长运行时间、降低时延、优化数据同步、减少数据副本以及缩短开发周期。此外,更快速地提供大量更深入的实时洞察,从而帮助创造新的机会,以推动和增强服务交付。

光说不练假把式 应用案例来一遍

内存分析如此强大,在助力临床医疗、零售业、金融服务业、智能运营供应链、呼叫中心和客户流失方面都已全面落地,并表现出色。下面我们就来看看运用内存分析解决行业痛点的两个真实案例,一睹其风采。

全球领先的专业化学品公司Evonik,致力于实现总体拥有成本(TCO)效率的进一步提升,经过精挑细选,最后采用了内存分析方法解决了实际工作中遇到的难题。现在Evonik可以灵活并更高效地将数据集集成到其SAPHANA*平台中,并做好存储大容量数据集的准备。除此之外,一家提供全国广告产品的ZypMedia公司,借助内存分析确保了每秒处理大约500,000个事务请求,响应时间低至半毫秒,凭借速度和灵活性提供这种高质量服务。

深入了解内存分析传统架构已力不从心

内存分析已经在如此多的场景顺利落地,并帮助企业巧妙化解行业难题,相信好奇的宝宝们心中已经有了一个疑问,如此强大的内存分析,需求一定少不了,这对于IT负责人来说挑战可不小,因为他们需要从更大的数据集中提取更多价值。此时,不得不考虑他们所采用的架构能否支持内存运营,以及如何满足目前和将来的需求。

由于架构方面的需求基本取决于组织的能力和经验,而传统的架构可能会使用运营数据库来存储和管理当前数据,在将这些数据发送到组织数据仓库进行分析前,需要先对其进行批处理。然而,在许多企业中,这一模式正在逐渐被单一混合事务和分析处理架构取代,如此一来,便可以为一些受益于内存分析的关键平台和应用提供支持。而如果考虑采用HTAP,则需要考虑哪种形式更适合当前业务。然而,内涵式HTAP则更进了一步,其将分析功能嵌入事务本身以影响其结果。

不难发现,更高的工作需求,要求我们必须采用支持实时数据处理和分析的IT基础设施。那么,到底有没有一种架构可以完美支持所需内存运行,并能够满足目前和将来的需求呢?答案来了,上面提到的化学公司正是借助了英特尔®傲腾TM数据中心级持久内存,改善了实际性能和总体拥有成本;而广告产品公司则借助英特尔®至强®可扩展处理器,实现了动态广告投放。

而这一切都要归功于英特尔®至强®平台构建内存分析堆栈,让采集和处理大容量数据能力大大提升,已达到帮助行业实时甚至提前识别趋势与洞察并做出响应。由此可见,存储和内存方面的创新型产品,确实将困扰我们的数据难题快速解决消化,不信你接着看,适用于数据中心的英特尔®傲腾TM固态盘,其采用非易失性内存技术,可提供类似DRAM的性能并具有固态盘存储的持久性。为了推进这一变革,英特尔®傲腾TM数据中心级持久内存,配备全新一代的英特尔®至强®可扩展处理器,将此优势与CPU内存总线直接结合。这样一来,可更好地兼顾高容量、经济性和持久性。

极简内存分析助力数据资源价值最大化

数据处理能力永远赶不上生成数据的速度,因此,必须将数据战略的重点放在充分发挥数据资源的价值上,那么如何将好钢用在刀刃上呢?为简化内存分析,英特尔不仅设计并优化了一系列数据中心技术,用以加快数据驱动型洞察,还在存储架构上做了不小的文章,使得内存容量超出DRAM限制,更好地兼顾性能和成本。如此一来,就可以提供内存分析工作负载通常所需的快速可扩展性和灵活性。除了持续致力于硬件创新外,它们开发了通过基准测试且完全集成的软件和硬件堆栈,支持特定工作负载,缩短服务交付时间和上市时间。

内存数据库已不单单是面向特殊分析工作负载的一种昂贵方案,而是在向着实现更广泛的目标转变。从人类生活到行业应用,甚至到宇宙探索,人类数据正以指数级增长,面对海量数据,如何充分发挥数据资源价值,基于英特尔®至强®平台构建的内存分析堆栈给了我们最好的答案。当然我们也相信,未来英特尔将会有更多的创新与探索,为企业数据带来革新的同时,创造无限可能性。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据
    +关注

    关注

    8

    文章

    7067

    浏览量

    89127
  • 内存
    +关注

    关注

    8

    文章

    3030

    浏览量

    74109
  • 架构
    +关注

    关注

    1

    文章

    515

    浏览量

    25492

原文标题:一张“黑洞”需要拍两年?有了它或许就不会让大家等那么久了

文章出处:【微信号:mcuworld,微信公众号:嵌入式资讯精选】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    利用Minitab应对供应链中断问题

    供应链中断是不可避免的,但积极的措施和数据驱动的战略可以减轻其影响。Minitab全面的数据分析和问题解决工具使组织能够分析、优化和调整其供应链,以应对不可预见的挑战,确保面对中断时的
    的头像 发表于 01-02 17:16 89次阅读

    瞩目!海量数据再获2024年度openGauss社区突出贡献单位

    12月27日,备受瞩目的openGaussSummit2024在北京盛大举行。本次峰会汇聚了数据库行业的众多精英与领袖,共同探讨数据库技术的最新进展与未来趋势。海量数据作为openGa
    的头像 发表于 12-30 10:09 89次阅读
    瞩目!<b class='flag-5'>海量</b><b class='flag-5'>数据</b>再获2024年度openGauss社区突出贡献单位

    康谋分享 | 如何应对ADAS/AD海量数据处理挑战?

    如何有效处理ADAS/AD海量数据并从中获得见解?IVEX数据处理流程可自动从原始传感器数据等输入中识别出值得关注的事件和场景,推动数据高效
    的头像 发表于 12-25 10:05 2056次阅读
    康谋分享 | 如何<b class='flag-5'>应对</b>ADAS/AD<b class='flag-5'>海量</b><b class='flag-5'>数据</b>处理挑战?

    芯片的失效性分析应对方法

    老化的内在机理,揭示芯片失效问题的复杂性,并提出针对性的应对策略,为提升芯片可靠性提供全面的分析与解决方案,助力相关行业在芯片应用中有效应对挑战,保障系统的高效稳定
    的头像 发表于 12-20 10:02 1355次阅读
    芯片的失效性<b class='flag-5'>分析</b>与<b class='flag-5'>应对</b>方法

    数据可视化与数据分析的关系

    在当今这个信息爆炸的时代,数据无处不在。无论是企业运营、科学研究还是个人决策,我们都需要从海量数据中提取有价值的信息。数据分析数据可视化
    的头像 发表于 12-06 17:09 351次阅读

    DDR内存数据传输速度的关系

    在计算机系统中,内存是至关重要的组件之一,它直接影响到数据的处理速度和系统的响应时间。DDR内存作为一种高效的内存技术,其数据传输速度是衡量
    的头像 发表于 11-20 14:35 642次阅读

    WDS分布式存储系统软件助力电信工程海量数据存储项目

    WDS分布式存储系统软件助力电信工程海量数据存储项目
    的头像 发表于 11-11 09:59 199次阅读
    WDS分布式存储系统软件助力电信工程<b class='flag-5'>海量</b><b class='flag-5'>数据</b>存储项目

    海量数据处理需要多少RAM内存

    海量数据处理所需的RAM(随机存取存储器)内存量取决于多个因素,包括数据的具体规模、处理任务的复杂性、数据库管理系统的效率以及所使用软件的优
    的头像 发表于 11-11 09:56 339次阅读

    Linux内存泄露案例分析内存管理分享

    作者:京东科技 李遵举 一、问题 近期我们运维同事接到线上LB(负载均衡)服务内存报警,运维同事反馈说LB集群有部分机器的内存使用率超过80%,有的甚至超过90%,而且内存使用率还再不停的增长。接到
    的头像 发表于 10-24 16:14 745次阅读
    Linux<b class='flag-5'>内存</b>泄露案例<b class='flag-5'>分析</b>和<b class='flag-5'>内存</b>管理分享

    云计算在大数据分析中的应用

    云计算在大数据分析中的应用广泛且深入,它为用户提供了存储、计算、分析和预测的强大能力。以下是对云计算在大数据分析中应用的介绍: 一、存储和处理海量
    的头像 发表于 10-24 09:18 493次阅读

    逻辑内存和物理内存的区别

    逻辑内存和物理内存是计算机系统中两个重要的概念,它们在计算机的运行和数据处理中起着至关重要的作用。 1. 物理内存(Physical Memory) 物理
    的头像 发表于 09-27 15:38 739次阅读

    放大电路的基本分析方法有哪两种

    放大电路是电子学中的基础组成部分,用于增强信号的幅度而不改变其基本特性。在电子工程中,放大电路的设计和分析是至关重要的。放大电路的基本分析
    的头像 发表于 09-23 10:40 574次阅读

    放大电路的分析方法介绍

    放大电路是电子技术中非常重要的组成部分,它广泛应用于信号处理、通信、测量等领域。对于放大电路的分析,通常可以分为直流分析和交流分析两种情况。
    的头像 发表于 08-07 10:08 682次阅读

    AI训练狂飙,DDR5集成PMIC护航,内存技术持续助力

    电子发烧友网报道(文/黄晶晶)AI训练数据集正高速增长,与之相适应的不仅是HBM的迭代升级,还有用于处理这些海量数据的服务器内存技术的不断发展。   以经过简化的AI训练管道流程来看,
    的头像 发表于 07-04 09:09 3674次阅读
    AI训练狂飙,DDR5集成PMIC护航,<b class='flag-5'>内存</b>技术持续助力

    中科曙光海量数据存储研发团队荣获“天津市工人先锋号”荣誉

    近日,天津市总工会公布2024年“天津市五一劳动奖”和“工人先锋号”表彰,中科曙光海量数据存储研发团队荣获“天津市工人先锋号”荣誉。
    的头像 发表于 05-10 09:59 554次阅读