0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

IBM为百度智能云提供存储解决方案,助推进向降本增效的目标迈进

牵手一起梦 来源:至顶网 作者:任新勃 2020-06-03 17:26 次阅读

在数字经济时代,海量的数据成为数字经济的重要生产要素。特别是受新型冠状病毒疫情影响的2020年,线下的生产和生活迅速的转移到了线上,相应的让数据再次迎来另一波快速增长。

对于像百度智能云这样的云厂商,海量的数据既是资产也是压力,在压力方面面临着包括存储能力和算力等资源方面的挑战。

“尤其是今年一季度,百度智能云很多的云服务都是在扩容,都是在加班加点来满足客户的需求,包括娱乐类、会议类、教育类等等,这对我们的挑战也比较大。过去的过去9个月,百度智能云已经用了10万盘磁带,存储900多PB数据。”百度智能云副总经理谢广军分享到。

这些海量数据的存储对于百度智能云来讲,最大问题是如何降低高昂的存储成本。一方面互联网公司数据量越来越大,数据保存成本负担太重,需要大量扩展其搜索引擎和云存储。另一方面数据的合规保存。国家对互联网行业的管理要求越来越严格,多数数据必须有归档。同时,国家对互联网日志类数据保存时长要求超过10年。

百度智能云对于海量数据需要按照读写频率和冷热数据等特性对于存储进行不同层次的布局,“我们希望提供透明化的生命周期的管理。从产生的初期的热数据到系统感知到其访问频率降低,再到没有太多的访问,可以做到从高性能的存储平台到冷存储平台低成本存储。同时,这些数据需要调用的时候,能比较快被调用出来。” 谢广军讲到。百度智能云需要一种既能降低成本,又能在其庞大的分布式文件系统中提供透明IO的解决方案。

百度智能云一方面基于新一代存储介质打造高性价比存储产品,一方面重视软硬件结合的方案,搭建分布式存储的系统。据了解,百度把高IO的数据读取放在持久内存型的存储系统,打造基于NVMe+RDMA技术,提供单盘百万级IOPS及千MBps吞吐高性能SSD云磁盘。与此同时,百度基于IBM磁带库平台,实现EB级磁带规模应用,这也是国内第一家上线磁带归档服务的云平台。

如何管理海量的数据?

可以看到,百度智能云需要一个弹性的高性价比的存储解决方案来管理其数据存储。IBM为百度智能云提供了融合Spectrum Scale、Spectrum Archive和Tape介质的存储解决方案,通过IBM的归档存储技术,百度智能云的对象存储在产品实力上有了很大的增强。在过去的一年里,百度智能云与IBM一起攻克了许多技术的瓶颈,实现了业务永续化经营,保证数据安全,帮助百度智能云进一步朝降本增效的目标迈进。

IBM存储一直聚焦在为客户提供统一的数据管理平台。当企业面对云上、云下的不同的应用的时候,IBM存储基于统一的数据平台,来确保企业数据的安全、共享和按需供应。“无论您今天是块存储、文件、对象还是磁带,IBM存储解决方案可满足客户非常广泛的应用和使用的场景。无论您今天数据放在百度云上或者其他的公有云平台上,都可以有一个非常灵活的选择。” IBM大中华区系统部存储系统总经理吴磊。

对于百度智能云来讲,磁带近线存储资源池的建成极大地提高了IT对业务的支持力度,满足了业务对低成本、低功耗、高空间数据密度,绿色数据中心的存储需求。过去9个月,百度用了10万盘磁带,存储900多PB数据,归档存储产品相较普通存储的成本降低了85%。

IBM归档存储适用于多种业务场景。“比如在视频这个领域,大家在互联网视频里面去分发的,不管是短视频还是长视频,都是转码后的视频。不管是UGC,尤其是PGC产生的内容,很大、很高清的远视大文件,这些文件转码后不再使用了,这种场景就很适合归档存储,这也是数据资产,我们需要保存起来。” 谢广军举例说明。在IBM的帮助下,百度智能云在过去一年中积累了丰富的业务应用场景。另外还有石油勘探、医疗影像、基因测序分析和物联网相关的数据等也可以放在归档存储上。

同时,基于IBM Spectrum Scale(原GPFS)存储软件方案,IBM还在数据孤岛之间建立高效、安全、稳定的数据管道,这对业务本身的数据流通和融合提供很大的帮助。对于百度智能云来讲,统一接口屏蔽介质差异,使得百度的数据在整个生命周期中流转更顺畅,业务可以0成本获得更高性价比。

使用IBM的归档存储技术之前,百度智能云的对象存储分为高性能存储、标准存储和低频存储,这些其实是基于磁盘的。相比之下,有些客户提出需要更高的性价比、保存时间更长的存储产品与服务。此时引入IBM的技术则为百度智能云打造下一个阶梯的存储产品带来了能力补充,补齐了百度智能云存储产品矩阵的最后一块“积木”。同时IBM归档存储技术还做到了磁带作为近线存储,通过整套部署,库体满配,磁带不出库就可以对磁带数据进行不定期访问。

对于百度智能云来讲无论是支撑其内部的业务,还是外部客户的业务,需要7×24小时近线存储。IBM归档存储技术可以实现在一到两分钟之内读到几十TB的一个磁带数据,过去是很多客户不可想象的。

可以说基于IBM存储分布式系统结合百度智能云自己的分布式文件系统。就能够实现百度智能云对外服务的温、热、冷,几种不同的数据通道打通,数据根据自己的生命周期自由去流动。

责任编辑:gt

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • IBM
    IBM
    +关注

    关注

    3

    文章

    1757

    浏览量

    74698
  • 数据
    +关注

    关注

    8

    文章

    7030

    浏览量

    89036
  • 存储
    +关注

    关注

    13

    文章

    4314

    浏览量

    85846
收藏 人收藏

    评论

    相关推荐

    戴尔科技助力企业实现科学的降本增效

    降本增效作为一个老生常谈的话题,尽管在多年的实践中各种策略和方法层出不穷,但真正实现成本削减和效率提升的路径依然不明确,一不小心就变成了“降本降效”。
    的头像 发表于 10-29 15:19 314次阅读

    市场解读 对话展商 磁元件峰会揭秘新能源降本增效秘籍

    现场对话华东磁性元件产业链峰会展商,揭秘高性能材料与智能化设备如何携手并进,新能源产业注入强劲动力,实现降本增效的绿色新篇章! 随着科技的进步,磁性元件行业正加速高性能材料创新与
    的头像 发表于 08-06 13:44 249次阅读
    市场解读 对话展商 磁元件峰会揭秘新能源<b class='flag-5'>降本增效</b>秘籍

    esp32在Arduino IDE中可以实现调用百度智能接口吗?

    esp32在Arduino IDE中可以实现调用百度智能接口吗?涉及到http协议,想知道能不能不用esp-idf
    发表于 06-28 06:52

    百度智能升级3款大模型应用:面向三类场景打造企业“超级员工”

    平台、百度智能曦灵数字人平台三款大模型应用产品,致力于企业用户提供“超级知识官”重塑知识管理流程、打造覆盖客户运营全链路的“超级客服”、
    的头像 发表于 06-25 19:22 1092次阅读

    百度智能推出“千帆行业增强版”

    在近日于北京举办的2024智能经济论坛上,百度集团执行副总裁、百度智能事业群总裁沈抖分享了百度
    的头像 发表于 05-30 09:30 588次阅读

    加速企业降本增效,提升性能首选耀 X 实例

    ,在成本和性能方面全面升级,以其卓越的性价比,成为企业计算的明智之选,助力企业在降本增效的同时,实现快速成长。 柔性算力灵活配置算力资源 计算的核心在于性能与成本的平衡。耀 X
    的头像 发表于 05-22 19:59 904次阅读
    加速企业<b class='flag-5'>云</b>上<b class='flag-5'>降本增效</b>,提升性能首选<b class='flag-5'>云</b>耀 X 实例

    日产汽车将搭载百度AI解决方案

    日产汽车与百度达成战略合作,双方正式签署谅解备忘录,共同探索智能技术在汽车领域的应用。根据协议,日产将在中国市场的车型上搭载百度的AI解决方案,进一步提升车辆
    的头像 发表于 05-06 14:14 452次阅读

    数峦正式与百度智能达成合作,共谋“数字孪生+AI融合”新契机

    近日,数峦在执行生态战略的布局下,与百度智能建立解决方案生态伙伴关系。双方在技术、市场、方案
    的头像 发表于 04-18 11:32 564次阅读
    数峦<b class='flag-5'>云</b>正式与<b class='flag-5'>百度</b><b class='flag-5'>智能</b><b class='flag-5'>云</b>达成合作,共谋“数字孪生+AI融合”新契机

    智能电表使用国产SF25C20晶圆合封MCU助力企业降本增效

    智能电表使用国产SF25C20晶圆合封MCU助力企业降本增效
    的头像 发表于 04-15 09:24 689次阅读
    <b class='flag-5'>智能</b>电表使用国产SF25C20晶圆合封MCU助力企业<b class='flag-5'>降本增效</b>

    【机器视觉】欢创播报 | 百度智能发布千帆大模型一体机

    1 百度智能发布千帆大模型一体机 编辑 ​ 4月9日上午,百度智能GENERATE全球生态大
    的头像 发表于 04-11 10:49 597次阅读
    【机器视觉】欢创播报 | <b class='flag-5'>百度</b><b class='flag-5'>智能</b><b class='flag-5'>云</b>发布千帆大模型一体机

    软通动力荣获百度智能“大模型创新突破奖”“服务突破之星伙伴奖”

    4月9日,2024百度智能GENERATE全球生态大会在成都举办。大会带来了百度智能在大模型
    的头像 发表于 04-10 09:49 360次阅读

    百度智能携手乌镇共建AI数据产业基地

    近日,百度智能与桐乡市乌镇大数据高新技术产业园区签署合作协议,双方将发挥各自优势,以人工智能标注产业基础,共建
    的头像 发表于 04-01 16:12 653次阅读

    百度智能正式发布了《百度智能水业大模型白皮书》

    3月28日,由E20环境平台主办的2024(第二十二届)水业战略论坛在北京召开。会上,百度智能正式发布了《百度智能
    的头像 发表于 03-29 09:20 1379次阅读
    <b class='flag-5'>百度</b><b class='flag-5'>智能</b><b class='flag-5'>云</b>正式发布了《<b class='flag-5'>百度</b><b class='flag-5'>智能</b><b class='flag-5'>云</b>水业大模型白皮书》

    百度智能推出全新轻量级大模型

    在近日举办的百度智能千帆产品发布会上,三款全新的轻量级大模型——ERNIE Speed、ERNIE Lite以及ERNIE Tiny,引起了业界的广泛关注。相较于传统的千亿级别参数大模型,这些轻量级大模型在参数量上有了显著减少
    的头像 发表于 03-22 10:28 668次阅读

    百度智能大模型应用产品发布会定档

    百度智能官方宣布,备受瞩目的“AI Cloud Day:百度智能大模型应用产品发布会”已正式
    的头像 发表于 03-21 11:37 849次阅读