0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

IBM深度学习取得重大突破_可大幅缩短处理海量数据得出有用结论时间

Hx 作者:工程师陈翠 2018-06-29 12:03 次阅读

IBM一直在努力促使计算机变得更智能化、更人性化。本周该公司宣布,已经开发出一种技术,可以大幅缩短处理海量数据并得出有用结论的时间。IBM使用的“深度学习”技术是人工智能AI)的一个分支,可模仿人脑的工作原理。它也是微软、Facebook、亚马逊和谷歌的重大关注焦点。

IBM的目标是将深度学习系统消化数据所需要的时间从数天缩短到数小时。IBM研究所的IBM研究员和系统加速及记忆主管希拉里·亨特(Hillery Hunter)说,这些改进可以帮助放射学家更快、更准确地找到病变部位,并读取大量医学图像。

到目前为止,深度学习主要是在单一服务器上运行的,因为在不同计算机之间移动大量数据的过程太过复杂。而且,如何在许多不同服务器和处理器之间保持数据同步也是一个问题。

IBM在周二的公告中说,已经开发出了能够将这些任务分配到64台服务器的软件,这些服务器总共有256个处理器,可在速度方面取得巨大飞跃。凡是拥有IBM Power系统服务器的用户,以及其他想要测试的技术人员,均可获得这项技术。

IBM使用了64个自主开发的Power 8服务器,每一个都将通用的英特尔微处理器英伟达图形处理器连接起来,并使用快速的NVLink连接,以促进两种芯片之间的数据流传输。

在此之上,IBM采用了技术人员所说的集群技术来管理所有这些移动部件。集群技术可在给定服务器的多个处理器和其他63个服务器中的处理器之间充当通信警察。

如果流量管理不正确,一些处理器就会闲置,处于“吃不饱”的状态。每个处理器都有自己的数据集,同时还需要来自其他处理器的数据,以获得更大的图像。亨特解释说,如果处理器不同步,它们就学不到任何东西。

亨特告诉《财富》杂志:“我们的想法是改变你训练深度学习模式的速度,并真正提高你的工作效率。”

亨特说,将深度学习从一个带有8个处理器的服务器扩展到64个服务器,每个服务器有8个处理器,可以将性能提高50-60倍。

Pund-IT公司创始人查尔斯·金(Charles King)对IBM的项目印象深刻,他说后者已经找到了一种“扩大”系统的方法,额外增加的处理器能提高性能。

例如,在理论上,将处理器扩容100%应该获得100%的性能提升。但实际上,由于复杂的管理和连接问题,这种效益永远不会发生。

但IBM称,其系统通过由加州大学伯克利分校创建的“咖啡因”深度学习框架,在256个处理器之间实现了95%的扩展效率。之前的记录是由Facebook人工智能研究公司创造的,扩展效率达到了89%。

“IBM最新95%的扩展效率似乎太好了,不可能是真的,”帕特里克·莫海德(Patrick Moorhead)说,他是德克萨斯州奥斯丁市一家研究公司的总裁和创始人。

IBM表示,在图像识别方面,IBM系统再次使用了“咖啡因”框架,在7个小时内识别了750万张图片,准确率达到了33.8%。微软之前的记录是29.8%,而达到这一准确率花了10天时间。

用外行人的话来说,IBM声称已经开发出了比现有深度学习技术更快、更精确的技术。当然,它还需要使用IBM的Power系统硬件和集群软件。
除了“咖啡因”框架,IBM还表示,流行的谷歌TensorFlow框架同样可以在这种新技术上运行。莫海德说,值得注意的是,IBM在运用自己在高性能计算方面的专业知识,同时,也采纳诸如Tensorflow和“咖啡因”之类的外部资源,这种做法有助于该项技术更广泛地适用于一系列深度学习应用。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • IBM
    IBM
    +关注

    关注

    3

    文章

    1749

    浏览量

    74618
  • 人工智能
    +关注

    关注

    1791

    文章

    46840

    浏览量

    237519
  • 深度学习
    +关注

    关注

    73

    文章

    5492

    浏览量

    120969
收藏 人收藏

    评论

    相关推荐

    海量数据处理需要多少RAM内存

    海量数据处理所需的RAM(随机存取存储器)内存量取决于多个因素,包括数据的具体规模、处理任务的复杂性、数据库管理系统的效率以及所使用软件的优
    的头像 发表于 11-11 09:56 152次阅读

    IBM推出高性能AI模型Granite 3.0

    在近日举行的IBM年度TechXchange大会上,IBM正式推出了其最先进的AI模型家族——Granite 3.0。这款旗舰级语言模型代表了IBM在AI技术领域的又一重大突破
    的头像 发表于 10-28 17:39 402次阅读

    IBM发布Granite 3.0 AI模型家族

    IBM在近日举行的年度TechXchange大会上,正式推出了其迄今为止最先进的AI模型家族——Granite 3.0。这一系列的发布标志着IBM在人工智能技术领域的又一次重大突破
    的头像 发表于 10-23 17:09 405次阅读

    Anthropic在人工智能领域取得重大突破

     10月23日消息,美国当地时间周二,人工智能初创企业Anthropic宣布了一项重大进展。这家由前OpenAI高管创立并获得亚马逊支持的公司,在人工智能领域取得了新的突破,其研发的A
    的头像 发表于 10-23 14:56 391次阅读

    中国芯片制造关键技术取得重大突破,预计一年内实现应用落地

    瓶颈。这一壮举不仅标志着我国在该领域的首次重大突破,更是有效突破了平面型碳化硅MOSFET芯片性能的上限。
    的头像 发表于 09-03 15:35 1367次阅读

    【《大语言模型应用指南》阅读体验】+ 基础知识学习

    今天来学习大语言模型在自然语言理解方面的原理以及问答回复实现。 主要是基于深度学习和自然语言处理技术。 大语言模型涉及以下几个过程: 数据
    发表于 08-02 11:03

    深度学习中的时间序列分类方法

    时间序列分类(Time Series Classification, TSC)是机器学习深度学习领域的重要任务之一,广泛应用于人体活动识别、系统监测、金融预测、医疗诊断等多个领域。随
    的头像 发表于 07-09 15:54 701次阅读

    深度学习的基本原理与核心算法

    处理、语音识别等领域取得了革命性的突破。本文将详细阐述深度学习的原理、核心算法以及实现方式,并通过一个具体的代码实例进行说明。
    的头像 发表于 07-04 11:44 1663次阅读

    据新华社等多家媒体报道!畅能达科技实现散热技术重大突破

    据新华社等多家媒体报道!畅能达科技实现散热技术重大突破 由 广东畅能达科技发展有限公司 自主研发的高热流密度散热相变封装基板,其散热性能远远超过现有的金刚石铝和金刚石铜。该技术可广泛运用于芯片、微波
    发表于 05-29 14:39

    佛罗里达大学研发3D通信处理器,开启数据传输新时代!

    佛罗里达大学的科研团队在无线通信领域取得重大突破,成功研发出全新的3D通信处理器,这一创新技术有望改变无线通信的发展格局,大幅提高传输大数据
    的头像 发表于 05-07 15:17 781次阅读

    深度解析深度学习下的语义SLAM

    随着深度学习技术的兴起,计算机视觉的许多传统领域都取得突破性进展,例如目标的检测、识别和分类等领域。近年来,研究人员开始在视觉SLAM算法中引入
    发表于 04-23 17:18 1237次阅读
    <b class='flag-5'>深度</b>解析<b class='flag-5'>深度</b><b class='flag-5'>学习</b>下的语义SLAM

    重大突破│捷杰传感APEF自适应算法将设备健康监测误报率和漏报率降低92.8%!

    苏州捷杰传感理论结合实践深入研究数年,取得重大突破,成功研发出自适应边缘保持滤波算法(APEF),有效解决误报和漏报。
    的头像 发表于 03-28 15:27 383次阅读
    <b class='flag-5'>重大突破</b>│捷杰传感APEF自适应算法将设备健康监测误报率和漏报率降低92.8%!

    我国在光储行业取得重大突破“超级光盘”诞生了!

    行业芯事
    电子发烧友网官方
    发布于 :2024年02月23日 11:19:08

    我国在光存储领域获重大突破 或将开启绿色海量光子存储新纪元

    我国在光存储领域获重大突破 或将开启绿色海量光子存储新纪元 据新华社的报道,中国科学院上海光学精密机械研究所与上海理工大学等合作,在超大容量超分辨三维光存储研究中取得突破性进展。可以说
    的头像 发表于 02-22 18:28 1732次阅读

    量子计算机 未来希望

    自己从事语音识别产品设计开发,而量子技术和量子计算机必将在自然语言处理方面实现重大突破,想通过此书学习量子计算技术,储备知识,谢谢!
    发表于 02-01 12:51