0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

NVIDIA在最新AI推理基准测试中大获成功

NVIDIA英伟达 来源:英伟达NVIDIA中国 2019-11-29 14:45 次阅读

NVIDIA Turing GPU与 NVIDIA Xavier在MLPerf数据中心与边缘AI推理性能基准测试中取得最快成绩。

NVIDIA于今日公布,其在最新测定数据中心与边缘AI推理工作负载性能的基准测试中取得最快成绩。NVIDIA在前不久的AI训练基准测试中也展现出同样强大的实力,为此次获胜奠定了基础。

MLPerf Inference 0.5是业内首个独立AI推理基准套件,其测试结果证明了NVIDIA Turing数据中心GPU以及NVIDIA Xavier 边缘计算芯片系统的性能。

MLPerf的五项推理基准适用于一系列形式因素和四种推理情景,涵盖了图像分类、目标检测和翻译等已有的AI应用。

凭借Turing GPU所提供的目前市面上单处理器最高的性能,NVIDIA 在全部五项针对于两种数据中心关注的情景(服务器和离线)的基准测试中均排在首位1。Xavier则是市面上针对两种边缘情景(单流和多流)性能最高的边缘和移动芯片系统2。

NVIDIA副总裁兼加速计算总经理Ian Buck表示:“AI正处于从研究阶段迅速转向大规模实际应用部署的临界点。AI推理是一项巨大的计算挑战。NVIDIA将业内最先进的可编程加速器CUDA-X AI算法套件与我们在AI计算领域的深厚知识相结合,能够帮助数据中心部署庞大且正在不断增长的复杂AI模型。”

由于重视其计算平台在各种AI工作负载中的可编程性与性能,因此NVIDIA是唯一一家提交了全部五项MLPerf基准测试结果的AI计算平台公司。此前七月,NVIDIA就曾在多项MLPerf 0.6 AI训练基准测试结果中胜出,在训练性能方面创造了八项纪录。

NVIDIA GPU在全球最大的云基础设施中为大型推理工作负载提供加速,这些云基础设施包括阿里云、AWS、谷歌云平台、微软Azure和腾讯等。目前,AI正在朝操作和数据生成点的边缘移动。沃尔玛、宝洁等全球首屈一指的企业和机构正使用NVIDIA EGX边缘计算平台与AI推理能力在边缘运行复杂的AI工作负载。

NVIDIA的所有MLPerf测试结果均采用NVIDIA TensorRT 6 高性能深度学习推理软件获得。该软件能够在生产中轻松优化和部署数据中心、边缘等位置的AI应用。此外,GitHub库还以开源形式提供新的TensorRT优化。

全新Jetson Xavier NX

为了扩展其推理平台,NVIDIA于今日宣布推出了Jetson Xavier NX。Jetson Xavier NX是全球体积最小、性能最强大的适用于边缘机器人嵌入式计算设备的AI超级计算机,它是围绕MLPerf Inference 0.5基准测试中所使用的Xavier芯片系统所打造的低功耗版本。

MLPerf v0.5 Inference results retrieved from www.mlperf.org on Nov. 6, 2019, from entries Inf-0.5-15,Inf-0. 5-16, Inf-0.5-19, Inf-0.5-21. Inf-0.5-22, Inf-0.5-23, Inf-0.5-27. Per-processor performance is calculated by dividing the primary metric of total performance by number of accelerators reported.

MLPerf v0.5 Inference results retrieved from www.mlperf.org on Nov. 6, 2019, from entries Inf-0.5-24, Inf-0.5-28, Inf-0.5-29.

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • NVIDIA
    +关注

    关注

    14

    文章

    4841

    浏览量

    102694
  • AI
    AI
    +关注

    关注

    87

    文章

    29640

    浏览量

    267982
  • 边缘计算
    +关注

    关注

    22

    文章

    3037

    浏览量

    48419

原文标题:NVIDIA在最新AI推理基准测试中大获成功

文章出处:【微信号:NVIDIA_China,微信公众号:NVIDIA英伟达】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    NVIDIA助力丽蟾科技打造AI训练与推理加速解决方案

    丽蟾科技通过 Leaper 资源管理平台集成 NVIDIA AI Enterprise,为企业和科研机构提供了一套高效、灵活的 AI 训练与推理加速解决方案。无论是
    的头像 发表于 10-27 10:03 129次阅读
    <b class='flag-5'>NVIDIA</b>助力丽蟾科技打造<b class='flag-5'>AI</b>训练与<b class='flag-5'>推理</b>加速解决方案

    NVIDIA与思科合作打造企业级生成式AI基础设施

    NVIDIA 加速计算平台、NVIDIA AI Enterprise 软件和 NVIDIA NIM 推理微服务加持的思科 Nexus H
    的头像 发表于 10-10 09:35 240次阅读

    TDA4 Edge AI处理器的性能和效率基准测试

    电子发烧友网站提供《TDA4 Edge AI处理器的性能和效率基准测试.pdf》资料免费下载
    发表于 09-11 09:21 0次下载
    TDA4 Edge <b class='flag-5'>AI</b>处理器的性能和效率<b class='flag-5'>基准</b><b class='flag-5'>测试</b>

    NVIDIA加速计算和生成式AI领域的创新

    最新发布的公司 2024 财年可持续发展报告开篇的一封信中,NVIDIA 创始人兼首席执行官黄仁勋介绍了 NVIDIA 加速计算和生成式 AI
    的头像 发表于 09-09 09:18 464次阅读

    NVIDIA文本嵌入模型NV-Embed的精度基准

    NVIDIA 的最新嵌入模型 NV-Embed —— 以 69.32 的分数创下了嵌入准确率的新纪录海量文本嵌入基准测试(MTEB)涵盖 56 项嵌入任务。
    的头像 发表于 08-23 16:54 1914次阅读
    <b class='flag-5'>NVIDIA</b>文本嵌入模型NV-Embed的精度<b class='flag-5'>基准</b>

    NVIDIA携手Meta推出AI服务,为企业提供生成式AI服务

    NVIDIA近日宣布了一项重大举措,正式推出NVIDIA AI Foundry服务与NVIDIA NIM(NVIDIA Inference
    的头像 发表于 07-25 16:57 471次阅读

    英伟达推出全新NVIDIA AI Foundry服务和NVIDIA NIM推理微服务

    NVIDIA 宣布推出全新 NVIDIA AI Foundry 服务和 NVIDIA NIM 推理微服务,与同样刚推出的 Llama 3.1
    的头像 发表于 07-25 09:48 635次阅读

    NVIDIA推出用于支持全新GeForce RTX AI笔记本电脑上运行的AI助手及数字人

    NVIDIA 宣布推出全新 NVIDIA RTX 技术,用于支持全新 GeForce RTX AI 笔记本电脑上运行的 AI 助手及数字人
    的头像 发表于 06-04 10:19 649次阅读

    英伟达推出AI模型推理服务NVIDIA NIM

    英伟达近日宣布推出一项革命性的AI模型推理服务——NVIDIA NIM。这项服务将极大地简化AI模型部署过程,为全球的2800万英伟达开发者提供前所未有的便利。
    的头像 发表于 06-04 09:15 610次阅读

    NVIDIA将全球数百万开发者转变为生成式 AI 开发者

    测试   NVIDIA 于今日宣布,全球 2,800 万开发者现可下载NVIDIA NIM——一种推理微服务,通过经优化的容器的形式提供模型——以部署
    的头像 发表于 06-03 18:21 964次阅读

    利用NVIDIA组件提升GPU推理的吞吐

    本实践中,唯品会 AI 平台与 NVIDIA 团队合作,结合 NVIDIA TensorRT 和 NVIDIA Merlin HierarchicalKV(HKV)将
    的头像 发表于 04-20 09:39 603次阅读

    UL Procyon AI 发布图像生成基准测试,基于Stable Diffusion

    UL去年发布的首个Windows版Procyon AI推理基准测试,以计算机视觉工作负载评估AI推理
    的头像 发表于 03-25 16:16 814次阅读

    使用NVIDIA Triton推理服务器来加速AI预测

    这家云计算巨头的计算机视觉和数据科学服务使用 NVIDIA Triton 推理服务器来加速 AI 预测。
    的头像 发表于 02-29 14:04 527次阅读

    HarmonyOS:使用MindSpore Lite引擎进行模型推理

    场景介绍 MindSpore Lite 是一款 AI 引擎,它提供了面向不同硬件设备 AI 模型推理的功能,目前已经图像分类、目标识别、人脸识别、文字识别等应用中广泛使用。 本文介绍
    发表于 12-14 11:41

    利用 NVIDIA Jetson 实现生成式 AI

    交互速率运行的 Llama-2-70B 模型。 图 1. 领先的生成式 AI 模型  Jetson AGX Orin 上的推理性能 如要在 Jetson 上快速测试最新的模型和应用,
    的头像 发表于 11-07 21:25 886次阅读
    利用 <b class='flag-5'>NVIDIA</b> Jetson 实现生成式 <b class='flag-5'>AI</b>