在过去十年中,云计算每年增长20%,成为了价值1万亿美元的巨大行业大约3000万台CPU服务器完成大部分处理工作,另外,减少碳排放这任务从根本上与增加数据中心的需求相悖,未经过加速的工作负载都将会在CPU上进行处理在AI和云服务中。
在GTC 2023开发者大会上,英伟达向我们介绍了关于他在云计算领域的三个大动作。
首先,英伟达与微软Azure、Google GCP和Oracle OCI三家云厂商合作推出了NVIDIA DGX Cloud。NVIDIA DGX Cloud是一项人工智能超级计算服务,它可以让企业快速访问为生成式人工智能和其他开创性应用训练高级模型所需的基础设施和软件。通过一个浏览器,客户就可以将英伟达DGX AI超级计算机实时接入公司。
其次,面向具有构建、优化和运营定制大语言模型和生成式AI需求的客户,英伟达推出云服务NVIDIA AI Foundations,提供语言、数据和生物学模型的定制服务。
同时,针对ChatGPT等大语言模型的推理训练,英伟达推出了新的GPU H100。H100配备有94GB HBM3的显存,可以支持参数规模达到1750亿的GPT-3,并将大语言模型的处理成本降低一个数量级。
NVIDIA DGX Cloud将透过多个云端服务供应商提供,微软Azure预计于下一季起托管DGX Cloud服务,包括Google Cloud等业者也将陆续开始供应服务,DGX Cloud执行个体价格为每个执行个体每月36,999美金起。
每个DGX Cloud执行个体皆有8个NVIDIA H100或NVIDIA A100 80GB Tensor GPU,单一节点具备640GB 的GPU记忆体,并透过NVIDIA Networking技术提供高效能、低延迟网路,使多个执行个体等同一个超大型GPU。
文章综合和讯 、格隆汇APP、CNMO手机中国
-
云计算
+关注
关注
39文章
7718浏览量
137158 -
英伟达
+关注
关注
22文章
3727浏览量
90758 -
gtc
+关注
关注
0文章
73浏览量
4411
发布评论请先 登录
相关推荐
评论