0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

当AI遇上云原生,绿色算力助力开启AI新时代

安晟培半导体 来源:安晟培半导体 2023-02-24 11:23 次阅读

撰写文章、编写代码、谱写 Rap,上知天文,下知地理,十八般武艺样样精通……从 2022 年底开始,一款由美国人工智能研究实验室 OpenAI 发布的自然语言处理工具 ChatGPT 备受关注,成为现象级的 AI 产品,掀起全球的 AI 浪潮。

在以 ChatGPT 为代表的 AI 应用蓬勃发展的背后,离不开数据中心提供的算力支撑。而随着相关应用的不断发展,它们所需的算力将呈指数级增长,所需的能耗也不容小觑。根据 2021 年国外研究人员年发表的研究结果,部分基于 GPT-3 模型的训练共消耗1,287 兆瓦时电力,并产生了超过550 吨二氧化碳当量的排放,这相当于一个人往返纽约和旧金山550 次所消耗的二氧化碳量[1]。

Ampere Computing 一直致力于为数据中心带来高性能、高能效的云原生处理器,助力减少环境足迹,构建绿色数据中心,降低总体拥有成本(TCO),以更可持续的方式为用户提供更多的绿色算力。在 AI 领域,Ampere 提供的 AI 解决方案具备卓越的推理性能和优越的能效,帮助用户轻松应对算力及能耗的挑战。

想知道 ChatGPT 如何看待AI 在“减碳”方面的作用吗?快来参与文末的趣味互动吧!

云原生设计,强力赋能 AI 推理

Ampere Altra Max 基于高性能、高能效及可预测的创新架构,非常适合在云中执行 AI 推理工作,不仅可以满足延迟和吞吐量的要求,而且性能优于基于 x86 架构的 CPU。让我们一起来看一下在 Ampere Altra Max 处理器上运行 AI 推理的收益吧!

开箱即用,畅享便捷体验

在 Ampere Altra Max 上运行 AI 推理不需要修改或转换已有神经网络,即可在 TensorFlow、PyTorch 或 ONNX 框架上开发和运行 AI 推理的工作负载。用户可从 Ampere 或 Ampere 云服务合作伙伴处免费获得优化框架,高效地部署和运行应用程序。同时,Ampere Altra Max 是目前唯一支持 fp16 数据格式,并已广泛可用的云原生处理器,将 fp32 训练的网络量化为 fp16 极为简单,且不会导致明显的精度损失。

此外,Ampere 还提供一系列不断优化、预训练的模型,供用户下载用于演示或在实际应用程序中进行调整并使用。并且,Ampere Altra Max CPU 还可与 NVIDIA GPU 协同工作,满足用户的训练需求。

高度可扩展,有效抵抗干扰

凭借创新的可横向扩展架构,Ampere Altra Max 处理器具有更高的核心数和出色的单线程性能。结合所有内核可同时一致频率运行的特性,Ampere Altra Max 的单 CPU 整体性能比目前最好的 x86 服务器更高、更稳定,在多租户的云环境中对“嘈杂邻居”的干扰也更具抵抗力。

基准测试,彰显卓越推理性能

为展示 Ampere Altra Max CPU 在多个具有代表性的 AI 推理任务中的卓越性能,Ampere 按照 MLCommons 指南运行了一系列基准测试(包括计算机视觉和 NLP 应用),部分测试的结果如下。

计算机视觉方面,使用 SSD ResNet-34 测试典型的对象检测应用,在 fp32 模式下与比较对象相比,Ampere Altra Max 在低延迟方面最高可领先近 4 倍。在 fp16 模式下,Altra Max 将领先优势扩大了两倍,同时保持了相同的精度。

52ae8e84-b371-11ed-bfe3-dac502259ad0.png

在性能功耗比方面,Ampere Altra Max 也具有显著优势。在 fp16 分辨率下,Ampere Altra Max 的能效与比较对象相比高约 5 倍。而在 fp32 分辨率下,Ampere Altra Max 则拥有高约 2 倍的领先优势。

52d9a40c-b371-11ed-bfe3-dac502259ad0.png

面对蓬勃发展的 AI 应用,Ampere AI 解决方案将为 AI 应用和数据中心的发展提供更可持续的绿色算力支撑,助力解决不断升级的算力需求和日益突出的环境问题。一直以来,Ampere 着眼未来、不断创新,将卓越性能和能效融入到为云定制的解决方案中,助力释放数字经济生产力,助推科技产业在可持续发展的道路上一路“狂飙”。

审核编辑:汤梓红

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    87

    文章

    27489

    浏览量

    265150
  • 人工智能
    +关注

    关注

    1781

    文章

    45003

    浏览量

    232402
  • 云原生
    +关注

    关注

    0

    文章

    224

    浏览量

    7896
  • 算力
    +关注

    关注

    1

    文章

    731

    浏览量

    14453
  • ChatGPT
    +关注

    关注

    28

    文章

    1493

    浏览量

    5855

原文标题:创芯课堂|当 AI 遇上云原生,绿色算力助力开启 AI 新时代

文章出处:【微信号:AmpereComputing,微信公众号:安晟培半导体】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    HDC2024华为发布鸿蒙原生智能:AI与OS深度融合,开启全新的AI时代

    董事长余承东先生表示:全新的Harmony Intelligence鸿蒙原生智能,将开启全新的AI时代!   软硬芯云协同 鸿蒙原生智能深度
    的头像 发表于 06-24 09:28 199次阅读
    HDC2024华为发布鸿蒙<b class='flag-5'>原生</b>智能:<b class='flag-5'>AI</b>与OS深度融合,<b class='flag-5'>开启</b>全新的<b class='flag-5'>AI</b><b class='flag-5'>时代</b>

    英伟达CEO黄仁勋展望AI与机器人新时代

    在COMPUTEX 2024大会上,英伟达CEO黄仁勋发表了激动人心的演讲,他看好机器人即将跨入拥有更强感知能力和系统的全新时代。黄仁勋强调了自家人工智能(AI)Omniverse技术在这一领域的巨大潜力,该技术将助力机器人训练
    的头像 发表于 06-03 11:30 500次阅读

    华为云陈海永:新通话开启多模态通信新时代

    5月25日,“第七届数字中国建设峰会·2024中国移动AI+产品分论坛”在福州举办。在论坛上,华为云核心网产品线CS&IMS领域总裁陈海永做了《新通话开启多模态通信新时代》的主题演讲。
    的头像 发表于 05-27 10:18 260次阅读

    宁畅发布“全局智”,大模型百花齐放时代,为AI计算开启新篇

    AI行业芯事
    脑极体
    发布于 :2024年04月02日 21:22:36

    AI时代怎么样不被淘汰?讯飞AI鼠标助力你在AI时代成长

    AI时代怎么样不被淘汰?讯飞AI鼠标助力你在AI时代成长 随着人工智能的发展,
    的头像 发表于 03-23 11:41 482次阅读
    <b class='flag-5'>AI</b><b class='flag-5'>时代</b>怎么样不被淘汰?讯飞<b class='flag-5'>AI</b>鼠标<b class='flag-5'>助力</b>你在<b class='flag-5'>AI</b><b class='flag-5'>时代</b>成长

    荣耀引领端侧AI新时代

    在今年的MWC盛会上,荣耀宣布与高通、Meta携手,将70亿参数大模型引入端侧,这一创新举措预示着端侧AI新时代的到来。荣耀终端CEO赵明在发布会上详细介绍了荣耀魔法大模型,并通过现场演示展示了其强大的功能,包括任意门和一键成片等MagicOS 8.0中的全新
    的头像 发表于 03-01 10:28 309次阅读

    云原生是大模型“降本增效”的解药吗?

    云原生AI正当时
    的头像 发表于 02-20 09:31 195次阅读

    HarmonyOS SDK,助力开发者打造焕然一新的鸿蒙原生应用

    的鸿蒙原生应用;媒体领域通过 Audio Kit、Media Kit 助力打造超清、流畅、高能效的音视频体验;图形领域提供软硬协同的图形能力,持续构建高画质、高流畅、低功耗的鸿蒙原生游戏体验;
    发表于 01-19 10:31

    米哈游大数据云原生实践

    近年来,容器、微服务、Kubernetes 等各项云原生技术的日渐成熟,越来越多的公司开始选择拥抱云原生,并开始将 AI、大数据等类型的企业应用部署运行在云原生之上。以 Spark 为
    的头像 发表于 01-09 10:41 336次阅读
    米哈游大数据<b class='flag-5'>云原生</b>实践

    [AI原生应用]2024年到来?

    AI大模型
    电子发烧友网官方
    发布于 :2024年01月02日 16:43:46

    强劲的AI边缘计算盒子# 边缘计算

    AI边缘计算
    成都华江信息
    发布于 :2023年11月24日 16:31:06

    李彦宏,AI原生应用的秋收时刻

    AI原生时代的“劝农”人
    的头像 发表于 10-17 11:44 380次阅读
    李彦宏,<b class='flag-5'>AI</b><b class='flag-5'>原生</b>应用的秋收时刻

    下一个时代的船舵,李彦宏握住AI原生应用

    “舵手”李彦宏,和他望向的AI大航海时代
    的头像 发表于 09-22 09:18 1024次阅读
    下一个<b class='flag-5'>时代</b>的船舵,李彦宏握住<b class='flag-5'>AI</b><b class='flag-5'>原生</b>应用

    阿里平头哥发布首个 RISC-V AI 软硬全栈平台

    面向多媒体 AI 增强场景的 RISC-V 全栈软硬件平台。 该平台将 RISC-V 扩展性的新型 Vector、Matrix 及第三方硬件进行抽象,并接入 OpenCV 与 CSI-NN 等弹性
    发表于 08-26 14:14