0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

当AI遇上云原生,绿色算力助力开启AI新时代

安晟培半导体 来源:安晟培半导体 2023-02-24 11:23 次阅读

撰写文章、编写代码、谱写 Rap,上知天文,下知地理,十八般武艺样样精通……从 2022 年底开始,一款由美国人工智能研究实验室 OpenAI 发布的自然语言处理工具 ChatGPT 备受关注,成为现象级的 AI 产品,掀起全球的 AI 浪潮。

在以 ChatGPT 为代表的 AI 应用蓬勃发展的背后,离不开数据中心提供的算力支撑。而随着相关应用的不断发展,它们所需的算力将呈指数级增长,所需的能耗也不容小觑。根据 2021 年国外研究人员年发表的研究结果,部分基于 GPT-3 模型的训练共消耗1,287 兆瓦时电力,并产生了超过550 吨二氧化碳当量的排放,这相当于一个人往返纽约和旧金山550 次所消耗的二氧化碳量[1]。

Ampere Computing 一直致力于为数据中心带来高性能、高能效的云原生处理器,助力减少环境足迹,构建绿色数据中心,降低总体拥有成本(TCO),以更可持续的方式为用户提供更多的绿色算力。在 AI 领域,Ampere 提供的 AI 解决方案具备卓越的推理性能和优越的能效,帮助用户轻松应对算力及能耗的挑战。

想知道 ChatGPT 如何看待AI 在“减碳”方面的作用吗?快来参与文末的趣味互动吧!

云原生设计,强力赋能 AI 推理

Ampere Altra Max 基于高性能、高能效及可预测的创新架构,非常适合在云中执行 AI 推理工作,不仅可以满足延迟和吞吐量的要求,而且性能优于基于 x86 架构的 CPU。让我们一起来看一下在 Ampere Altra Max 处理器上运行 AI 推理的收益吧!

开箱即用,畅享便捷体验

在 Ampere Altra Max 上运行 AI 推理不需要修改或转换已有神经网络,即可在 TensorFlow、PyTorch 或 ONNX 框架上开发和运行 AI 推理的工作负载。用户可从 Ampere 或 Ampere 云服务合作伙伴处免费获得优化框架,高效地部署和运行应用程序。同时,Ampere Altra Max 是目前唯一支持 fp16 数据格式,并已广泛可用的云原生处理器,将 fp32 训练的网络量化为 fp16 极为简单,且不会导致明显的精度损失。

此外,Ampere 还提供一系列不断优化、预训练的模型,供用户下载用于演示或在实际应用程序中进行调整并使用。并且,Ampere Altra Max CPU 还可与 NVIDIA GPU 协同工作,满足用户的训练需求。

高度可扩展,有效抵抗干扰

凭借创新的可横向扩展架构,Ampere Altra Max 处理器具有更高的核心数和出色的单线程性能。结合所有内核可同时一致频率运行的特性,Ampere Altra Max 的单 CPU 整体性能比目前最好的 x86 服务器更高、更稳定,在多租户的云环境中对“嘈杂邻居”的干扰也更具抵抗力。

基准测试,彰显卓越推理性能

为展示 Ampere Altra Max CPU 在多个具有代表性的 AI 推理任务中的卓越性能,Ampere 按照 MLCommons 指南运行了一系列基准测试(包括计算机视觉和 NLP 应用),部分测试的结果如下。

计算机视觉方面,使用 SSD ResNet-34 测试典型的对象检测应用,在 fp32 模式下与比较对象相比,Ampere Altra Max 在低延迟方面最高可领先近 4 倍。在 fp16 模式下,Altra Max 将领先优势扩大了两倍,同时保持了相同的精度。

52ae8e84-b371-11ed-bfe3-dac502259ad0.png

在性能功耗比方面,Ampere Altra Max 也具有显著优势。在 fp16 分辨率下,Ampere Altra Max 的能效与比较对象相比高约 5 倍。而在 fp32 分辨率下,Ampere Altra Max 则拥有高约 2 倍的领先优势。

52d9a40c-b371-11ed-bfe3-dac502259ad0.png

面对蓬勃发展的 AI 应用,Ampere AI 解决方案将为 AI 应用和数据中心的发展提供更可持续的绿色算力支撑,助力解决不断升级的算力需求和日益突出的环境问题。一直以来,Ampere 着眼未来、不断创新,将卓越性能和能效融入到为云定制的解决方案中,助力释放数字经济生产力,助推科技产业在可持续发展的道路上一路“狂飙”。

审核编辑:汤梓红

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    87

    文章

    31080

    浏览量

    269414
  • 人工智能
    +关注

    关注

    1792

    文章

    47403

    浏览量

    238906
  • 云原生
    +关注

    关注

    0

    文章

    250

    浏览量

    7955
  • 算力
    +关注

    关注

    1

    文章

    990

    浏览量

    14860
  • ChatGPT
    +关注

    关注

    29

    文章

    1564

    浏览量

    7800

原文标题:创芯课堂|当 AI 遇上云原生,绿色算力助力开启 AI 新时代

文章出处:【微信号:AmpereComputing,微信公众号:安晟培半导体】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    云原生LLMOps平台作用

    云原生LLMOps平台是一种基于云计算基础设施和开发工具,专门用于构建、部署和管理大型语言模型(LLM)全生命周期的平台。以下,是对云原生LLMOps平台作用的梳理,由AI部落小编整理。
    的头像 发表于 01-06 10:21 50次阅读

    如何选择云原生机器学习平台

    当今,云原生机器学习平台因其弹性扩展、高效部署、低成本运营等优势,逐渐成为企业构建和部署机器学习应用的首选。然而,市场上的云原生机器学习平台种类繁多,功能各异,如何选择云原生机器学习平台呢?下面,
    的头像 发表于 12-25 11:54 122次阅读

    企业AI租赁模式的好处

    构建和维护一个高效、可扩展的AI基础设施,不仅需要巨额的初期投资,还涉及复杂的运维管理和持续的技术升级。而AI
    的头像 发表于 12-24 10:49 141次阅读

    什么是云原生MLOps平台

    云原生MLOps平台,是指利用云计算的基础设施和开发工具,来构建、部署和管理机器学习模型的全生命周期的平台。以下,是对云原生MLOps平台的介绍,由AI部落小编整理。
    的头像 发表于 12-12 13:13 124次阅读

    广和通开启端侧AI新时代

    AI发展正酣,随着终端芯片越来越高、端侧模型能力越来越强、实时响应及隐私保护的端侧应用需求增加,端侧AI已然具备落地的条件。端侧AI离客
    的头像 发表于 12-12 10:35 217次阅读

    企业AI租赁是什么

    企业AI租赁是指企业通过互联网向专业的提供商租用所需的计算资源,以满足其AI应用的需求。
    的头像 发表于 11-14 09:30 753次阅读

    AI时代的重要性及现状:平衡发展与优化配置的挑战

    AI时代扮演着至关重要的角色。如果说数据是AI大模型的“燃料”,那么
    的头像 发表于 11-04 11:45 457次阅读

    一体架构创新助力国产大AI芯片腾飞

    在湾芯展SEMiBAY2024《AI芯片与高性能计算(HPC)应用论坛》上,亿铸科技高级副总裁徐芳发表了题为《存一体架构创新助力国产大
    的头像 发表于 10-23 14:48 343次阅读

    KubeCon China 2024全球大会在香港举行,京东云受邀参加探讨云原生、开源及 AI

    和数字化大潮一样,在AI化的革命下,云端也在全面拥抱AI,并在方方面面变得更安全、更高效,让全球各行各业受益。2024年8月21日,由云原生计算基金会(CNCF)和 Linux 基金会联合主办
    的头像 发表于 08-23 13:42 357次阅读

    大模型时代需求

    现在AI已进入大模型时代,各企业都争相部署大模型,但如何保证大模型的,以及相关的稳定性和性能,是一个极为重要的问题,带着这个极为重要的问题,我需要在此书中找到答案。
    发表于 08-20 09:04

    HDC2024华为发布鸿蒙原生智能:AI与OS深度融合,开启全新的AI时代

    董事长余承东先生表示:全新的Harmony Intelligence鸿蒙原生智能,将开启全新的AI时代!   软硬芯云协同 鸿蒙原生智能深度
    的头像 发表于 06-24 09:28 634次阅读
    HDC2024华为发布鸿蒙<b class='flag-5'>原生</b>智能:<b class='flag-5'>AI</b>与OS深度融合,<b class='flag-5'>开启</b>全新的<b class='flag-5'>AI</b><b class='flag-5'>时代</b>

    软通动力亮相2024中国移动网络大会,共绘网络新蓝图

    4月28日至29日,以“网络点亮AI新时代”为主题的2024中国移动网络大会在苏州隆重举
    的头像 发表于 05-06 10:20 489次阅读
    软通动力亮相2024中国移动<b class='flag-5'>算</b><b class='flag-5'>力</b>网络大会,共绘<b class='flag-5'>算</b><b class='flag-5'>力</b>网络新蓝图

    一图看懂星河AI数据中心网络,全面释放AI时代

    华为中国合作伙伴大会 | 一图看懂星河AI数据中心网络,以网强,全面释放AI时代
    的头像 发表于 03-22 10:28 779次阅读
    一图看懂星河<b class='flag-5'>AI</b>数据中心网络,全面释放<b class='flag-5'>AI</b><b class='flag-5'>时代</b><b class='flag-5'>算</b><b class='flag-5'>力</b>

    云原生是大模型“降本增效”的解药吗?

    云原生AI正当时
    的头像 发表于 02-20 09:31 404次阅读

    立足,聚焦AI!顺网科技全面走进AI时代

    “立足,聚焦AI”,顺网科技进军AI时代的号角已被吹响。 1月18日,顺网科技(3001
    的头像 发表于 01-19 10:57 480次阅读
    立足<b class='flag-5'>算</b><b class='flag-5'>力</b>,聚焦<b class='flag-5'>AI</b>!顺网科技全面走进<b class='flag-5'>AI</b>智<b class='flag-5'>算</b><b class='flag-5'>时代</b>