安霸在CES 2024上发布了全新的N1系列生成式AI芯片,这是一款专门为前端设备设计的芯片,支持本地运行大型语言模型(LLM)应用。其单颗SoC能够支持1至340亿参数的多模态大模型(Multi-Modal LLM)推理,从而实现低功耗的生成式AI功能。
在展会期间,安霸展示了在其新款N1系列SoC上运行多模态大模型的强大能力。令人印象深刻的是,与当前市场上的通用GPU解决方案相比,该芯片每次推理的功耗显著降低。这显示出安霸在提高AI处理效率和降低功耗方面的领先技术。
安霸计划在中高端SoC上提供已优化的生成式AI处理,以满足不同应用场景的需求。这些AI SoC包括了功耗低于5瓦的CV72芯片以及最新的N1芯片,后者可应用于服务器端,功耗低于50瓦。这样的设计使得安霸的解决方案更具竞争力,尤其是在需要高效能、低功耗的边缘计算领域。
相比其他AI加速器,如GPU,安霸提供的完整SoC解决方案具有显著的优势。其每生成一个token的能效比最高可提高3倍,这意味着在相同的性能下,安霸的解决方案能够显著降低能耗,从而延长设备的续航时间。此外,安霸的解决方案还具有快速、低成本的部署优势,使得终端产品能够更快地进入市场并降低总体成本。
总而言之,安霸的N1系列生成式AI芯片为前端设备提供了强大的AI处理能力,同时实现了低功耗和高能效比。这将有助于推动生成式AI在各种终端设备中的应用,包括智能手机、智能家居、智能汽车等领域的创新和发展。随着技术的不断进步和应用的不断扩展,安霸有望成为AI芯片市场的领导者之一。
-
soc
+关注
关注
38文章
4080浏览量
217717 -
AI芯片
+关注
关注
17文章
1849浏览量
34831 -
安霸
+关注
关注
3文章
42浏览量
12905
发布评论请先 登录
相关推荐
评论