0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Ambarella展示了在其CV3-AD芯片上运行LLM的能力

Astroys 来源:Astroys 2023-11-28 09:05 次阅读

Ambarella前不久展示了在其CV3-AD芯片上运行LLM的能力。这款芯片是CV3系列中最强大的,专为自动驾驶设计。

CV3-AD一年前开始出样,使用Ambarella现有的AI软件堆栈,运行Llama2-13B模型时,可以实现每秒推理25个token。

Ambarella的CEO Fermi Wang表示:“当transformer在今年早些时候变得流行时,我们开始问自己,我们拥有一个强大的推理引擎,我们能做到吗?我们进行了一些快速研究,发现我们确实可以。我们估计我们的性能可能接近Nvidia A100。”

Ambarella工程师正在展示Llama2-13B在CV3-AD上的实时演示,CV3-AD是一款50W的自动驾驶芯片。

Ambarella芯片上的CVFlow引擎包括其NVP(Neural Vector Processor)和一个GVP(General Vector Processor),演示中的LLM正在NVP上运行。NVP采用数据流架构,Ambarella已将诸如卷积之类的高级运算符指令组合成图表,描述数据如何通过处理器进行该运算符的处理。所有这些运算符之间的通信都使用片上内存完成。CV3系列使用LPDDR5(而非HBM),功耗约为50W。

268a3c3c-8d86-11ee-939d-92fbcf53809c.png

Ambarella的CTO Les Kohn表示,LLM演示确实需要一些新软件。实现transformer架构核心操作的构建模块,目前这些操作针对的是像Llama2这样的模型。

他说:“随着时间的推移,我们将扩展这些功能以覆盖其它模型,但Llama2正在成为开源世界的事实标准。这绝对是一项不小的投资,但与从头开始开发软件相比,还差得远。”

Edge LLM发展路线图‍‍‍‍‍

Wang表示:“现在我们知道我们拥有这项技术,我们可以解决一些实际问题。如果你与LLM的研发人员交谈,问他们最头疼的是什么,一个显然是价格,另一个是功耗。”

CV3-AD设计用于50W的功率范围(包括整个芯片的功率,不仅仅是AI加速器)。因此,Wang希望Ambarella能够以大约四分之一的功耗,为LLM提供与A100相似的性能。

他说:“这意味着对于固定的数据中心功率,我可以增加四倍的AI性能。这是巨大的价值。尽管这种想法很简单,但我们相信我们可以为渴望使用LLM的任何人提供价值。在过去的六个月里,渴望使用LLM的人数迅速增加。”

虽然超大规模计算中心可能是首批跟进LLM趋势的,但Ambarella在安防摄像头和汽车领域的现有客户开始考虑如何在他们的边缘系统中实施LLM,以及LLM将如何实施他们的发展路线图。

Wang说:“我们相信LLM将成为我们需要在路线图中为当前客户提供的重要技术。当前的CV3可以运行LLM,而无需Ambarella进行太多额外的工程投资,所以这对我们来说并非分心之事。我们当前的市场在他们的路线图中已经有了LLM。” 多模态AI‍‍‍‍ Kohn指出,在边缘计算中,具有生成文本和图像能力的大型多模态生成型AI潜力日益增大。

他说:“对于像机器人这样的应用,transformer网络已经可以用于计算机视觉处理,这比任何传统计算机视觉模型都要强大,因为这种模型可以处理零样本学习,这是小模型无法做到的。”

零样本学习指的是模型能够推断出在其训练数据中未出现的对象类别的信息。这意味着模型可以以更强大的方式预测和处理边缘情况,这在自动系统中尤其重要。

他补充说:“自动驾驶本质上是一种机器人应用:如果你看看L4/L5系统需要什么,很明显你需要更强大、更通用的AI模型,这些模型能以更类似于人类的方式理解世界,超越我们今天的水平。我们将这看作是为各种边缘应用获取更强大的AI处理能力的一种方式。”

LLM发展路线图‍‍

问及Ambarella是否会制造专门针对LLM的边缘芯片时,Wang表示:“这可能是我们需要考虑的事情。我们需要一个具有更多AI性能的LLM路线图。LLM本身需要大量的DRAM带宽,这几乎使得在芯片上集成其他功能变得不可能(因为其他功能也需要DRAM带宽)。”

Wang说,尽管在某些人看来,一个大型信息娱乐芯片应该能够同时处理其他工作负载和LLM,但目前这是不可能的。LLM所需的性能和带宽或多或少地需要一个单独的加速器。

Kohn补充说:“这取决于模型的大小。我们可能会看到目前使用的模型比较小的版本应用于像机器人学这样的领域,因为它们不需要处理大型模型所做的所有通用事务。但与此同时,人们希望有更强大的性能。所以,我认为最终我们将看到未来更优化的解决方案,它们将被应用于不同的价格/性能点。”

在边缘计算之外,CV3系列也有可能在数据中心中使用。Kohn说,CV3系列有多个PCIe接口,这在多芯片系统中可能很有用。他还补充说,该公司已经有一个可以利用的PCIe卡。

Wang表示:“对我们来说,真正的问题是,‘我们能否将当前产品和未来产品销售到超大规模计算中心或基于云的解决方案中?’这是一个我们还没有回答的问题,但我们已经确认了技术的可行性,并且我们有一些差异化。我们知道我们可以将这种产品销售到边缘设备和边缘服务器。我们正在制定一个计划,希望如果我们想要进入基于云的解决方案,我们可以证明进一步投资是合理的。”







审核编辑:刘清

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 处理器
    +关注

    关注

    68

    文章

    19091

    浏览量

    228776
  • 机器人
    +关注

    关注

    210

    文章

    28087

    浏览量

    205798
  • LPDDR5
    +关注

    关注

    2

    文章

    87

    浏览量

    12018
  • 自动驾驶芯片

    关注

    3

    文章

    47

    浏览量

    5073
  • LLM
    LLM
    +关注

    关注

    0

    文章

    260

    浏览量

    297

原文标题:Ambarella展示在自动驾驶芯片上的LLM推理能力

文章出处:【微信号:Astroys,微信公众号:Astroys】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    LLM预训练的基本概念、基本原理和主要优势

    理解和生成自然语言的能力,为各种NLP任务提供强大的支持。本文将详细介绍LLM预训练的基本概念、基本原理以及主要优势,并附上相关的代码示例。
    的头像 发表于 07-10 11:03 908次阅读

    大模型LLM与ChatGPT的技术原理

    与机器的交互方式。这些技术通过深度学习和自然语言生成(Natural Language Generation, NLG)的结合,实现对复杂语言任务的高效处理。本文将深入探讨大模型LLM和ChatGPT的技术原理,并通过代码示例展示
    的头像 发表于 07-10 10:38 633次阅读

    LLM模型的应用领域

    在本文中,我们将深入探讨LLM(Large Language Model,大型语言模型)的应用领域。LLM是一种基于深度学习的人工智能技术,它能够理解和生成自然语言文本。近年来,随着计算能力的提高
    的头像 发表于 07-09 09:52 472次阅读

    什么是LLMLLM的工作原理和结构

    随着人工智能技术的飞速发展,大型语言模型(Large Language Model,简称LLM)逐渐成为自然语言处理(NLP)领域的研究热点。LLM以其强大的文本生成、理解和推理能力,在文本
    的头像 发表于 07-02 11:45 6177次阅读

    Meta发布基于Code Llama的LLM编译器

    近日,科技巨头Meta在其X平台上正式宣布推出了一款革命性的LLM编译器,这一模型家族基于Meta Code Llama构建,并融合先进的代码优化和编译器功能。LLM编译器的推出,标
    的头像 发表于 06-29 17:54 1425次阅读

    【算能RADXA微服务器试用体验】+ GPT语音与视觉交互:1,LLM部署

    。环境变量的配置,未来在具体项目中我们会再次提到。 下面我们正式开始项目。项目从输入到输出分别涉及语音识别,图像识别,LLM,TTS这几个与AI相关的模块。先从最核心的LLM开始。 由于LLAMA
    发表于 06-25 15:02

    解锁LLM新高度—OpenVINO™ 2024.1赋能生成式AI高效运行

    LLM 的发展仍保持着惊人的速度。尽管现有的 LLM 已经具备强大的功能,但通过 OpenVINO™ 的优化和推理加速,可以对这些复杂模型的执行进行精炼,实现更快、更高效的处理,减少计算开销并最大限度发挥硬件潜力,这将直接导致 LLM
    的头像 发表于 05-10 10:36 471次阅读

    高通支持Meta Llama 3在骁龙终端上运行

    高通与Meta携手合作,共同推动Meta的Llama 3大语言模型(LLM)在骁龙驱动的各类终端设备实现高效运行。此次合作致力于优化Llama 3
    的头像 发表于 05-09 10:37 387次阅读

    苹果M3芯片参数配置

    苹果M3芯片是一款高性能处理器,其参数配置相当出色。该芯片配备8个CPU核心和高达10个GPU核心,提供强大的计算和图形处理
    的头像 发表于 03-11 16:48 1726次阅读

    100%在树莓派上执行的LLM项目

    ChatGPT的人性口语化回复相信许多人已体验过,也因此掀起一波大型语言模型(Large Language Model, LLM)热潮,LLM即ChatGPT背后的主运作技术,但LLM运作需要庞大运算力,因此目前多是在云端(Cl
    的头像 发表于 02-29 16:29 1239次阅读
    100%在树莓派上执行的<b class='flag-5'>LLM</b>项目

    超级芯片:云时代的潜在颠覆者

    苹果已经开始谈论在其芯片中增加更高端计算能力,此前,英特尔和英伟达也做出了类似的努力。这些新功能旨在在设备实现更多的大型语言模型(LLM
    的头像 发表于 01-19 11:08 600次阅读

    CV3域控芯片家族又添两员!各档规格完整覆盖,软件功能全面兼容

    CV3-AD635 和 CV3-AD655 还集成了一对双核 Cortex R52 CPU。这些 SoC 符合芯片ASIL-B 功能安全标准,其功能安全岛符合 ASIL-D标准。此外,两款芯片
    的头像 发表于 01-11 16:44 923次阅读
    <b class='flag-5'>CV3</b>域控<b class='flag-5'>芯片</b>家族又添两员!各档规格完整覆盖,软件功能全面兼容

    安霸发布全新N1系列生成式AI芯片

    安霸在CES 2024发布全新的N1系列生成式AI芯片,这是一款专门为前端设备设计的芯片,支持本地运行大型语言模型(
    的头像 发表于 01-09 15:32 1279次阅读

    安霸CV3-AD685 AI域控芯片助力Kodiak开发下一代自动驾驶卡车

    安霸的 CV3-AD685 AI 域控芯片来开发其新一代自动驾驶卡车使用的嵌入式计算解决方案。通过该芯片,Kodiak 的域控制器支持多个摄像头、激光雷达和毫米波雷达的同时输入,并通过 CVflow
    的头像 发表于 01-03 10:08 1433次阅读

    TensorRT-LLM初探(一)运行llama

    TensorRT-LLM正式出来有半个月了,一直没有时间玩,周末趁着有时间跑一下。
    的头像 发表于 11-16 17:39 1165次阅读
    TensorRT-<b class='flag-5'>LLM</b>初探(一)<b class='flag-5'>运行</b>llama