0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Flex Logix InferX X1M边缘推理加速器

星星科技指导员 来源:嵌入式计算设计 作者:嵌入式计算设计 2022-07-11 09:56 次阅读

每种类型的边缘 AI 都有三个硬性和快速的技术要求:低功耗、小尺寸和高性能。当然,“小型”、“节能”或“高性能”的构成因用例而异,可以描述从小型微控制器到边缘服务器的所有内容,但通常您必须至少牺牲一个才能获得其他。

但是,一种可以解决从边缘云到端点的所有问题而无需牺牲的解决方案是 FPGA

几十年来,FPGA 一直用于提供低功耗、高性能的设计灵活性,无论应用程序或外形尺寸如何,但它们并不完全是用户友好的——复杂的 AI 模型和算法的不断发展加剧了这一事实。然而,在有挑战的地方通常也有机会,对于工业自动化、智慧城市、交通、医疗保健、农业和其他市场中的边缘人工智能用例,以及其他快速采用计算机视觉等功能的市场,机会以FlexLogix X1M 人工智能加速器。

Flex Logix X1M AI 加速器针对实时、高分辨率计算机视觉用例,这些用例运行基于 Yolov3、Yolov4 和 Yolov5 等模型的小批量深度学习工作负载。为了以比 NVIDIA Tesla T4、Xavier NX 或 Jetson TX2 等设备更高的每美元吞吐量提供视觉边缘推理,新的 X1M M.2 模块利用 Flex Logix 的 InferX X1 架构,将 4K INT8 MAC 内核组合成 64 个8 MB SRAM 和 4 GB 16 MTps LPDDR4X DRAM 支持 x 64 张量处理器阵列。

鉴于板载内存,X1M AI 加速器本身支持 PCI Express Gen 3 或 4 的 x2 通道作为主机总线协议。PCIe 支持不仅促进了张量阵列与内存和存储中的数据或模型之间的高速数据传输,还能够符合 M.2 2280 B+M 关键外形规格规格,尺寸为 22 mm (W) x 80 毫米(长)x 17 毫米深(包括散热器)。

X1M AI 加速器的大小与口香糖差不多,消耗的功率也比时钟收音机多一点,它真正占据了技术功率-性能尺寸维恩图的中心

InferX X1M 边缘推理加速器正在运行

该平台的张量阵列使其能够处理具有数百层、数十个并行通道和多种算子类型的深度神经网络,与 GPU 不同,它可以应用于批量小至 1 的百万像素图像。

尽管展示了 ASIC 的性能特征,但 InferX X1M 拥有 FPGA 独有的能力。其中包括可重新配置的数据路径,允许设备硬件适应新的和不同的模型技术,即使在现场部署之后也是如此。从本质上讲,这使这些设备能够面向未来。

重要的是,用户无需了解硬件开发语言或手动重新编程 FPGA 比特流即可访问这些功能以及控制逻辑等其他功能。这要归功于为用户提供对低级平台控制功能和监控功能的内部访问以及可用于应用程序配置或模型部署的外部访问的 API

此外,开放神经网络交换 (ONNX) 格式的兼容性允许 InferX X1M 工具以最佳方式自动将框架中表示的任何模型映射到 X1 加速器。

该解决方案支持在 Windows 和 Linux 操作环境中进行开发。

Flex Logix InferX X1M 加速器入门

除了上面列出的好处之外,InferX X1M 加速器的最大优势可能在于它使边缘 AI 和计算机视觉 OEM 和系统集成商不必设计自己的定制板。这些 M.2 模块设计用于在 0ºC 至 50ºC 的温度范围和 10% 至 90% 的相对非冷凝湿度范围内可靠地运行,所有这些都具有竞争力的成本。

审核编辑:郭婷

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • asic
    +关注

    关注

    34

    文章

    1183

    浏览量

    120219
  • 神经网络
    +关注

    关注

    42

    文章

    4733

    浏览量

    100412
  • AI
    AI
    +关注

    关注

    87

    文章

    29785

    浏览量

    268074
收藏 人收藏

    评论

    相关推荐

    AMD助力HyperAccel开发全新AI推理服务

    ( LLM )的推理,此类模型通常具有数十亿个参数,例如 OpenAI 的 ChatGPT 和 Meta 的 Llama 3 等 Llama LLM。其 AI 芯片名为时延处理单元( LPU ),是专门用于 LLM 端到端推理的硬件加速
    的头像 发表于 09-18 09:37 307次阅读
    AMD助力HyperAccel开发全新AI<b class='flag-5'>推理</b>服务<b class='flag-5'>器</b>

    “白地板”方案,智算中心加速器

    明德源能白地板方案,智算中心加速器
    的头像 发表于 06-21 11:54 709次阅读

    台积电:AI服务处理预计翻番,拉动收入增长 

    台积电将 AI 服务处理严格限定为用于 AI 训练与推理的 GPU、CPU 及 AI 加速器,剔除网络边缘与消费级设备中的此类产品。
    的头像 发表于 04-19 15:04 315次阅读

    Arm推动生成式AI落地边缘!全新Ethos-U85 AI加速器支持Transformer 架构,性能提升四倍

    电子发烧友网报道(文/黄晶晶)在嵌入式领域,边缘与端侧AI推理需求不断增长,Arm既有Helium 技术使 CPU 能够执行更多计算密集型的 AI 推理算法,也有Ethos 系列 AI 加速器
    的头像 发表于 04-16 09:10 4480次阅读
    Arm推动生成式AI落地<b class='flag-5'>边缘</b>!全新Ethos-U85 AI<b class='flag-5'>加速器</b>支持Transformer 架构,性能提升四倍

    Hailo获1.2亿美元新融资,首发AI加速器Hailo-10,助力边缘设备实现生成式人工智能

    引入边缘计算领域,为行业发展注入新动力。 边缘人工智能处理的领先芯片制造商Hailo近日宣布C轮融资再获1.2亿美元投资。与此同时,Hailo还推出创新型Hailo-10高性能生成式人工智能(GenAI)
    的头像 发表于 04-03 11:57 295次阅读

    三星电子瞄准边缘计算市场,计划2025年推出AI加速器芯片Mach-1

    据了解,Mach-1芯片在推理过程中所需的内存带宽相比现有设计有大幅降低,降幅高达0.125倍,这一显著优化使其在边缘计算领域的应用更具优势。
    的头像 发表于 03-22 14:30 1147次阅读

    Tenstorrent将为日本LSTC新型边缘2纳米AI加速器开发芯片

    加拿大AI芯片领域的初创公司Tenstorrent与日本尖端半导体技术中心(LSTC)达成了一项多层次合作协议。根据协议内容,LSTC将采用Tenstorrent的世界级RISC-V架构和芯片IP来开发其新型边缘2纳米人工智能加速器
    的头像 发表于 02-28 10:49 607次阅读

    回旋加速器原理 回旋加速器的影响因素

    回旋加速器(Cyclotron)是一种用于加速带电粒子的可再生粒子加速器。它的工作原理基于带电粒子在恒定强磁场中的运动。本文将详细介绍回旋加速器的原理以及影响因素。 一、回旋
    的头像 发表于 01-30 10:02 3419次阅读

    回旋加速器中粒子的最大动能与什么有关

    回旋加速器是一种用于加速粒子的装置,通过不断变化的磁场和电场来不断加速粒子,使其达到极高的速度和能量。粒子的最大动能取决于几个关键因素。 首先,回旋加速器的设计和性能对粒子的最大动能有
    的头像 发表于 01-18 10:42 2893次阅读

    Wakefield激光加速器 - 能量里程碑

    由The University of Texas at Austin物理学副教授比约恩·“曼努埃尔”·赫格利希(Bjorn “Manuel” Hegelich)领导的国际研究小组最近展示了一种长度不到20米的小型粒子加速器,该加速器产生的电子束能量为100亿电子伏特(10
    的头像 发表于 01-14 09:38 973次阅读
    Wakefield激光<b class='flag-5'>加速器</b> - 能量里程碑

    粒子加速器加速原理是啥呢?

    粒子加速器加速原理是啥呢? 粒子加速器是一种重要的实验设备,用于研究粒子物理学、核物理学等领域。其主要原理是通过电场和磁场的作用,对带电粒子进行加速,在高速运动过程中使其获得较大的动
    的头像 发表于 12-18 13:52 1934次阅读

    在CCES环境下如何使用21489的IIR加速器

    在VDSP++的环境下程序已经实现,但是到了CCES下,把中断初始化函数修改了,还是无法正确配置中断,直接返回IIR的中断初始化失败,请问CCES下怎么使用IIR加速器
    发表于 11-30 08:20

    21489的IIR加速器滤波参数设置如何对应加速器的滤波参数?

    目前在用21489内部的IIR加速器去做一个低通滤波,在例程的基础上修改参数。通过平板的fda 工具工具去设计参数,但是设计出来的参数不知道如何对应加速器的滤波参数,手册里也看得不是很明白。 设计的参数如下: 请问
    发表于 11-30 08:11

    使用ADSP-21489的fir加速器时,存在很大的噪音如何解决?

    您好!当我使用ADSP-21489的fir加速器时,存在很大的噪音,未知如何解决,希望这里有高人帮我解决。 附件上有工程,该工程参考iir加速器使用例子编写。
    发表于 11-30 07:49

    PCIe在AI加速器中的作用

    从线上购物时的“猜你喜欢”、到高等级自动驾驶汽车上的实时交通信息接收,再到在线视频游戏,所有的这些都离不开人工智能(AI)加速器。AI加速器是一种高性能的并行计算设备,旨在高效处理神经网络等AI工作负载并提供近乎实时的处理方案,从而实现一系列应用。
    的头像 发表于 11-18 10:36 1984次阅读
    PCIe在AI<b class='flag-5'>加速器</b>中的作用