0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

使用 Kria SoM 部署基于边缘的人工智能

李慎梓 2022-12-28 09:51 次阅读

支撑工业 4.0 的关键技术之一是在边缘实施机器学习推理的能力。根据应用程序的需要,机器学习推理可以分析遥测数据以对预测性维护进行建模,以防止出现停线情况。或者,应用程序可以检查生产线上制造或包装的物品。

对生产线上的项目进行目视检查的能力需要一个能够以高帧率(>30fps 帧/秒)运行图像处理和机器学习算法的高性能系统。能够实施能够进行此类处理的解决方案也需要强大的功能。这正是 Xilinx 的 Xilinx ® Kria™ K26 系统级模块 (SoM) 和 KV260 Vision AI 入门套件等产品可以提供帮助的地方。

Xilinx ® Kria ™ SoM 和 Vision AI 入门套件

Xilinx ® Kria ™ K26 SoM及其 KV260 Vision AI 入门套件支持视觉和 AI 算法的快速原型设计。Kria K26 SoM 为设计工程师提供了一个高性能异构系统,它结合了高性能 Arm ®处理器和高级可编程逻辑。这种组合允许应用程序在处理系统或可编程逻辑中得到最佳实现。这种融合的结果是一个基于边缘的解决方案,它提供了一个响应迅速、确定性和节能的解决方案。

Kria 不同于传统的 Xilinx 产品,因为它是作为 SoM 交付的。SoM 不仅结合了集成电路,还包括必要的支持易失性和非易失性存储器、时钟电源。Kria K26 SoM 由 SoC (XCK26) 以及 4GB DDR4 内存、16GB eMMC、512Mb QSPI、TPM 安全模块和必要的电源基础设施组成(图 1)。双 240 针连接器可分出 245 个 I/O,可轻松连接您的应用程序。

pYYBAGOrhGGAGwqzAAC--JRLDMI326.jpg

图 1:Xilinx Kria K26 SoM 允许设计工程师利用可编程逻辑的并行特性与高性能 Arm ®处理器内核相结合。(来源:贸泽电子

为帮助设计工程师着手开展工作,Xilinx提供了Kria KV260 Vision AI 入门套件。Kria KV260 Vision AI Starter Kit 包含一个用于 SoM 的载卡,它提供以下接口

3个MIPI接口

USB 3

HDMI

显示端口

国标以太网

模式

这些接口使设计工程师能够创建复杂的基于视觉的 AI 解决方案。这些解决方案可以支持从 MIPI 到 USB 摄像头和以太网实时流协议 (RTSP) 以及传统 HDMI 和 DisplayPort 接收器的一系列视频源和接收器。

该入门套件还附带一系列应用程序,展示了开始开发基于视觉的 AI 应用程序是多么容易。这些应用包括可以检测人脸的智能相机;多流跟踪和识别;缺陷检测;和自然语言处理。Kria 开箱即用架构的优点之一是能够重新编译不同的网络并替换示例网络。

设计工程师可以使用 Vitis ™ AI 来利用常用的 AI 开发框架,例如 Caffe、TensorFlow 和 Pytorch。Vitis AI 支持在边缘和云端加速 AI 推理算法。Vitis AI 技术堆栈支持常用框架,并提供在 Xilinx 设备上开发和部署 ML/AI 算法所需的一切,包括 Kria K26 SoM。

Vitis AI 堆栈的核心是 Xilinx 深度学习处理器单元 (DPU),它在可编程逻辑中实现,并针对卷积神经网络的实现进行了优化(图 2)。可用于实现VGG、ResNet、GoogLeNet、YOLO、SSD、MobileNet、FPN等网络。

poYBAGOrhGOAUsq4AAC0YXNjNEc091.png

图 2:Vitis AI Stack 工作流提供了在 Xilinx DPU 上部署深度学习推理应用程序的过程。(来源:赛灵思

为了利用可编程逻辑的并行特性,DPU 执行已使用 AI 量化器量化为 int-8 的网络。

硬件中实现 DPU 模型并使用 Vitis AI 训练和编译网络后,就可以使用 Vitis 开发软件以创建完整的最终解决方案(图 3)。

pYYBAGOrhGWAeLNjAACx2eIhGAg237.png

图 3:Xilinx Vitis AI 部署模型图(来源:Xilinx)

制造应用用例

让我们更深入地了解 Xilinx Kria SoM 如何用于制造应用。创建制造应用程序不一定需要任何可编程逻辑设计。但是,它需要软件开发以及使用 Xilinx 的 Vitis AI 训练和编译新机器学习模型的能力。

Kria K26 SoM 和 KV260 Vision 入门套件非常适合需要快速图像处理的应用,例如检测标签是否已正确贴在生产线上的装运箱上。在此示例中,设计工程师使用 Kria K26 SoM 在生产线上检查包裹,并通过 Mobilenet 网络正确识别盒子上标签的位置。可以从包含正确和错误标签位置的图像数据集中训练该网络(图 4和图 5)。

poYBAGOrhGeAe7vZAAAujw5mHww912.jpg

图 4:使用 Mobilenet 网络的正确标签位置示例(来源:贸泽电子)

pYYBAGOrhGmAKEO0AAAyAAJuX-w294.jpg

图 5:使用 Mobilenet 网络的错误标签位置示例(来源:贸泽电子)

训练完成后,该网络可以部署在 Kria K26 SoM 上,结合 Linux GStreamer 支持,实时检查生产线上的包裹(图 6)。如果检测到贴错标签的盒子,部署的应用程序可以做出适当的响应。

poYBAGOrhGyANs7jAABW8YVYY6E386.jpg

图 6:Xilinx 正确识别正确标签的示例(来源:贸泽电子)

结论

生产线是快节奏的环境。在发货前检测制造或包装缺陷的能力对于提高交付和客户满意度至关重要。然而,自动化检测设备需要在不减慢生产线速度的情况下进行处理和决策。Xilinx Kria K26 SoM 和 Kria KV260 Vision AI 入门套件等产品可以提供帮助。

设计工程师可以使用 Kria KV260 视觉 AI 入门套件快速开始开发视觉和 AI 原型设计解决方案并演示概念验证。Kria K26 SoM 实现了设计的可移植性,从概念、原型设计到最终设计解决方案,所需的更改极少,除了与载卡的接口。

使用 Kria K26 SoM 可以降低与创建具有复杂异构 FPGA、存储器和电源架构的嵌入式系统解决方案相关的开发成本和风险。通过结合 Vitis AI 堆栈和开箱即用的解决方案,Kria K26 SoM 使开发团队能够通过利用可编程逻辑的高性能特性来创建复杂的视觉和基于 AI 的解决方案,而无需进行可编程逻辑设计专家。

学到更多

如果您想了解有关 Kria SOM 的更多信息并查看为工业应用程序创建 AI 解决方案的分步演练,请参阅使用 KRIA SoM项目文章部署基于边缘的 AI。

审核编辑黄昊宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 人工智能
    +关注

    关注

    1791

    文章

    46859

    浏览量

    237579
收藏 人收藏

    评论

    相关推荐

    嵌入式和人工智能究竟是什么关系?

    人工智能应用的实时响应。与此同时,嵌入式系统在边缘计算和物联网领域,也为人工智能的应用提供了广阔的空间。 在边缘计算中,嵌入式系统能够将人工智能
    发表于 11-14 16:39

    《AI for Science:人工智能驱动科学创新》第6章人AI与能源科学读后感

    幸得一好书,特此来分享。感谢平台,感谢作者。受益匪浅。 在阅读《AI for Science:人工智能驱动科学创新》的第6章后,我深刻感受到人工智能在能源科学领域中的巨大潜力和广泛应用。这一章详细
    发表于 10-14 09:27

    《AI for Science:人工智能驱动科学创新》第一章人工智能驱动的科学创新学习心得

    周末收到一本新书,非常高兴,也非常感谢平台提供阅读机会。 这是一本挺好的书,包装精美,内容详实,干活满满。 《AI for Science:人工智能驱动科学创新》这本书的第一章,作为整个著作的开篇
    发表于 10-14 09:12

    risc-v在人工智能图像处理应用前景分析

    长时间运行或电池供电的设备尤为重要。 高性能 : 尽管RISC-V架构以低功耗著称,但其高性能也不容忽视。通过优化指令集和处理器设计,RISC-V可以在处理复杂的人工智能图像处理任务时表现出色。 三
    发表于 09-28 11:00

    名单公布!【书籍评测活动NO.44】AI for Science:人工智能驱动科学创新

    ! 《AI for Science:人工智能驱动科学创新》 这本书便将为读者徐徐展开AI for Science的美丽图景,与大家一起去了解: 人工智能究竟帮科学家做了什么? 人工智能将如何改变我们所生
    发表于 09-09 13:54

    报名开启!深圳(国际)通用人工智能大会将启幕,国内外大咖齐聚话AI

    8月28日至30日,2024深圳(国际)通用人工智能大会暨深圳(国际)通用人工智能产业博览会将在深圳国际会展中心(宝安)举办。大会以“魅力AI·无限未来”为主题,致力于打造全球通用人工智能领域集产品
    发表于 08-22 15:00

    安富利携手恩智浦推出人工智能解决方案

    在物联网(IoT)和工业4.0时代,数据的海量化与实时处理需求日益增长,对边缘计算设备提出了前所未有的挑战。对此,安富利携手恩智浦,基于创新的MCX-N系列微控制器,推出一系列“开箱即用”的人工智能解决方案,旨在为客户提供高效、可靠、灵活
    的头像 发表于 08-01 10:38 1269次阅读
    安富利携手恩智浦推出<b class='flag-5'>人工智能</b>解决方案

    FPGA在人工智能中的应用有哪些?

    FPGA(现场可编程门阵列)在人工智能领域的应用非常广泛,主要体现在以下几个方面: 一、深度学习加速 训练和推理过程加速:FPGA可以用来加速深度学习的训练和推理过程。由于其高并行性和低延迟特性
    发表于 07-29 17:05

    Python中的人工智能框架与实例

    人工智能(AI)领域,Python因其简洁的语法、丰富的库和强大的社区支持,成为了最受欢迎的编程语言之一。本文将详细介绍Python中的人工智能框架,并通过具体实例展示如何使用这些框架来实现不同的人工智能应用。
    的头像 发表于 07-15 14:54 1599次阅读

    贸泽开售适用于工业、医疗和机器人应用的AMD/Xilinx Kria K24 SOM

    机器人、工厂自动化等)提供合适的功率、成本和性能。   贸泽供应的AMD/Xilinx Kria™ K24 SOMKriaSOM系列的新成员,有商业级和工业级两个版本。
    发表于 06-21 15:24 893次阅读
    贸泽开售适用于工业、医疗和机器人应用的AMD/Xilinx <b class='flag-5'>Kria</b> K24 <b class='flag-5'>SOM</b>

    5G智能物联网课程之Aidlux下人工智能开发(SC171开发套件V2)

    ://t.elecfans.com/v/27185.html *附件:语音对话机器人案例.pdf 人工智能 AI泛边缘智能安防实训 31分38秒 https://t.elecfans.com/v/25509.html
    发表于 05-10 16:46

    5G智能物联网课程之Aidlux下人工智能开发(SC171开发套件V1)

    机器人案例.pdf 人工智能 AI泛边缘智能安防实训 31分38秒 https://t.elecfans.com/v/25509.html *附件:泛边缘案例课.pdf
    发表于 04-01 10:40

    利用OpenVINO实现混合式AI部署:迈向无所不在的人工智能

    随着人工智能技术的飞速发展,AI的应用已经渗透到日常生活的各个方面。为了更有效地利用AI技术,混合式AI部署成为了一个重要趋势。
    的头像 发表于 03-18 15:10 672次阅读
    利用OpenVINO实现混合式AI<b class='flag-5'>部署</b>:迈向无所不在<b class='flag-5'>的人工智能</b>

    嵌入式人工智能的就业方向有哪些?

    嵌入式人工智能的就业方向有哪些? 在新一轮科技革命与产业变革的时代背景下,嵌入式人工智能成为国家新型基础建设与传统产业升级的核心驱动力。同时在此背景驱动下,众多名企也纷纷在嵌入式人工智能领域布局
    发表于 02-26 10:17

    身边的人工智能有哪些

    身边的人工智能有哪些  身边的人工智能应用已经渗透到了我们日常生活的方方面面。从智能手机中的语音助手到智能家居设备,人工智能正逐渐改变着我们
    的头像 发表于 12-07 16:32 3360次阅读