0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

TI Edge AI Academy简化嵌入式边缘AI应用开发

python爬虫知识分享 来源:python爬虫知识分享 作者:python爬虫知识分享 2022-12-22 15:11 次阅读

如果在没有嵌入式处理器供应商提供的合适工具和软件的支持下,既想设计高能效的边缘人工智能(AI)系统,同时又要加快产品上市时间,这项工作难免会冗长乏味。面临的一系列挑战包括选择恰当的深度学习模型、针对性能和精度目标对模型进行训练和优化,以及学习使用在嵌入式边缘处理器上部署模型的专用工具。

下面让我们来了解如何不借助手动工具或手动编程来选择模型、随时随地训练模型并将其无缝部署到TI处理器上,从而实现硬件加速推理。

pYYBAGOkAx2AKjojAAAg1w4JLjg153.jpg

图1: 边缘AI应用的开发流程

第1步:选择模型

边缘AI系统开发的首要任务是选择合适的DNN模型,同时要兼顾系统的性能、精度和功耗目标。GitHub上的TI边缘AI Model Zoo等工具可助您加速此流程。

Model Zoo广泛汇集了TensorFlow、PyTorch和MXNet框架中常用的开源深度学习模型。这些模型在公共数据集上经过预训练和优化,可以在TI适用于边缘AI的处理器上高效运行。TI会定期使用开源社区中的新模型以及TI设计的模型对Model Zoo进行更新,为您提供性能和精度经过优化的广泛模型选择。

Model Zoo囊括数百个模型,TI模型选择工具(如图2所示)可以帮助您在不编写任何代码的情况下,通过查看和比较性能统计数据(如推理吞吐量、延迟、精度和双倍数据速率带宽),快速比较和找到适合您AI任务的模型。

poYBAGOkAx2AUZf2AACFnkQTLLQ477.png

图2:TI 模型选择工具

第2步:训练和优化模型

选择模型后,下一步是在TI处理器上对其进行训练或优化,以获得出色的性能和精度。凭借我们的软件架构和开发环境,您可随时随地训练模型。

从TI Model Zoo中选择模型时,借助训练脚本可让您在自定义数据集上为特定任务快速传输和训练模型,而无需花费较长时间从头开始训练或使用手动工具。训练脚本、框架扩展和量化感知培训工具可帮助您优化自己的DNN模型。

第3步:评估模型性能

在开发边缘AI应用之前,需要在实际硬件上评估模型性能。

TI提供灵活的软件架构和开发环境,您可以在TensorFlow Lite、ONNX RunTime或TVM和支持Neo AI DLR的SageMaker Neo运行环境引擎三者中选择习惯的业界标准PythonC++应用编程接口(API),只需编写几行代码,即可随时随地训练自己的模型,并将模型编译和部署到TI硬件上。在这些业界通用运行环境引擎的后端,我们的TI深度学习(TIDL)模型编译和运行环境工具可让您针对TI的硬件编译模型,将编译后的图或子图部署到深度学习硬件加速器上,并在无需任何手动工具的情况下实现卓越的处理器推理性能。

在编译步骤中,训练后量化工具可以自动将浮点模型转换为定点模型。该工具可通过配置文件实现层级混合精度量化(8位和16位),从而能够足够灵活地调整模型编译,以获得出色的性能和精度。

不同常用模型的运算方式各不相同。同样位于GitHub上的TI边缘AI基准工具可帮助您为TI Model Zoo中的模型无缝匹配DNN模型功能,并作为自定义模型的参考。

评估TI处理器模型性能的方式有两种:TDA4VM入门套件评估模块(EVM)或TI Edge AI Cloud,后者是一项免费在线服务,可支持远程访问TDA4VM EVM,以评估深度学习推理性能。借助针对不同任务和运行时引擎组合的数个示例脚本,五分钟之内便可在TI硬件上编程、部署和运行加速推理,同时收集基准测试数据。

第4步:部署边缘AI应用程序

您可以使用开源Linux®和业界通用的API来将模型部署到TI硬件上。然而,将深度学习模型部署到硬件加速器上只是难题的冰山一角。

为帮助您快速构建高效的边缘AI应用,TI采用了GStreamer框架。借助在主机Arm®内核上运行的GStreamer插件,您可以自动将计算密集型任务的端到端信号链加速部署到硬件加速器和数字信号处理内核上。

图3展示了适用于边缘AI的Linux Processor SDK的软件栈和组件。

pYYBAGOkAx6ACqLdAAB2pPGTdks235.png

图3:适用于边缘AI的Linux Processor SDK组件

结语

如果您对本文中提及的工具感到陌生或有所担忧,请放宽心,因为即使您想要开发和部署AI模型或构建AI应用,也不必成为AI专家。TI Edge AI Academy能够帮助您在自学、课堂环境中通过测验学习AI基础知识,并深入了解AI系统和软件编程。实验室提供了构建“Hello World” AI应用的分步代码,而带有摄像头捕获和显示功能的端到端高级应用使您能够按照自己的节奏顺利开发AI应用。

审核编辑:汤梓红

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 嵌入式
    +关注

    关注

    5082

    文章

    19115

    浏览量

    304938
  • ti
    ti
    +关注

    关注

    112

    文章

    8115

    浏览量

    212382
  • 人工智能
    +关注

    关注

    1791

    文章

    47229

    浏览量

    238345
  • 边缘AI
    +关注

    关注

    0

    文章

    93

    浏览量

    4995
收藏 人收藏

    评论

    相关推荐

    TI解读:嵌启未来 边缘AI边缘

    嵌入式处理的进步正在重新定义工业和汽车应用的潜力。 无论是机械臂、软件定义汽车还是储能系统,由于子系统和功能数量的增加,这些系统使用的传感、电机控制、通信和边缘 AI 技术比以往任何时候都多。
    的头像 发表于 12-09 14:18 530次阅读
    <b class='flag-5'>TI</b>解读:嵌启未来 <b class='flag-5'>边缘</b><b class='flag-5'>AI</b>不<b class='flag-5'>边缘</b>

    Arm推出GitHub平台AI工具,简化开发AI应用开发部署流程

    专为 GitHub Copilot 设计的 Arm 扩展程序,可加速从云到边缘侧基于 Arm 平台的开发。 Arm 原生运行器为部署云原生、Windows on Arm 以及云到边缘侧的
    的头像 发表于 10-31 18:51 2026次阅读

    德承强固型嵌入式工控机 抢攻Edge AI应用市场

    德承官方网站:www.cincoze-china.com 强固型嵌入式电脑品牌 – Cincoze德承,积极因应Edge AI风潮所带来的庞大应用商机,旗下横跨两大产品线的五大产品系列,能充分满足
    的头像 发表于 09-25 10:01 212次阅读

    AMD分析嵌入式边缘AI的发展

    随着人工智能( AI )技术广泛应用于各行各业,从云到边缘的解决方案逐渐成为信息技术领域新的热点。嵌入式边缘 AI 在当今的各种
    的头像 发表于 09-18 09:30 316次阅读
    AMD分析<b class='flag-5'>嵌入式</b><b class='flag-5'>边缘</b><b class='flag-5'>AI</b>的发展

    使用TI Edge AI Studio和AM62A进行基于视觉AI的缺陷检测

    电子发烧友网站提供《使用TI Edge AI Studio和AM62A进行基于视觉AI的缺陷检测.pdf》资料免费下载
    发表于 09-03 10:38 0次下载
    使用<b class='flag-5'>TI</b> <b class='flag-5'>Edge</b> <b class='flag-5'>AI</b> Studio和AM62A进行基于视觉<b class='flag-5'>AI</b>的缺陷检测

    恩智浦加速嵌入式AI创新应用开发

    AI应用飞速发展的今天,如何能够将AI嵌入式系统开发有机结合起来,营造新的开发生态,打造与众不同的创新用例,一直是
    的头像 发表于 08-27 09:46 828次阅读

    AI普及给嵌入式设计人员带来新挑战

    探讨了人工智能(AI)的普及给嵌入式设计人员带来的新挑战。在创建“边缘机器学习(ML)”应用时,设计人员必须确保其能有效运行,同时最大限度地降低处理器和存储开销,以及物联网(IoT)设备的功耗
    发表于 08-22 14:20 664次阅读
    <b class='flag-5'>AI</b>普及给<b class='flag-5'>嵌入式</b>设计人员带来新挑战

    嵌入式软件开发AI整合

    嵌入式软件开发AI整合是当前技术发展的重要趋势之一。随着人工智能技术的快速发展,嵌入式系统越来越多地集成了AI算法,以实现更复杂的智能功能
    的头像 发表于 07-31 09:25 702次阅读
    <b class='flag-5'>嵌入式</b>软件<b class='flag-5'>开发</b>与<b class='flag-5'>AI</b>整合

    AI引爆边缘计算变革,塑造嵌入式产业新未来AI引爆边缘计算变革,塑造嵌入式产业新未来——2024研华嵌入式

    中国北京,2024年5月30日 - 2024年研华嵌入式产业合作伙伴会议在北京·中关村皇冠假日酒店成功举办,现场参会嘉宾逾300人。会议以“AI引爆边缘计算变革,塑造嵌入式产业新未来”
    发表于 05-31 13:53 310次阅读
    <b class='flag-5'>AI</b>引爆<b class='flag-5'>边缘</b>计算变革,塑造<b class='flag-5'>嵌入式</b>产业新未来<b class='flag-5'>AI</b>引爆<b class='flag-5'>边缘</b>计算变革,塑造<b class='flag-5'>嵌入式</b>产业新未来——2024研华<b class='flag-5'>嵌入式</b>

    AI与开源力推嵌入式系统创新升级

    AMD在此次展会上宣布扩大AMD Versal™自适应片上系统(SoC)产品线,推出全新第二代Versal AI Edge和Versal Prime系列自适应SoC。该系列将预处理、AI推理和后处理集成于单一器件中,为
    的头像 发表于 04-29 11:11 518次阅读

    五项功能可提升边缘嵌入式AI性能

    AI 驱动型系统正催生指数级算力需求,使得在紧凑的空间和功率限制内设计嵌入式应用变得更具挑战性。
    的头像 发表于 04-24 10:06 556次阅读

    AMD Versal SoC刷新边缘AI性能,单芯片方案驱动嵌入式系统

    与后处理集成于单器件中,能够为 AI 驱动型嵌入式系统提供端到端加速。 AI驱动型嵌入式系统的三个阶段 在嵌入式系统
    的头像 发表于 04-11 09:06 3731次阅读
    AMD Versal SoC刷新<b class='flag-5'>边缘</b><b class='flag-5'>AI</b>性能,单芯片方案驱动<b class='flag-5'>嵌入式</b>系统

    AMD Versal SoC全新升级边缘AI性能,单芯片方案驱动嵌入式系统

    与后处理集成于单器件中,能够为 AI 驱动型嵌入式系统提供端到端加速。   AI驱动型嵌入式系统的三个阶段 在嵌入式
    的头像 发表于 04-09 21:32 1073次阅读
    AMD Versal SoC全新升级<b class='flag-5'>边缘</b><b class='flag-5'>AI</b>性能,单芯片方案驱动<b class='flag-5'>嵌入式</b>系统

    意法半导体推出嵌入式人工智能生态系统ST Edge AI Suite

    意法半导体(简称ST)日前宣布推出一项前所未有的技术突破——ST Edge AI Suite,这是一个资源丰富的嵌入式人工智能生态系统,旨在帮助厂商在自家产品中轻松实现边缘人工智能功能
    的头像 发表于 01-04 14:37 838次阅读

    【2023电子工程师大会】ARM嵌入式AI边缘计算开发流程要点p

    【2023电子工程师大会】ARM嵌入式AI边缘计算开发流程要点ppt
    发表于 01-03 16:31 27次下载