0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

基于深度学习算法的软件生态系统

电子设计 来源:电子设计 作者:电子设计 2022-06-30 17:01 次阅读

深度学习机器学习的一个子集,常用于自然语言处理,计算机视觉等领域,与众不同之处在于,DL(Deep Learning )算法可以自动从图像、视频或文本等数据中学习数据特征。DL可以直接从数据中学习,这比较类似于人脑的运行方式,获得更多数据后,准确度也会越来越高。TIDL(TI Deep Learning Library) 是TI平台基于深度学习算法的软件生态系统,可以将一些常见的深度学习算法模型快速的部署到TI嵌入式平台。 TDA4拥有TI最新一代的深度学习加速模块C7x DSP与MMA矩阵乘法加速器,可以运行TIDL进行卷积等基本计算,从而快速地进行前向推理,得到计算结果。 当深度学习遇上TDA4,你的模型部署流程将变得简单,你的模型将高效地运行在TDA4上。

TI 最新一代的汽车处理器TDA4VM集成了高性能计算单元C7x DSP(Digital Signal Processor)和Deep-learning Matrix Multiply Accelerator(MMA),可以高效地进行卷积计算、矩阵变换等一些基本地深度学习算子。TIDL 是TI的针对于嵌入式平台部署深度学习不方便,计算效率低下而设计的一个软件生态系统,用于加速 TI 嵌入式设备上的深度神经网络Deep Neural Networks (DNN)计算加速。 上一代产品 TDA2/3 系列处理器,集成了计算单元 DSP(Digital Signal Processor)和 EVE(Embedded Vision/Vector Engine),用于加速计算深度学习神经网络。相比于上一代TDA2/TDA3系列处理器,最新一代的TDA4处理器在算例上得到了大幅提高的同时,在软件方面提供了更好地支持,同时提供了更多的深度学习模型的部署示例,方便开发人员快速开发迭代产品,极大地缩短的产品开发周期。

poYBAGK9VZSAcnsOAAFvNQDUgPE036.png

图1. TIDL SW Framework

基于深度神经网络 (DNN) 的机器学习算法用于许多行业,例如机器人工业和汽车。越来越多的基于 DNN 的机器学习算法被应用于 ADAS 产品中,如车道线检测,交通信号灯识别,行人识别等ADAS基础功能均采用DNN算法实现。这些DNN神经网络算法通常需要大量的计算,而TI TDA4系列处理器中的C7x和MMA可以将一些DNN中的算子进行加速计算,以实现快速推理得到识别结果。RTOS SDK 中集成了众多的Demo展示TIDL在TDA4处理器上对实时的语义分割和 SSD 目标检测的能力。如下图2:AVP的demo展示了使用TIDL对泊车点、车辆的检测。

pYYBAGK9VZaAO499AAEMaFGB14E850.png

图2. TIDL SW Framework

TIDL当前支持的训练框架有Tensorflow、Pytorch、Caffe等,用户可以根据需要选择合适的训练框架进行模型训练。TIDL可以将PC端训练好的模型导入编译生成TIDL可以识别的模型格式,同时在导入编译过程中进行层级合并以及量化等操作,方便导入编译后的模型高效的运行在具有高性能定点数据感知能力TDA4硬件加速器上。 TIDL提供了一些的工具,如模型导入工具,模型可视化工具等,非常便捷地可以对训练好地模型进行导入。

poYBAGK9VZiAL3e_AABsREPFg54949.png

图3. TIDL Tools

TIDL Runtime 是运行在TDA4端的实时推理单元,同时提供了TIDL的运行环境,对于input tensor,TIDL TIOVX Node 调用TIDL 的深度学习加速库进行感知,并将结果进行输出。

pYYBAGK9VZuAU7vZAABamsWM3iI606.png

图4. TIDL Runtime

如图5所示,是TIDL的软件框架。在TIDL上,深度学习网络应用开发主要分为三个大的步骤(以TI Jacinto7TM TDA4VM处理器为例):

poYBAGK9VZ2ALBrEAABOgWqM8K8107.png

图5. TIDL SW Framework

基于Tensorflow、Pytorch、Caffe 等训练框架,训练模型:选择一个训练框架,然后定义模型,最后使用相应的数据集训练出满足需求的模型。

基于TI Jacinto7TM TDA4VM处理器导入模型: 训练好的模型,需要使用TIDL Importer工具导入成可在TIDL上运行的模型。导入的主要目的是对输入的模型进行量化、优化并保存为TIDL能够识别的网络模型和网络参数文件。

基于TI Jacinto7TM SDK 验证模型,并在应用里面部署模型:

PC 上验证并部署

在PC上使用TIDL推理引擎进行模型测试。

在PC上使用OpenVX框架开发程序,在应用上进行验证。

EVM上验证并部署

在EVM上使用TIDL推理引擎进行模型测试。

在EVM上使用OpenVX框架开发程序,在应用上进行验证

当深度学习遇上TDA4,模型部署变得简单的同时,模型也可以更加高效地运行。让我们开启TDA4的探索之旅,你的AI旅程将变得轻松愉快。

审核编辑:汤梓红

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 处理器
    +关注

    关注

    68

    文章

    19083

    浏览量

    228735
  • ti
    ti
    +关注

    关注

    112

    文章

    7955

    浏览量

    212010
  • 深度学习
    +关注

    关注

    73

    文章

    5459

    浏览量

    120863
收藏 人收藏

    评论

    相关推荐

    英特尔和AMD组建x86生态系统咨询小组

    在联想2024 Tech World大会上,英特尔CEO帕特·基辛格宣布了一项重大合作:英特尔与AMD将共同组建X86生态系统咨询小组。
    的头像 发表于 10-16 16:34 291次阅读

    意法半导体推出图像传感器应用开发生态系统

    2024年7月11日,中国——全球领先的半导体制造商意法半导体(ST)正式推出了一套革命性的图像传感器应用开发生态系统,该系统集成了即插即用的硬件、评估用摄像头模块及专用软件,旨在加速基于其创新ST
    的头像 发表于 07-12 14:28 459次阅读

    商汤科技发布粤语大模型,推动香港人工智能生态系统发展

    商汤科技董事长兼 CEO 徐立表示,此次推出商量粤语版具有重要意义,希望借助日日新大模型 5.0 系列的创新产品和巨大潜力,助力香港人工智能生态系统的发展。
    的头像 发表于 05-31 11:11 529次阅读

    苹果硬件生态系统丰富,用户黏性大

     苹果以其丰富多元的硬件生态系统,涵盖了从 iPhone 至 Mac 电脑等多种设备,每个设备都有其独特的用户群体。
    的头像 发表于 04-18 11:03 390次阅读

    浅谈AMD Ryzen AI PC生态系统

    AMD与OEM合作伙伴联想和华硕,以及生态系统合作伙伴百川智能、有道、游戏加加、生数、始智AI等共同努力,共庆龙年,并在大中华区扩展了Ryzen AI生态系统
    的头像 发表于 04-11 11:05 699次阅读

    莱迪思举办2024莱迪思技术峰会展示其强大的FPGA合作生态系统

    莱迪思半导体近日在上海举办的2024年莱迪思技术峰会上展示了其强大且不断增长的全球生态系统,该生态系统由客户、IP和参考平台合作伙伴以及致力于推动FPGA创新的开发人员组成。
    的头像 发表于 03-14 15:10 507次阅读

    Meta欲打造巨型AI覆盖视频推荐生态系统

    Meta正计划打造一款巨型AI系统,以全面覆盖其视频推荐生态系统,为旗下产品提供统一的视频推荐引擎。
    的头像 发表于 03-11 11:14 610次阅读

    Renesas Ready生态系统合作伙伴解决方案介绍

    电子发烧友网站提供《Renesas Ready生态系统合作伙伴解决方案介绍.pdf》资料免费下载
    发表于 02-21 09:38 0次下载
    Renesas Ready<b class='flag-5'>生态系统</b>合作伙伴解决方案介绍

    RA生态系统合作伙伴解决方案提供卓越的平面航向和6轴IMU性能

    电子发烧友网站提供《RA生态系统合作伙伴解决方案提供卓越的平面航向和6轴IMU性能.pdf》资料免费下载
    发表于 02-19 09:46 0次下载
    RA<b class='flag-5'>生态系统</b>合作伙伴解决方案提供卓越的平面航向和6轴IMU性能

    Renesas Ready生态系统合作伙伴解决方案

    电子发烧友网站提供《Renesas Ready生态系统合作伙伴解决方案.pdf》资料免费下载
    发表于 01-14 11:04 0次下载
    Renesas Ready<b class='flag-5'>生态系统</b>合作伙伴解决方案

    芯原携手趣戴科技扩展手表GUI生态系统,以提升用户体验

    芯原股份今日宣布专注于提供图形用户界面(GUI)软件服务的趣戴科技(QDay Technology)已加入其手表GUI生态系统,共同开发适用于各种应用的智能手表GUI解决方案。 芯原的低功耗且功能
    的头像 发表于 01-10 15:14 370次阅读

    芯原携手趣戴科技扩展手表GUI生态系统

    2024年1月9日,美国拉斯维加斯——芯原股份 (芯原,股票代码:688521.SH) 今日宣布专注于提供图形用户界面 (GUI) 软件服务的趣戴科技 (QDay Technology) 已加入其手表GUI生态系统,共同开发适用于各种应用的智能手表GUI解决方案。
    的头像 发表于 01-10 09:06 658次阅读

    三星携手红帽进一步扩大CXL存储生态系统

    2023年12月27日——三星宣布,与开源软件提供商红帽(Red Hat)携手,首次成功在真实用户环境中验证了Compute Express Link(CXL)内存技术的运行,这将进一步扩大三星的 CXL生态系统
    的头像 发表于 12-27 10:34 542次阅读

    RA生态系统合作伙伴解决方案-Aizip缺陷检测

    电子发烧友网站提供《RA生态系统合作伙伴解决方案-Aizip缺陷检测.pdf》资料免费下载
    发表于 12-21 09:55 0次下载
    RA<b class='flag-5'>生态系统</b>合作伙伴解决方案-Aizip缺陷检测

    RadioVerse:技术和无线电设计生态系统

    电子发烧友网站提供《RadioVerse:技术和无线电设计生态系统.pdf》资料免费下载
    发表于 11-24 11:43 0次下载
    RadioVerse:技术和无线电设计<b class='flag-5'>生态系统</b>