0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

基于Mediatek AIoT Genio1200 的即时影像物件识别方案

大大通 2022-11-14 11:42 次阅读

在MediaTek AIoT Genio1200平台上,MediaTek 提供许多不同的软件解决方案,伙伴们可通过CPUGPU和APU来提供 AI 计算能力。在开发和部署广泛的机器学习时,决大部分会为了推演自行开发出的模型,来提供硬件加速功能,伙伴们也可通过图形处理器来启用 TensorFlot Lite模型的硬件加速。

MediaTek AIoT Genio1200 board:

Genio1200 demo board



以MTK AIoT Yocto而言,目前已知下列三种方式(CPU、GPU和APU)

第一种ARM NN,是一组开源软件,可在 ARM 的硬件设备上实现机器学习工作,它在目前常见的神经网路框架 Cortex-A CPU、ARM Mali GPU 之间桥接,透过 CPU 来运算和推演模型。

第二种是GPU Neural Network Acceleration,它使用的是设备上的 OpenGL ES(OpenGL for Embedded Systems)计算着色器来推演模型。

第三种是 APU Neural Network Acceleration(MediaTek Deep Learning Accelerator and Vision Processing Unit)。

让小弟来为各位伙伴们介绍 MediaTek 专有的深度学习加速器,它是一款功能强大且高效的卷积神经网路(Convolutional Neural Network)加速器,MDLA能够以高乘法累加(Multiply-Accumulate utilization, MAC)利用率实现高 AI 基准测试结果,此设计将 MAC单元与存用功能模块集成在一起。

在开始演练之前,各位伙伴们是否还记得什么是 MediaTek NeuroPilot 呢?忘记的伙伴们,可以回过头去了解 浅谈MediaTek NeuroPilot

NeuroPilot是联发科AI 生态系统的核心。伙伴们可介由NeuroPilot在边缘设备上,以极高的效率开发和部署 AI 应用程序。这使得各种各样的人工智能应用程序运行得更快。伙伴们日后可以在 NeuroPilot SDK内,使用 Neuron编译器( ncc-tflite),用于将 TFLite 模型转换为MediaTek 专有的二进制文件 (DLA, 深度学习存档),以便在 Genio1200 平台上部署。生成的模型非常高效,延迟减少,内存占用更少。 Neuron SDK 还提供了 Neuron Run-time API,它提供了一组 API,可以让伙伴们从 C/C++ 程序中调用这些 API,以创建运行时的环境,解析编译的模型文件,并执行设备上的神经网路推理。



由图示可以知道,DLA档是 MediaTek专有模型,它是 MDLA(MediaTek Deep Learning Accelerator) 和 VPU(Vision processing unit )计算设备的 low-level binary 档案。使用 ncc-tflite 将 TensorFlow lite 模型转换成可在 APU 上推演的 DLA文件,再供给图像/物件识别的应用程序使用。

使用预先写好的脚本来将 TensorFlow Lite模型转换成 DLA 文档,信息如下:

root@i1200-demo:~# lsconvert_tensorflowLite_to_DLA.sh demos test.tfliteroot@i1200-demo:~# ./convert_tensorflowLite_to_DLA.sh[apusys][info]apusysSession: Seesion(0xaaaae26f9910): thd(ncc-tflite) version(2) log(0)root@i1200-demo:~# lsconvert_tensorflowLite_to_DLA.sh demos test.dla test.tfliteroot@i1200-demo:~#




如图所示,GstInference 是个开源项目,它提供了一个将深度学习推理整合到 GStreamer 中的框架。可用于众多的深度学习架构进行推理,也可搭配实用的程序来支持自定义的架构。此框架使用 R2Inference,这是 C/C++ 中的一个抽象层,用于各种机器学习框架。单一个 C/C++ 应用程序就可以借助 R2Inference来使用不同框架上的模型。这对于利用不同的硬件执行推理时非常有用 (CPU、GPU、APU的加速器)。本次的演练是基于图中的框架来实现即时影像识别的应用,将刚才转换好的 DLA文档来执行于图像识别的推演。

接下来执行预先配置好的脚位来实现图像和物件识别的演练。

root@i1200-demo:~# lsconvert_tensorflowLite_to_DLA.sh labels_objectD.txt test2.dlademos objectD.dla test2.tfliteimage_classification.sh object_detection.shlabels.txt test.tfliteroot@i1200-demo:~# ./image_classification.sh


执行结果将会显示于 HDMI 屏上,可以看到所推演出的物件为 ballpoint pen




继续执行物件识别的演示。

root@i1200-demo:~# lsconvert_tensorflowLite_to_DLA.sh labels_objectD.txt test2.dlademos objectD.dla test2.tfliteimage_classification.sh object_detection.shlabels.txt test.tfliteroot@i1200-demo:~# ./object_detection.sh


推演的结果,可以看到识别为 bottle



推演的结果可以看到识别为 monitor



推演的结果可以,可以看到识别为 chair



本次的演示就到此,有兴趣的伙伴们可以一起来讨论和研究,谢谢大家!

►场景应用图

poYBAGNxuSmAFll7AAI3frYKo2I211.jpg

►展示板照片

pYYBAGNxuSmAQoJeAApm6Y0RHrs005.jpg

►方案方块图

poYBAGNxuSqAZMBZABd8fkHWdsQ259.png

►核心技术优势

双核AI处理器单元(APU) 可处理基于 AI 的任务,支持深度学习(Deep Learning)、神经网络(Neural Network)加速和计算机视觉(computer vision)应用。

►方案规格

CPU: Arm Cortex-A78 x4 Arm Cortex-A55 x4

GPU: Arm Mali-G57 MP5

APU: MediaTek AI Processor (dual core)

Video processing: Video encoding 4K60fps HEVC/H.264 Video decoding 4K90fps AV1/VP9/HEVC/H.264

Software: Android/Yocto Linux/Ubuntu/NeuroPilot SDK

Interface: HDMI 2.0 receiver (HDMI RX) PCIE3.0 USB3.1 GbE MAC ISP, 48MP@30fps/16MP+16MP@30fps

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    87

    文章

    30763

    浏览量

    268917
  • AIoT
    +关注

    关注

    8

    文章

    1406

    浏览量

    30657
收藏 人收藏

    评论

    相关推荐

    鸿蒙案例技术分享 | 基于AIoT-3568X的鸿蒙通行一体机方案项目

    案例展示视美泰鸿蒙通行一体机方案以鸿蒙版AIoT-3568X人工智能主板为核心平台,搭载OpenHarmony操作系统,使用自研算法和国产芯片,可管可控,并提供身份识别以及其他外设配件生态链支持
    的头像 发表于 12-13 16:25 237次阅读
    鸿蒙案例技术分享 | 基于<b class='flag-5'>AIoT</b>-3568X的鸿蒙通行一体机<b class='flag-5'>方案</b>项目

    大联大推出基于MediaTek Genio 130与ChatGPT的AI语音助理方案

    大联大控股,作为亚太地区市场领先的半导体元器件分销商,近日宣布了一项重要创新。其旗下子公司品佳,成功推出了基于联发科技(MediaTek)Genio 130芯片与ChatGPT功能的AI语音助理方案
    的头像 发表于 12-11 11:07 348次阅读

    即时通话软件音频传输质量测试方案

    一、方案概述 度纬科技本套测试方案的核心目的是通过POLQA(Perceptual Objective Listening Quality Assessment)主观音质评价测试来反映即时通话软件在
    的头像 发表于 12-03 14:34 136次阅读
    <b class='flag-5'>即时</b>通话软件音频传输质量测试<b class='flag-5'>方案</b>

    东软发布新一代医学影像解决方案

    近日,东软全新发布新一代医学影像解决方案,以智能化为核心,以数据引擎为驱动,面向未来医学影像行业的发展需求,全新定义医学影像的产品价值,推动医学影像
    的头像 发表于 11-25 09:32 166次阅读

    杭州国芯微AIoT产品系列及方案列表

    和Flash。芯片支持高性能的语音唤醒,和自定义的离线语音指令识别。具有识别率高、使用方便等特点,可广泛应用于大小家电和各种智能消费电子产品。方案列表GX8003主要应用领域:语音声控家电,离线语音
    发表于 08-16 21:14

    MediaTek天玑旗舰芯赋能下的影像魅力

    在活动现场,发哥邀请现场观众一起走进《Chasing Breakthrough 探索极限》的“幕后现场”,一同解密影像背后的创作故事。片中惊险而又刺激的攀岩瞬间、天玑 9300 系列旗舰芯片的出色
    的头像 发表于 07-22 10:49 508次阅读

    AIOT是什么意思?AIOT的应用场景和作用

    准的决策和更自动化的操作。 AIoT的核心理念是将AI技术应用于物联网设备和系统中,使其具备感知、学习、推理和决策等能力,从而实现更加智能化的服务和应用场景。 AIoT的应用场景 1. 智能家居:通过AIoT技术,家中的各种设备
    的头像 发表于 07-12 15:48 822次阅读
    <b class='flag-5'>AIOT</b>是什么意思?<b class='flag-5'>AIOT</b>的应用场景和作用

    影像仪AI运用 #AI #影像测量 #中图影像仪 #自动控制技术

    AI影像
    中图仪器
    发布于 :2024年07月01日 16:20:07

    MediaTek NeuroPilot SDK整合NVIDIATAO

    MediaTek 在 COMPUTEX 2024 期间宣布将 NVIDIA TAO 与 MediaTek NeuroPilot SDK 集成,应用于边缘 AI 推理芯片的开发。MediaTek
    的头像 发表于 06-12 14:03 479次阅读

    MediaTek与美团携手合作打造新一代餐饮系统硬件S4 Pro系列收银机

    MediaTek 与美团携手合作,打造新一代餐饮系统硬件 S4 Pro 系列收银机。该系列收银机采用 MediaTek 新一代高阶物联网芯片 Genio 510,对比上一代收银产品性能大幅提升,为餐饮商户带来流畅使用体验!
    的头像 发表于 05-17 10:09 527次阅读

    瑞莎科技发布NIO 12L开发板,搭载联发科Genio 1200处理器

    作为联发科目前最先进的AIoT平台,Genio 1200采用6纳米工艺制造,包括4颗主频高达2.2GHz的Arm Cortex-A78内核以及4颗主频2.0GHz的A55内核,GPU部分为880MHz的Mali-G57 MC5,
    的头像 发表于 04-12 15:48 574次阅读

    MediaTek天玑9300旗舰芯亮相UDE 2024

    在UDE 2024第五届国际半导体显示博览会上,MediaTek再次展现了其在科技领域的深厚实力和创新精神。除了之前提到的商用显示解决方案外,MediaTek还带来了一个重磅产品——天玑9300旗舰5G生成式AI移动芯片。
    的头像 发表于 02-29 10:29 799次阅读

    MediaTek商用显示解决方案亮相UDE 2024

    在UDE 2024第五届国际半导体显示博览会上,MediaTek再次展现了其在科技领域的卓越实力,特别是其商用显示解决方案,为参观者带来了前所未有的沉浸式视觉享受。
    的头像 发表于 02-29 10:27 571次阅读

    提速互联 智向未来 | 广和通AIoT模组及解决方案惊艳MWC 2024

    MWC展会期间,广和通携手联发科技全球首发基于MediaTek T300的RedCap模组FM330系列。联发科技无线通讯事业部总经理苏文光、广和通CEO应凌鹏、广和通MBB事业部副总裁陶曦出席
    的头像 发表于 02-27 10:33 502次阅读
    提速互联 智向未来 | 广和通<b class='flag-5'>AIoT</b>模组及解决<b class='flag-5'>方案</b>惊艳MWC 2024

    研华科技与瞰瞰智能达成战略合作,共同深化“AIoT+影像”应用助力产业升级

    解决方案,共同推进产品应用创新和商业化落地,助力行业发展升级。此次战略合作,是研华在AI影像领域的重要布局,进一步完善了AIoT生态圈发展。     瞰瞰智能董事长倪绪能与研华嵌入式事业群中国总经理许杰弘,作为各自企业代表签署战
    发表于 01-10 11:41 396次阅读
    研华科技与瞰瞰智能达成战略合作,共同深化“<b class='flag-5'>AIoT</b>+<b class='flag-5'>影像</b>”应用助力产业升级