0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

轻量级视觉模型设计的新启发

云天励飞 来源:云天励飞 作者:云天励飞 2022-07-28 09:33 次阅读

计算机视觉两大门派功力合体,给移动端视觉任务减负增速。

当下,计算机视觉领域最热议的方向,莫过于近两年越来越火的视觉Transformer(ViT)和传统的卷积神经网络(ConvNet),谁才能主宰计算机视觉的未来?

风头正盛的ViT,是计算机视觉领域过去十年最瞩目的研究突破之一。2020年,谷歌视觉大模型Vision Transformer(ViT)横空出世,凭借碾压各路ConvNet的性能表现,一举掀起Transformer在计算机视觉领域的研究热潮。

但“ConvNet派”还没到低头认输的时候。2022年1月,Meta AI研究院、加州大学伯克利分校的研究人员发表了卷积神经网络的“扛鼎之作”——ConvNeXt,基于纯ConvNet新架构,取得了超过先进ViT的计算速度和精度。

6804b1ee-0e14-11ed-ba43-dac502259ad0.png

▲ConvNet与ViT模型图像分类实验结果对比

ViT论文:https://arxiv.org/abs/2010.11929

ConvNeXt论文:https://arxiv.org/abs/2201.03545

那如果将这两类模型的优势互补,会不会产生1+1》2的效果?

近日,基于这一思路的论文《ParC-Net:继承ConvNet和Transformer优点的位置敏感的循环卷积》入选了计算机视觉顶会ECCV 2022,并引发国内外广泛关注。

这篇论文提出了一种面向移动端、融入ViT优点的纯卷积结构模型ParC-Net,能以更小的参数量,在常见视觉任务中实现比主流轻量级ConvNet更好的性能。

68108d5c-0e14-11ed-ba43-dac502259ad0.png

▲ParC-Net在三种视觉任务实验中均以更小参数量取得最佳性能表现

值得一提的是,论文提出一种既有全局感受野、又对位置信息保持敏感的基础卷积算子ParC,它能与现有主流网络结构融合,兼顾模型性能和计算速度的提升,相关代码现已开源。

具体是怎么实现的?我们联系到论文第一作者张号逵博士,并与其进行深入交流。

ParC论文:https://arxiv.org/abs/2203.03952

源代码:https://github.com/hkzhang91/ParC-Net

01.

取ViT的三个亮点,将纯卷积结构变强

在计算机视觉领域,ViT模型性能彪悍,门槛和成本却惊人,无论是庞大数据量,还是超高算力需求,都离不开“钞能力”的支撑。

相比之下,轻量级ConvNet虽然性能难以与ViT媲美,但具有易训练、参数量少、计算成本低、推理速度快等优势,对硬件资源的需求不像ViT那么受限,可部署在各种移动或边缘计算设备上。此前较流行的轻量级ConvNet有ShuffleNet、MobileNet、EfficientNet、TinyNet等等。

经对比,云天励飞的研究人员借鉴ViT的优点,基于卷积结构设计了一个轻量级骨干模型ParC-Net。

论文作者认为,ViT和ConvNet有三个主要区别:ViT更擅长提取全局特征,采用meta-former结构,而且信息集成由数据驱动。ParC的设计思路便是从这三点着手来优化ConvNet。

6826304e-0e14-11ed-ba43-dac502259ad0.png

▲普通ConvNet和ViT之间的三个主要区别。(a) ConvNet常用的Residual block;(b) ViT中常用的Meta-Former 结构;(c) 本文提出的ParC block。

具体而言,研究人员设计了一种位置信息敏感的循环卷积(Position aware circular convolution, ParC)。这是一种简单有效的轻量卷积运算算子,既拥有像ViT类结构的全局感受野,同时产生了像局部卷积那样的位置敏感特征,能克服依赖自注意力结构提取全局特征的问题。

ParC结构主要包含三部分改动:1)结合circular padding和大感受野低秩分解卷积核提取全局特征;2)引入位置嵌入,保证输出特征对于空间位置信息的敏感性;3)动态插值实时生成尺寸适配的卷积核和位置编码,应对输入分辨率变化情况,这增强了对不同尺寸输入的适应能力。

6834f4a8-0e14-11ed-ba43-dac502259ad0.png

▲ParC结构示例

研究人员还将ParC和squeeze exictation(SE)操作结合起来,构建了一个纯卷积结构的meta former结构。该结构舍弃了自注意力硬件支持不友好的操作,但保留了传统Transformer块提取全局特征的特点。

然后,研究人员在channel mixer部分引入硬件支持较友好的通道注意力机制,使其纯卷积meta former结构也具备自注意力的特点。

基于ParC结构最终得到的ParC块,可作为一个即插即用的基础单元,替换现有ViT或ConvNet模型中的相关块,从而提升精度,并降低计算成本,有效克服硬件支持的问题。

683fad62-0e14-11ed-ba43-dac502259ad0.png

▲ParC实验结果

02.

三大视觉任务表现出色 多项指标打败苹果MobileViT

“据我们所知,这是第一次尝试结合ConvNet和ViT的优点来设计一个轻量级Pure-ConvNet的结构。”论文作者如此描述ParC-Net的开创性。

实验结果表明,在图像分类、物体检测、语义分割这三类常见的视觉任务中,混合结构的模型性能表现普遍高于当前主流的一些纯卷积结构、ViT结构的模型,其中ParC-Net模型取得了最好的整体性能表现。

68550856-0e14-11ed-ba43-dac502259ad0.png

▲对于ImageNet-1k的图像分类实验结果

在图像分类实验中,对于ImageNet-1k的分类,ParC-Net使用的参数规模最小(大约500万个参数),却实现了最高准确率78.6%。

MobileViT是苹果公司2022年在国际深度学习顶会ICLR22上提出的轻量级通用ViT模型。同样部署在基于Arm瑞芯微RK3288芯片上,相较基线模型MobileViT,ParC-Net节省了11%的参数和13%的计算成本,同时准确率提高了0.2%,推理速度提高了23%。

6863bc5c-0e14-11ed-ba43-dac502259ad0.png

▲与基准模型的推理速度对比

与基于ViT结构的模型相比,ParC-Net的参数量只有Meta AI团队DeiT模型参数的一半左右,准确率却比DeiT提高了2.7%。

在MS-COCO物体检测和PASCAL VOC分割任务中,ParC-Net同样基于较少的参数,实现了更好的性能、更快的推理速度。

686fb822-0e14-11ed-ba43-dac502259ad0.png

▲MS-COCO物体检测实验结果

688845fe-0e14-11ed-ba43-dac502259ad0.png

▲PASCAL VOC分割任务实验结果

张号逵博士是ParC-Net论文的第一作者,现任深圳云天励飞资深算法研究员,研究领域包括网络结构搜索、深度估计、轻量化骨干模型、信息检索及高光谱图像分类等。

他告诉智东西,传统ConvNet可以适应视觉任务中输入分辨率的变化,而具有全局感受野的纯卷积结构的缺陷是卷积核必须跟输入分辨率保持一致,为了更好应对分辨率的变化,其团队正在研究将模型做成动态卷积的形式,以提高鲁棒性。

目前这项研究成果已经可以用在算力受限的移动端或边缘设备中,实现更高准确率的视觉任务。如果进行一些小的改动,ParC-Net还可以被用于其他的视觉任务,例如6DOF姿态评估及其他dense prediction的任务。

03.

与自研芯片协同 运算速度可提升快3~4倍

那么ParC-Net模型的研究成果,具体如何在实际业务场景中发挥价值?

据介绍,一方面,ParC-Net模型可以集成到开源算法训练平台YMIR中,然后被部署至终端设备;另一方面,通过与云天励飞自研芯片协同,它能将运算速度和精度进一步提升。

YMIR是一个高度自动化的AI模型开发平台,能做到利用鼠标简单操作就可以完成数据收集、模型训练、数据挖掘、数据标注等功能。将拥有高运算效率的ParC-Net模型版本上传至YMIR后,用户可在该平台上直接选用ParC-Net模型,也可以针对具体业务场景,添加相应的数据集对ParC-Net进行再训练,从而获得能更好满足业务需求的模型。

以前有些对精度要求高或者采用ViT结构的移动端视觉任务,受限于计算效率问题,难以在摄像头设备或手机上运行,而上传到云端做运算,对有较高实时性要求的视觉任务不是很友好。

ParC-Net则较好地改善了这类问题,在模型精度和推理效率之间实现平衡,使得边缘设备可以在本地运行一些对精度要求高的视觉任务。比如,人脸识别终端设备可运用ParC-Net直接对路过的人进行高质量特征值提取,无需将数据传输到云端,就能与数据库进行检索比对。

与云天励飞自研芯片搭配后,ParC-Net模型的性能表现还能再上一个台阶。

张号逵博士谈道,其团队考虑到软硬件设计协同问题,在研发之初参考了云天励飞自研芯片工具链的设计及算子支持情况,然后进行模型网络结构及算子的设计,以更好地发挥出芯片算力。

研究人员将ParC-Net和基线模型MobileVit均部署到自研低功耗芯片DP上进行推理速度测试。从实验结果可以看到,ParC-Net的推理速度能够达到MobileViT速度的3~4倍。

68938162-0e14-11ed-ba43-dac502259ad0.png

▲与基准模型在不同芯片平台上的推理速度对比

这也是研究团队决定选择基于纯卷积结构来设计ParC-Net的原因之一。ConvNet已经统治计算机视觉领域十年之久,而ViT在这一领域兴起时间较短,很多现有的神经网络加速器、硬件优化策略,都是围绕卷积结构设计。因此部署在移动端时,纯ConvNet往往能比ViT享有更好的软硬件及工具链支持,并实现更快的推理速度。

即便搭载在对支持ViT更友好的芯片上,张号逵博士说,ParC-Net依然能取得比现有其他混合模型更好的性能表现。

绝大多数视觉任务可以分为两类:一类对位置信息不敏感,如图像分类等;另一类对位置信息较敏感,如物体检测、3D姿态估计、AR试穿等。对于这些视觉任务,无论用在智能门禁、手机识图还是自动驾驶汽车的摄像头,ParC-Net都能够发挥出其兼顾模型精度和计算效率的优势,并且不会受部署终端设备配置的限制。

04.

结语:轻量级视觉模型设计的新启发

当前ViT与ConvNet两大研究方向在计算机视觉领域旗鼓相当,ViT在学术界四处屠榜,ConvNet则在工业界主导地位难以撼动,将两者融合的相关研究也如雨后春笋般涌现。

此次入选ECCV顶会的ParC-Net模型,既顾及边缘设备对模型规模的限制,基于纯卷积结构,确保其具备易训练、易部署、推理效率高、硬件更友好等特点,又吸纳了ViT的设计特征,实现比其他ConvNet模型更高的精度。这可以给移动端视觉任务的模型设计带来一些启发。

审核编辑 :李倩

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4732

    浏览量

    100395
  • 计算机视觉
    +关注

    关注

    8

    文章

    1694

    浏览量

    45894
  • 轻量级
    +关注

    关注

    0

    文章

    16

    浏览量

    7274

原文标题:媒体关注丨云天励飞论文入选ECCV2022,提出轻量级视觉模型新架构

文章出处:【微信号:IntelliFusion2,微信公众号:云天励飞】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    开放原子开源大赛助力轻量级大语言模型应用落地

    “Intel借助开源大赛在全国的影响力,吸引更多开发者加入大语言模型及其在人工智能领域的创新应用。”负责BigDL-LLM赛题运营的Intel工作人员表示。
    的头像 发表于 09-24 10:38 442次阅读

    电装与京瓷合作开展轻量级太阳能发电系统实证实验

    株式会社电装(以下简称电装)与京瓷株式会社(以下简称京瓷)共同宣布,为提高现有工厂自发电率,将从2024年10月到2025年9月在电装的西尾工厂进行轻量级太阳能发电系统的实证实验。
    的头像 发表于 08-16 16:36 442次阅读

    国产芯上运行TinyMaxi轻量级的神经网络推理库-米尔基于芯驰D9国产商显板

    是面向单片机的超轻量级的神经网络推理库,即 TinyML 推理库,可以让你在任意单片机上运行轻量级深度学习模型~ 开源地址:https://github.com/sipeed/TinyMaix搭建
    发表于 08-09 18:26

    国产芯上运行TinyMaxi轻量级的神经网络推理库-米尔基于芯驰D9国产商显板

    D9360国产开发板)的TinyMaxi轻量级的神经网络推理库方案测试。 算力测试 TinyMaix 是面向单片机的超轻量级的神经网络推理库,即 TinyML 推理库,可以让你在任意单片机上运行轻量级深度
    发表于 08-07 18:06

    鸿蒙语言基础类库:ohos.data.storage 轻量级存储

    轻量级存储为应用提供key-value键值型的文件数据处理能力,支持应用对数据进行轻量级存储及查询。数据存储形式为键值对,键的类型为字符串型,值的存储数据类型包括数字型、字符型、布尔型。
    的头像 发表于 07-15 18:21 899次阅读

    国产芯上运行TinyMaxi轻量级的神经网络推理库-米尔基于芯驰D9国产商显板

    TinyMaix是面向单片机的超轻量级的神经网络推理库,即TinyML推理库,可以让你在任意单片机上运行轻量级深度学习模型~开源地址:https://github.com/s
    的头像 发表于 07-05 08:02 1800次阅读
    国产芯上运行TinyMaxi<b class='flag-5'>轻量级</b>的神经网络推理库-米尔基于芯驰D9国产商显板

    消息称苹果正在研发轻量级AR眼镜

    在科技巨头们竞相探索未来穿戴设备的浪潮中,苹果公司的一则消息引起了业界的广泛关注。据多家媒体报道,苹果正在秘密研发一款名为“Apple Glass”的轻量级增强现实(AR)眼镜,这款眼镜旨在为用户
    的头像 发表于 06-24 11:34 670次阅读

    部署在边缘设备上的轻量级模型

    的地方进行智能决策和数据处理。   边缘AI 算法通常是经过优化和压缩的轻量级模型   边缘AI算法的工作原理涉及三个关键要素:终端设备、边缘计算和人工智能算法。终端设备收集到的数据被认为是边缘数据,需要进行实时处理和分析。边缘
    的头像 发表于 05-11 00:17 2519次阅读

    深度详解嵌入式系统专用轻量级框架设计

    MR 框架是专为嵌入式系统设计的轻量级框架。充分考虑了嵌入式系统在资源和性能方面的需求。通过提供标准化的设备管理接口,极大简化了嵌入式应用开发的难度,帮助开发者快速构建嵌入式应用程序。
    发表于 04-27 02:32 884次阅读
    深度详解嵌入式系统专用<b class='flag-5'>轻量级</b>框架设计

    未来轻量级深度学习技术探索

    除了轻量级架构设计外,作者提到了可以应用于压缩给定架构的各种高效算法。例如,量化方法 旨在减少数据所需的存储空间,通常是通过用8位或16位数字代替32位浮点数,甚至使用二进制值表示数据。
    发表于 04-23 15:54 354次阅读
    未来<b class='flag-5'>轻量级</b>深度学习技术探索

    百度智能云推出全新轻量级模型

    在近日举办的百度智能云千帆产品发布会上,三款全新的轻量级模型——ERNIE Speed、ERNIE Lite以及ERNIE Tiny,引起了业界的广泛关注。相较于传统的千亿级别参数大模型,这些
    的头像 发表于 03-22 10:28 597次阅读

    百度智能云发布三款轻量级模型和两款特定场景大模型

    百度智能云在千帆产品发布会上震撼推出了一系列创新产品,其中包括三款轻量级模型:ERNIE Speed、ERNIE Lite和ERNIE Tiny,以及两款专为特定场景打造的ERNIE
    的头像 发表于 03-22 10:28 591次阅读

    谷歌发布轻量级开源人工智能模型Gemma

    谷歌近日宣布推出开源人工智能(AI)模型系列Gemma,旨在为开发人员和研究人员提供一个负责任的AI构建平台。这一举措标志着自2022年OpenAI的ChatGPT引领AI聊天机器人热潮后,谷歌首次发布重要的开源大型语言模型(LLM),直接与ChatGPT展开竞争。
    的头像 发表于 02-23 11:38 766次阅读

    轻量级数据库有哪些类型

    轻量级数据库是指具有小巧、灵活、高效的特点,适用于小规模项目和嵌入式设备的数据库管理系统。下面是对轻量级数据库类型的详细介绍,包括关系型数据库、非关系型数据库、面向对象数据库等等。 关系型数据库
    的头像 发表于 12-20 11:29 1142次阅读

    Linux轻量级工具集合Busybox的特点和使用

    Busybox是一个开源的、轻量级的软件工具集合,旨在提供一个精简的Unix工具集,适用于嵌入式系统和资源受限的环境。它将许多常用的Unix工具(如ls、cp、cat、mv、grep、find、telnet等)合并为一个可执行文件,从而减少了系统的存储空间和资源占用。
    的头像 发表于 11-10 09:50 1329次阅读