0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

传感器接棒计算任务,AR眼镜的出路?

E4Life 来源:电子发烧友网 作者:周凯扬 2022-04-20 00:17 次阅读

一般来说,低功耗的物联网设备如果涉及到复杂的运算,都需要将传感器的数据上传到的云端处理,所以搭载的主要芯片通信控制芯片;至于边缘处理需求不大的物联网设备,所需的MCU性能也不会太高,足以完成寻常的传感器数据计算。此外,传感器与计算单元之间的数据移动也进一步增加了能耗和延迟。

随着工艺对能耗比的提升逐渐变得有限起来,处理器能提供的助力越来越小,但时值缘AI兴起之际,有的公司开始将目光望向传感器,思索如何在这上面做文章。因为明眼人都可以看出,在电子设备小型化的进程上,我们已经遇到了瓶颈,不少产品形态苦于计算而束手束脚,连苹果自己都开始堆芯片面积来提升算力,更不用说穿戴设备了,尤其是AR/VR产品。

AR/VR设备的传感器内计算系统


就拿此前被炒热过一阵的智能/AR眼镜来说,这一产品形态给了消费者不少遐想,但到手体验后多半以失望告终。以Meta不久前和雷朋合作的一款智能眼镜为例,这一产品根本称不上智能,充其量算作一个用于社交分享的硬件而已,并没有什么计算能力。这是因为这类智能眼镜计算单元可以少,但传感器却少不了,摄像头、麦克风和扬声器等都是该硬件的重要组成部分。但没有CPUGPU、AI加速器这些计算单元,智能/AR眼镜只会被视为名不副实。

在坚定AR/VR道路的Meta看来,半导体上依然面临着不小的挑战。早在2020年,Meta就提出了AR/VR半导体面临的多重挑战,比如能耗比要做到如今的100倍、靠近皮肤的散热问题、无线传输的带宽问题以及如何做到高算力和低延迟。

解决方案分为三个维度,比如先进封装上,需要用到定制接口、异构集成和3D封装,而内存上需要尝试STTRAM、PCM和RRAM等新型内存,CMOS工艺也将从FinFET逐渐演进到5nm、GAA。然而这些解决方案中有的已经被证实可行,有的还在试验阶段。


分布式的传感器内计算系统 /Meta


Meta现实实验室的研究科学家Jorge Gómez提出了一个新思路,那就是打造传感器内的计算系统。首先需要的就是一个分布式的计算系统,集成了传感器内处理器的智能图像传感器对数据进行预处理,再通过MIPI接口传给聚合器。如此一来不仅减小了功耗和延迟,还大大提高了隐私安全。


智能图像传感器 / Meta


这个智能图像传感器采用了3层结构,分别是CIS、ADC和AI,通过μTSV或混合键合这样的3DIC技术集成在一起,至于AI层的存储,则选择低漏电高密度的MRAM来进一步减小功耗。


与传统中心化传感器计算系统的对比 / Meta


这样就得到了一个降低功耗的分布式传感器内计算系统,从模拟结果图中可以看出,在应用处理器与传感器内处理器都选用7nm工艺的情况下,分布式计算系统要比传统的中心化计算系统功耗低上24%,即便后者换为16nm工艺,功耗依然获得了减少。从这一模拟结果来看,这种思路是完全可行的。但如果想要做到百倍的功耗比,这样的提升还远远不够,何况传感器依然是这套系统中耗电大头。

省去冗余的数据移动


对于近传感器计算和传感器内计算来说,省去冗余的数据移动可以说是对功耗和延迟最关键的一步。如果模拟传感器可以直接处理模拟信号ADC和计算单元的负担都要小上很多,AIStorm公司的MantisAI传感器SoC就是一个很好的例子。

CMOS/CCD在记录信息时,每个像素产生的电荷量就是接收到的光子数量,也就是明暗信息。而Mantis作为一个成像芯片,可以直接以原生电荷的形式接收像素数据,对人体、面部或物体进行基于图像的唤醒。根据AIStorm的说法,Mantis可以实现最高1000 TOPS/W的算力,50000FPS的成像帧率,始终开启的情况下可以做到5uA以下的功耗,近乎忽略不计的延迟。

Mantis人体识别演示 / AIStorm

不过,从Mantis的人体识别演示视频来看,这类芯片目前还存在一些不成熟的地方,比如无法替代其他常见的图像传感器,只能用于基于事件的智能唤醒,比如人从镜头前走过等;而且在成像的过程中,单凭模拟数据还是无法一些分类和识别的工作,比如同一个人再次走过对其来说依然是个新的对象。再者,TOPS/W这样的单位对这类模拟计算芯片来说有着天然的优势,正如与之类似的存内计算等模拟计算一样,它们往往计算精度不高,但低位数与高位数的乘积累加运算又不可相提并论,所以按运算次数来衡量性能并不是一个准确的对比方法。

话虽如此,这类在传感器上集成模拟AI方案依然有它的定位,像语音唤醒、图像唤醒等应用,它们在功耗、成本上有着极大的优势,而这种唤醒方案可以显著减少AI硬件的整体功耗,所以依然不可小觑。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 传感器
    +关注

    关注

    2551

    文章

    51147

    浏览量

    754034
  • 物联网设备
    +关注

    关注

    1

    文章

    235

    浏览量

    19754
  • AR眼镜
    +关注

    关注

    4

    文章

    536

    浏览量

    23192
收藏 人收藏

    相关推荐

    VITURE&MEIG | AR眼镜 算力增程

    “将百英寸屏幕和智能助手带在身边,不仅能够随时随地开启畅快的巨幕娱乐,还能够帮助处理任务和解决问题”。AR眼镜作为AI落地的优质载体,有望成为比肩智能手机的下一代智能平台。相比于AI眼镜
    的头像 发表于 12-29 17:01 83次阅读
    VITURE&amp;amp;MEIG | <b class='flag-5'>AR</b><b class='flag-5'>眼镜</b> 算力增程

    AR眼镜定制_AR智能眼镜_带摄像头的AI智能眼镜方案

    AR眼镜依赖于联发科技(MTK)强大的处理性能,采用6纳米制程工艺,配备八核处理,主频达到2.0GHz。这款芯片在传统计算平台和人工智能物联网(AIoT)领域之间不断提升性能,具备了
    的头像 发表于 12-17 20:15 236次阅读
    <b class='flag-5'>AR</b><b class='flag-5'>眼镜</b>定制_<b class='flag-5'>AR</b>智能<b class='flag-5'>眼镜</b>_带摄像头的AI智能<b class='flag-5'>眼镜</b>方案

    AR眼镜中电致变色技术的应用

    近两年,随着AR技术的不断发展,电致变色技术正逐渐成为AR眼镜中的一项关键技术。这种技术通过控制材料的颜色或透明度,使AR设备能够在不同场景下提供更加逼真、舒适和个性化的用户体验。
    的头像 发表于 11-09 11:44 913次阅读
    <b class='flag-5'>AR</b><b class='flag-5'>眼镜</b>中电致变色技术的应用

    AI崛起背景下,MEMS传感器出路在哪里

    深入探讨在AI崛起背景下,MEMS传感器出路在哪里,为读者揭示这一科技产品的未来发展趋势。 MEMS传感器与AI的紧密联系 MEMS传感器,即微机电系统
    的头像 发表于 10-22 08:09 589次阅读

    Meta震撼发布Orion AR眼镜:重塑未来计算平台

    克拉克·肯特经典黑色镜框设计的AR眼镜,虽看似平凡,实则蕴含着Meta创始人扎克伯格对未来计算平台变革的深远布局与数十亿美元的豪赌。
    的头像 发表于 09-26 16:17 1018次阅读

    医疗AR眼镜,重新定义远程会诊体验

    AR眼镜:重新定义远程会诊体验】 在快速发展的医疗领域,安宝特医疗AR眼镜以其尖端技术和创新功能,引领远程会诊的未来,致力于为为医生和患者带来更高效、精准和无缝的医疗体验。 探索安宝
    的头像 发表于 09-10 10:57 332次阅读

    微软正全力研发Windows增强现实(AR)眼镜

    近日,微软在AR技术领域的雄心壮志再次显现,其最新曝光的专利揭示了公司正全力研发配备尖端摄像头的Windows增强现实(AR眼镜。这一动向由国际知名科技媒体Windows Latest率先披露,展示了微软在
    的头像 发表于 07-29 16:19 981次阅读

    AR眼镜定制开发方案_AR智能眼镜与ChatGPT技术的融合

    AR眼镜定制方案中,一款好的AR眼镜需要有强大的算力、轻巧的设计、更长的续航时间作为基础,AR眼镜
    的头像 发表于 06-03 20:11 865次阅读
    <b class='flag-5'>AR</b><b class='flag-5'>眼镜</b>定制开发方案_<b class='flag-5'>AR</b>智能<b class='flag-5'>眼镜</b>与ChatGPT技术的融合

    AR眼镜定制开发_AR智能眼镜主板基于MTK平台定制方案

    传感器和麦克风的输入数据。同时,采用衍射光波导方案和2x1920x1080分辨率的Micro OLED显示模组,使得整机体积更小、清晰度更高、体验更佳。Micro OLED的体积小、亮度高、功耗低等特点
    的头像 发表于 05-13 19:13 590次阅读
    <b class='flag-5'>AR</b><b class='flag-5'>眼镜</b>定制开发_<b class='flag-5'>AR</b>智能<b class='flag-5'>眼镜</b>主板基于MTK平台定制方案

    AR2020CSSC13SMTAH3-GEVB传感器板数据手册

    电子发烧友网站提供《AR2020CSSC13SMTAH3-GEVB传感器板数据手册.rar》资料免费下载
    发表于 05-06 17:37 0次下载
    <b class='flag-5'>AR</b>2020CSSC13SMTAH3-GEVB<b class='flag-5'>传感器</b>板数据手册

    AR0234CSSC00SUKAH3-GEVB传感器板数据手册

    电子发烧友网站提供《AR0234CSSC00SUKAH3-GEVB传感器板数据手册.rar》资料免费下载
    发表于 05-06 17:12 0次下载
    <b class='flag-5'>AR</b>0234CSSC00SUKAH3-GEVB<b class='flag-5'>传感器</b>板数据手册

    星纪魅族集团:MYVU AR智能眼镜入驻博士眼镜全国线下门店

    随着MYVU AR智能眼镜进入博士眼镜全国线下门店,星纪魅族集团将利用博士眼镜广泛的门店网络和专业的配镜服务,进一步拓宽MYVU AR智能
    的头像 发表于 04-12 15:44 715次阅读

    AR眼镜_AR智能眼镜芯片|主板|光机硬件设计方案

    AR智能眼镜芯片|主板|光机硬件设计方案。我们建议选用联发科MT6765芯片,这款芯片搭载了先进的8核CPU和IMG GE8320 GPU,支持高性能计算和图形处理,能够满足AR
    的头像 发表于 03-22 20:16 1062次阅读
    <b class='flag-5'>AR</b><b class='flag-5'>眼镜</b>_<b class='flag-5'>AR</b>智能<b class='flag-5'>眼镜</b>芯片|主板|光机硬件设计方案

    AR智能眼镜主板设计_AR眼镜光学方案

    AR智能眼镜主板设计_AR眼镜光学方案。在AR眼镜中,处理
    的头像 发表于 02-20 19:21 1298次阅读
    <b class='flag-5'>AR</b>智能<b class='flag-5'>眼镜</b>主板设计_<b class='flag-5'>AR</b><b class='flag-5'>眼镜</b>光学方案

    AR眼镜定制_ar智能眼镜显示方案|光学方案_5G方案

    AR眼镜定制_ar智能眼镜显示方案|光学方案。基于MTK6877芯片的AR智能眼镜解决方案,其架
    的头像 发表于 01-26 19:50 743次阅读
    <b class='flag-5'>AR</b><b class='flag-5'>眼镜</b>定制_<b class='flag-5'>ar</b>智能<b class='flag-5'>眼镜</b>显示方案|光学方案_5G方案