0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

使用高通的Snapdragon 820启用深度相机

星星科技指导员 来源:嵌入式计算设计 作者:Shahrad Payandeh 2022-08-12 14:07 次阅读

深度相机对机器人世界至关重要,现在有不同的形状和框架。为了在现实世界中寻找物体或路径,机器人需要对周围环境有感知。这些相机中的大多数使用两个具有一定距离的相机并进行大量处理以从这两个 2D 捕获的视频中创建一个 3D 世界。在大多数情况下,原始捕获的视频需要传递给其他模块用于不同的目的——这是大多数现有深度相机模块所缺少的部分之一。在本文中,我们将介绍 Qualcomm 的 Snapdragon 820 作为实时深度摄像头的解决方案,同时不会丢失双摄像头系统的基本功能。

高通的 Snapdragon 820 是其系列中功能更强大的 SoC 之一。该 SoC 有一个八核 ARM CPU 作为应用处理器,可与一些子系统(如 GPUDSP、RPM 等)配合使用。Hexagon DSP 是一个功能强大的 DSP,具有多个硬件线程、数据包指令、L1 和 L2 缓存,以及对外围设备和双倍数据速率 (DDR) 的访问,例如应用处理器 Qualcomm (APQ) 和超长指令字 (VLIW)。在 820 中,使用了该结构的版本 6。在这个新结构中,提供了一个可以处理 1024 位向量的 Hexagon Vector eXtension (HVX) 协处理器。

您可以利用 HVX 进行高分辨率图像处理。Snapdragon 820 提供的其他功能之一是能够将定制模块添加到图像信号处理 (ISP) 管道(图 1)。

poYBAGL17lyAd9nAAACGQqQSA_0382.png

【图1 | ISP中的HVX模块]

在 ISP 管道中拥有一个自定义模块将让用户在将图像传递给 ISP 中的其他模块之前对其进行处理。该模块的输入是拜耳和非拜耳格式,输出为拜耳格式。该模块可以直接访问DDR,处理结果可以实时提供给高级操作系统(HLOS)。

Snapdragon 820 有两个 ISP,并且两个管道都可以包含定制的图像处理模块。换句话说,如果您将两台相机连接到 820,您可以为每台相机单独定制图像处理。如果用户想为两个自定义图像处理模块使用 HVX 模块,他们可以使用 512 位矢量。使用定制的图像处理模块将使 Hexagon 处于特定模式,该模式将为每个定制的图像处理模块分配两个特定的硬件线程(图 2)。

poYBAGL17mKAcCDBAACgMMctfHs250.png

【图2 | HVX模块和HT]

加工结构

出于我们的目的,我们使用了两个具有相同分辨率的相机,它们排列在一个固定的夹具中。这意味着我们知道两个相机之间的重叠程度。我们使用如图 3 所示的处理管道。

poYBAGL17mmAJcPIAAA2a-39X3w094.png

【图3 | 处理块]

使用神经网络解决方案(图 1),我们可以使用 HVX 模块同时对两个相机图像进行边缘检测过程。一个相机上的边缘检测图像使用反馈指针传递给另一个相机。然后,使用 SAD 算法对这两个图像进行处理。结果将在 DDR 中用于与 HLOS 共享。如前所述,相机的位置和对齐方式是固定的,可用于找到两个捕获图像的重叠部分。如果不是这种情况,那么我们需要在整个过程中添加重叠检测模块。

实验

将两个摄像机固定在一个静态帧中,我们可以看到帧具有固定的重叠。

poYBAGL17nKAV7bmAAD3XXHcdfE182.png

【图4 | 两个具有固定重叠和使用 NN 的相关边缘检测的相机的视图]

在两个相关帧上使用 SAD 算法,并通过插值将数字转换为灰度,我们得到了如图 5 所示的结果。

pYYBAGL17nmATvowAAFGeFyJMew830.png

【图5 | 差异结果]

使用这种算法,我们可以达到 30 FPS 的全高清视频,同时视频可以无中断地提供给 HLOS。

审核编辑:郭婷

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 机器人
    +关注

    关注

    211

    文章

    28817

    浏览量

    209218
  • soc
    soc
    +关注

    关注

    38

    文章

    4225

    浏览量

    219490
  • 摄像头
    +关注

    关注

    60

    文章

    4874

    浏览量

    96582
收藏 人收藏

    相关推荐

    光谱相机的优势有哪些?

    光谱相机作为现代信息采集技术的重要工具,近年来受到了广泛关注。那么,光谱相机究竟是什么?它比传统相机有什么独特之处?本文将为你一一揭晓。
    的头像 发表于 02-21 14:54 90次阅读
    <b class='flag-5'>高</b>光谱<b class='flag-5'>相机</b>的优势有哪些?

    中达瑞和带你了解光谱相机和多光谱相机的区别以及如何选购

    光谱相机和多光谱相机都是用于捕捉和分析物体光谱信息的成像设备,但它们在光谱分辨率、波段数量、应用场景等方面存在显著区别。本篇文章,中达瑞和就带大家从以上几点来介绍下。 1、光谱分辨率
    的头像 发表于 02-07 17:01 138次阅读

    通发布Snapdragon X Platform:PC级AI芯片引领革新

    近日,在备受瞩目的全球消费电子展(CES)期间,半导体设计领域的巨头通公司隆重推出了其最新的计算平台——Snapdragon X Platform。这一创新平台集成了高性能的Oryon CPU
    的头像 发表于 01-09 10:56 196次阅读

    带你走进光谱工业相机

    光谱工业相机能够同时获取目标物的空间信息和光谱信息,在质量控制、产品质量、材料分析、环境监测、食品安全等应用广泛。
    的头像 发表于 11-22 17:04 410次阅读
    带你走进<b class='flag-5'>高</b>光谱工业<b class='flag-5'>相机</b>

    通发布Snapdragon Elite平台,推动汽车智能化

    近日,通正式推出了专为汽车应用而设计的Snapdragon Elite平台。该平台搭载了通最新的Oryon中央处理器,旨在为下一代汽车提供更智能、更高效的体验。 作为通数字底盘
    的头像 发表于 10-23 11:11 628次阅读

    英特尔推出全新实感深度相机模组D421

    英特尔 实感 技术再次突破界限,推出全新的英特尔 实感 深度相机模组D421。这是一款入门级立体深度模组,旨在以高性价比将先进的深度感应技术带给更广泛的用户群体,为寻求
    的头像 发表于 10-11 15:26 522次阅读

    立体视觉新手必看:英特尔® 实感™ D421深度相机模组

    英特尔首款一体化立体深度模组,旨在将先进的深度感应技术带给更广泛的受众 2024年9月24日 —— 英特尔® 实感™ 技术再次突破界限,推出全新的英特尔® 实感™ 深度相机模组D421
    的头像 发表于 09-26 13:33 342次阅读
    立体视觉新手必看:英特尔® 实感™ D421<b class='flag-5'>深度</b><b class='flag-5'>相机</b>模组

    如何去控制vca820的增益呢?

    今天看了vca820的资料。想问一下如何去控制vca820的增益呢?根据数据手册上做了一个简单的仿真,在Vg端输入一个1v正弦波时,必须要加上3v以上的偏置电压才可以使信号放大10倍,但是改变vg
    发表于 09-19 06:49

    为具有逻辑的物联网通信模块启用深度睡眠模式

    电子发烧友网站提供《为具有逻辑的物联网通信模块启用深度睡眠模式.pdf》资料免费下载
    发表于 09-13 09:46 0次下载
    为具有逻辑的物联网通信模块<b class='flag-5'>启用</b><b class='flag-5'>深度</b>睡眠模式

    什么是光谱相机光谱相机有什么用?

    一、什么是光谱相机? 光谱相机是一种能够同时获取目标物体在多个窄波段光谱信息的成像设备。与传统的彩色相机只记录红、绿、蓝三个波段的信息不
    的头像 发表于 09-06 15:39 708次阅读
    什么是<b class='flag-5'>高</b>光谱<b class='flag-5'>相机</b>?<b class='flag-5'>高</b>光谱<b class='flag-5'>相机</b>有什么用?

    请问opa820能做电压跟随器吗 ?

    opa820能做电压跟随器吗 ?如果不能,推荐几款适合做电压跟随器的电压型运算放大器。带宽50M以上
    发表于 08-13 08:17

    毫末智行与通宣布采用Snapdragon Ride平台打造智能驾驶解决方案

    面向先进驾驶辅助系统和自动驾驶功能的智能驾驶解决方案基于毫末智行业界领先的ADAS及自动驾驶技术和通技术公司的最新一代Snapdragon Ride平台打造。
    的头像 发表于 04-24 09:35 596次阅读
    毫末智行与<b class='flag-5'>高</b>通宣布采用<b class='flag-5'>Snapdragon</b> Ride平台打造智能驾驶解决方案

    Momenta联合通发布基于Snapdragon Ride的全新智能驾驶解决方案

    面向高速领航辅助(HNP)和稳健的去精地图城市领航辅助(UNP)等场景,双方基于最新一代Snapdragon Ride平台合作开发具备完全可扩展能力的智能驾驶解决方案,兼具成本效益和优化的散热设计等特点。
    的头像 发表于 04-23 09:43 795次阅读

    基于TOF深度相机的图像处理专利获授权

    该专利主要涉及图像处理技术领域,特别是针对基于TOF深度相机的图像处理方法和存储媒介进行了深入研究。其核心内容包括:首先,采集每个像素的初始实部数据与初始虚部数据;其次,通过将这些数据与当前数据相结合,生成特征数据;
    的头像 发表于 04-15 10:04 492次阅读
    基于TOF<b class='flag-5'>深度</b><b class='flag-5'>相机</b>的图像处理专利获授权

    Snapdragon X Elite跑分泄露,Arm笔记本处理器的全面反攻开始

    电子发烧友网报道(文/周凯扬)自Snapdragon X Elite于去年10月公布以来,外界对其实际性能的猜测就从未停止过。随着其与Windows 12 PC同步发售的窗口越来越近,通也已经开始
    的头像 发表于 03-01 00:11 3382次阅读