0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

友思特方案 多相机的完美闭环:proFRAME车载全景环视相机数采方案

Hophotonix 来源:Hophotonix 作者:Hophotonix 2024-08-22 15:12 次阅读

导读

精准搜集车辆传感器实时数据ADAS系统稳定运行的关键所在。友思特 proFRAME 系统可以同步采集输入数据流并输出处理,成为车载全景环视相机从图像采集至分析结果输出存储的高效闭环方案。

proFRAME 车载图像采集与回放系统

ADAS系统如交通标志识别、车道辅助、停车辅助和自动驾驶(AD)等功能,需要高效、精准地收集车辆传感器的实时数据,特别是来自嵌入式摄像头的视频数据,这些功能的验证需要同步捕获各个摄像头的视频流,添加相应的时间戳并存储,然后在硬件在环测试(HIL)中将这些驾驶场景回放到验证 ADAS/AD ECU中。

针对上述内容,proFRAME提供了完美的解决方案。

wKgZombG5IOAT-yDAAE5QX8Oss8303.png

全景环视的多相机数据流包含相应的高精度时间戳,proFRAME 提供了 bypass 功能(Tap模式),使得数据流可以同步采集输入和输出处理,通过 ATX4 高性能车载服务器/BRICK2 数采平台,对数据进行存储、图像处理、分析,实现车载全景环视相机图像采集至分析结果输出存储的完整闭环。

方案特点

同步捕获各个相机的视频流并添加响应时间戳进行存储;

同步录制多达8个4K视频流(包括边带通信I2C),并可通过外部触发线与其他记录设备或传感器同步;

proFRAME系统在HIL中能够基于录制过程中的时间戳精准同步地回放驾驶场景;

兼容市面上常见的串行器播放视频流,回放根据单图像帧时间戳信息或外部触发进行;

支持ROS或ADTF的HIL系统,提供API实现proFRAME与HIL系统的快速集成。

灵活切换的工作模式及其应用

友思特 proFRAME 板卡有三种工作模式,通过加载不同的固件来切换,从而满足不同场景下的应用需求。

Capture模式(采集)

wKgaombG5HqAXs1hAAlL8i8nEe0790.png

板卡处于Capture模式时,可以同时获取最多8个相机的视频流。

对于每一个相机视频流的获取链路如下:

前端的GMSL/FPD-Link相机的CMOS图像传感器捕获光信号并转换为电信号,生成原始图像数据。

原始图像数据在相机内部经过处理(如去噪、增益、色彩校正等)后通过相机的串行芯片进行串行化,转为CSI-2标准的数据格式,通过同轴线缆(Coax)传输到板卡。

在板卡上,接收到的数据通过相机适配器的解串芯片进行解码,将串行数据流恢复成并行的CSI-2图像数据格式,传送至板卡的FPGA模块进行处理。

除了图像数据,相机的控制信号指令(如I2C和GPIO)也通过同轴线缆传输。I2C用于设备间的通信,包括配置相机的工作参数(如曝光、增益调整等),GPIO用于控制相机的行为(如相机的启停、触发拍摄等)。板卡也支持通过同轴线缆给相机供电(PoC)。

板卡通过PCIe(x8 Gen3)接口跟主机通信,基于proFRAME配套的API、Lib和驱动,实现了后续客户端应用的集成,包括ROS或ADTF应用。

Replay模式(回放)

wKgaombG5HKABdmqAAb3PK8cX9M478.png

板卡处于Replay模式时,可以同时回放最多4个视频流

对于每一个视频流的回放链路如下:

主机客户端应用输出的视频流通过PCIe接口传输到板卡,通过板卡的FPGA模块进行预处理,转为CSI-2图像数据格式。

并行的CSI-2图像数据在相机适配器的串行芯片进行串行化,通过切换不同的相机适配器,以GMSL或FPD-Link串行接口标准输出。

图像数据通过同轴线缆传输到前端的ECU设备进行解串,恢复成并行图像数据,用于可视化或其他调试处理目的。也可以使用另一块proFRAME板卡来重新采集捕获回放的视频流。

TAP模式(旁通、边采集边回放/记录)

wKgZombG5HCAYFk9AAuKCP9xNps056.png

板卡处于TAP模式时,可以同时分别采集和输出最多各4个视频流。

对于每一个视频流,采集的数据携带ns级别的高精度时间戳,采集到的数据同时分出两路,一路通过PCIe传到主机,一路通过另外的通道输出,实现视频流的实时采集和回放。具体的数据传输链路如下:

前端的GMSL/FPD-Link相机的CMOS图像传感器捕获光信号并转换为电信号,生成原始图像数据。

原始图像数据在相机内部经过处理(如去噪、增益、色彩校正等)后通过相机的串行芯片进行串行化,转为CSI-2标准的数据格式,通过同轴线缆(Coax)传输到板卡。

在板卡上,接收到的数据通过相机适配器的解串芯片进行解码,将串行数据流恢复成并行的CSI-2图像数据格式,传送至板卡的FPGA模块进行处理。

除了图像数据,相机的控制信号指令(如I2C和GPIO)也通过同轴线缆传输。I2C用于设备间的通信,包括配置相机的工作参数(如曝光、增益调整等),GPIO用于控制相机的行为(如相机的启停、触发拍摄等)。板卡也支持通过同轴线缆给相机供电(PoC)。

图像数据经由板卡的FPGA模块,同步分出两路数据,一路数据经由PCIe(x8 Gen3)接口传输到主机的客户端应用;一路数据重新经过相机适配器的串行化芯片进行串行输出,通过同轴线缆传输到前端的ECU设备进行解串,恢复成并行图像数据,用于可视化或其他调试处理目的。

友思特 proFRAME 系统方案

proFRAME Base Board 3.0 CompactPCI

wKgaombG5F6AXiqZAAEXbjLo2rc252.png

第三代 proFRAME 基板以CompactPCI®串行(CPCI-S.0)形式首次亮相,其数据速率是其前代产品的四倍,可支持最先进的汽车摄像头。该基板基于 AMD Zynq™ UltraScale+ ™ ZU4CG MPSoC 构建,可为其每个新型相机适配器接口提供高达 40 Gbit/s 的数据传输速率。

proFRAME Base Board 3.0 PCIe

wKgZombG5FiAaK7rAAEu2TRJLP8221.png

具备CompactPCI®串行版本的所有高级功能,但作为常规PC系统的PCI Express®板均能实现。与新的camAD3相机适配器系列完全兼容。

了解更多?欢迎访问官网,探索丰富案例:https://viewsitec.com/proframe-grabber/

关注友思特机器视觉与光电公众号、加入行业交流群或直接联系我们,轻松收获更多技术干货

审核编辑 黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 传感器
    +关注

    关注

    2550

    文章

    51071

    浏览量

    753331
  • 相机
    +关注

    关注

    4

    文章

    1350

    浏览量

    53595
  • adas
    +关注

    关注

    309

    文章

    2184

    浏览量

    208641
收藏 人收藏

    评论

    相关推荐

    方案 瞬时纠错的智慧算法:锂电与半导体多类型视觉检测助力高效高质生产

    为新能源锂电行业赋能第三站:丰富智慧的多类型视觉检测系统!锂电行业产线检测效率和准确性决定了生产的投产比与产品的出货质量。针对多种需求开发了针对性的相机&AI视觉检测
    的头像 发表于 12-05 13:41 145次阅读
    <b class='flag-5'>友</b><b class='flag-5'>思</b><b class='flag-5'>特</b><b class='flag-5'>方案</b> 瞬时纠错的智慧算法:锂电与半导体多类型视觉检测助力高效高质生产

    动态捕捉:高光谱相机用于移动产线上的食品检测

    高光谱成像技术能够为食品安全助力。以BlackIndustry SWIR 1.7 Max 为代表的高光谱相机完美解决了移动产线检测的
    的头像 发表于 11-08 15:51 274次阅读
    动态捕捉:高光谱<b class='flag-5'>相机</b>用于移动产线上的食品检测

    分享 绘制江河湖海:uEye相机助力水路航道自动3D测绘系统

    TAPS 是德国 Fraunhofer 研究所为河道测量而设计的半自动测向系统,通过搭载两台 uEye FA 工业相机 实现对海岸区域进行高效精准的三维建模和航道地图重建。
    的头像 发表于 10-30 16:18 214次阅读
    <b class='flag-5'>友</b><b class='flag-5'>思</b><b class='flag-5'>特</b>分享  绘制江河湖海:uEye<b class='flag-5'>相机</b>助力水路航道自动3D测绘系统

    分享 车载同步技术创新:多相机系统如何实现精准数据采集与实时处理?

    车载多相机采集系统是智能驾驶技术实际应用中的的“眼睛”,车载图像采集和回放系统切实提升了系
    的头像 发表于 10-16 16:14 416次阅读
    <b class='flag-5'>友</b><b class='flag-5'>思</b><b class='flag-5'>特</b>分享 <b class='flag-5'>车载</b>同步技术创新:<b class='flag-5'>多相机</b>系统如何实现精准数据采集与实时处理?

    分享 1小时800件?Ensenso 3D相机如何加速智能机器人的分拣效率

    大量的快递运输需求和普遍存在的劳动力短缺问题催生了物流自动化程度的提升。 Ensenso 3D相机为智能机器人卸垛机方案提供精确的图像
    的头像 发表于 09-19 14:33 268次阅读

    新品 多光谱与高光谱相机:基于随心而定的可调谐滤光片技术

    高光谱成像拓展了人类的视野,让我们能看到可见光之外的东西。高光谱相机与多光谱相机基于可调谐滤光片技术,具备紧凑、高分辨率、低成本的优势
    的头像 发表于 08-09 17:36 408次阅读
    <b class='flag-5'>友</b><b class='flag-5'>思</b><b class='flag-5'>特</b>新品 多光谱与高光谱<b class='flag-5'>相机</b>:基于随心而定的可调谐滤光片技术

    分享 IDS uEye:全球首款兼具索尼 IMX662 彩色和单色传感器的工业相机

    战略伙伴 IDS 是第一家提供索尼 IMX 662 传感器彩色和黑白两种颜色的工业相机供应商,其新款 uEye+ XCP 和 XLS 相机
    的头像 发表于 07-25 13:49 607次阅读

    应用 多接口的智驾无忧:GigE相机在自动驾驶数据采集系统的稳定应用

    GigE接口相机是自动驾驶数据采集的高性价比选择。特多GigE接口支持PTP的采集设备系统级方案 BRICK2,为多传感器数据记录测试提供完整的解决
    的头像 发表于 07-02 17:57 662次阅读
    <b class='flag-5'>友</b><b class='flag-5'>思</b><b class='flag-5'>特</b>应用 多接口的智驾无忧:GigE<b class='flag-5'>相机</b>在自动驾驶数据采集系统的稳定应用

    应用 | 逐节测量椎骨:借助uEye工业相机进行光学脊柱和姿态分析

    非接触无辐射的 DIERS formetric 是全球领先医疗设备研发公司 DIERS 推出的脊柱测量系统,伙伴 IDS 为该系统提供了可集成的高性能 uEye 相机模块,助力该
    的头像 发表于 05-29 17:48 588次阅读
    <b class='flag-5'>友</b><b class='flag-5'>思</b><b class='flag-5'>特</b>应用 | 逐节测量椎骨:借助uEye工业<b class='flag-5'>相机</b>进行光学脊柱和姿态分析

    应用 | 稳步前行:基于FPGA 3D相机实现轮胎定位检测应用

    乘用车辆的长期稳定行驶离不开轮胎等零部件的定期检测。 3D相机可实时采集车辆四轮的三维点云图,提取关键信息并进行计算分析,实现车辆四轮定位的精确测量。
    的头像 发表于 04-24 17:00 380次阅读
    <b class='flag-5'>友</b><b class='flag-5'>思</b><b class='flag-5'>特</b>应用 | 稳步前行:基于FPGA 3D<b class='flag-5'>相机</b>实现轮胎定位检测应用

    新品 | 采集新势力:模块化视频采集与回放系统

    新品proFRAME重磅发布,是用于采集、回放和处理原始视频数据流的模块化解决方案,支持多种常见传输技术,广泛应用于汽车、医疗和工业等
    的头像 发表于 03-26 16:45 503次阅读
    <b class='flag-5'>友</b><b class='flag-5'>思</b><b class='flag-5'>特</b>新品 | 采集新势力:模块化视频采集与回放系统

    伙伴IDS来访!

    与展望。 诚挚来访 热情接待 2024年3月11日下午, 深度战略合作伙伴——国际领先机器视觉解决方案提供商 IDS  应邀到访我司。IDS国际销售总监Marian、亚太区域销售
    的头像 发表于 03-19 16:57 464次阅读
    <b class='flag-5'>友</b><b class='flag-5'>思</b><b class='flag-5'>特</b>伙伴IDS来访!

    分享 | 高精度彩色3D相机:开启崭新的彩色3D成像时代

    的深度信息是远远不够的。 颜色区分 或 机器学习 等高级图像处理技术需要其他基本数据,为满足这一要求,之前需要通过增加2D相机来实现。 全新紧凑型 VST Ensenso C
    的头像 发表于 01-11 09:57 419次阅读
    <b class='flag-5'>友</b><b class='flag-5'>思</b><b class='flag-5'>特</b>分享 | 高精度彩色3D<b class='flag-5'>相机</b>:开启崭新的彩色3D成像时代

    特案例 | 捕捉“五彩斑斓的黑”:锗基短波红外相机的多种成像应用

    BeyonSense 1短波红外相机,带您轻松捕捉人眼可见范围以外的"五彩斑斓的黑色",以丰富成像结果看见锗基短波红外相机在灵敏度与
    的头像 发表于 01-03 15:11 439次阅读
    <b class='flag-5'>友</b><b class='flag-5'>思</b>特案例 | 捕捉“五彩斑斓的黑”:锗基短波红外<b class='flag-5'>相机</b>的多种成像应用