0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

基于FPGA的摄像机传感器接口

FPGA设计论坛 来源:未知 2023-09-19 11:55 次阅读
wKgZomULueaAWnoEAAAAuFYhST8606.png

点击上方蓝字关注我们

图像传感器可以说是在数字视频或静止相机中视频或静止图像处理流水线的最重要部分。如果没有传感器,就没有图像信号可进行处理。众所周知传感器是非标准化的。在采用的方案中,它们有以下的不同之处:

转换可见光或红外光为电信号的方式;尤其是在该信号离开这块芯片之前,对这个信号采用的编码和压缩(有时)的方式。

对传感器内部的寄存器进行编程的方式,以调整增益、曝光时间、传感器模式(如线性、HDR),传感器图像坐标等。

实现特殊功能的方式,如高(或宽)动态范围(HDR/WDR);例如通过在同一封装中的多个传感器,对于同一图像帧多次曝光等。

这些传感器厂商采用的接口,以使这些电子图像信号离开传感器,并进入下游的处理逻辑。

FPGA提供一个具成本效益的,尺寸非常小的可编程逻辑平台,可以轻松地将信号从不同的图像传感器接口转换到数字信号,以供下游的逻辑进行处理。FPGA提供具有成本效益的可编程机制,以适应各种信号编码方案、寄存器管理方案和传感器接口,从而为不同类型的传感器提供可编程支持。

图像传感器技术

根据用于将可见光转换成电信号的基本技术,图像传感器可分为两大类。它们是CCD(电荷耦合器件)传感器和CMOS(互补金属氧化物半导体)传感器。到目前为止,出货量最多的图像传感器是CMOS传感器。本文只关注CMOS传感器接口。

在视频处理链中典型的图像传感器的应用如图1所示。

wKgZomULueaAcrQOAAAfc84d2wY325.jpg

如今有几个著名的图像传感器制造商,它们是Aptina、OmniVision Technologies、索尼、三星松下东芝和Altasens。

如前所述,传感器制造商配置了一系列接口,用于将离开其芯片的图像信号传至下游逻辑进行处理。非常普遍的是,同一传感器制造商根据需要从芯片中提取的数据量使用不同的接口。例如,具有兆像素分辨率的现代传感器需要在给定的周期时间传出比仅具有VGA级分辨率的传感器多得多的数据。像高动态范围(HDR)这样的要求还增加了数据量,需要从每个图像帧的图像传感器读取数据,而为支持平滑、低延迟高品质的视频,需要在给定的时间内从传感器芯片提取帧数,这也影响了传感器接口的选择。

图像传感器接口的演进

到目前为止,所有传感器都可连接到并行LVCMOS接口,如图2所示。传感器分辨率和帧速率已经提高到一个水平,此时以前的主流CMOS并行接口已不能处理所要求的带宽。

wKgZomULueaAEcvsAAAoQ6xrZbo214.jpg

由于兆像素传感器的问世,对更高速度的需求激增,HDR和对支持更高帧速率、新型、更高速度传感器的需求正使用不同的接口来克服并行LVCMOS的局限性。例如,索尼和松下使用并行的子LVDS接口,OmniVision使用MIPI或串行LVDS。另一个例子是,为支持更高带宽的需求,Aptina Imaging已经推出了称为HiSPi(高速串行像素接口)的高速串行接口。HiSPi接口可以工作在1-4个串行数据通道,加上1个时钟通道。每个信号是子LVDS差分信号,以 0.9V的共模电压为中心。每个通道可以运行在高达700Mbps下。

HiSPi与并行传感器接口桥接的需求

多个传感器接口给标准化下游视频处理逻辑的制造商提出了一个问题,因为用一个ASSP支持许多不同的传感器接口非常困难。

大多数ISP(图像信号处理)器件支持传统的CMOS并行传感器接口,但通常缺乏对高速串行接口的支持。很多ISP并行接口的运行速度远远超过了传感器的并行接口。但是,由于传感器已迁移到不同串行接口,ISP器件需要逻辑以转换到并行接口。因此FPGA桥接器件需要将高速串行数据转换到并行格式。对于视频信号处理ASSP的制造商(他们拥有支持更快的并行CMOS传感器接口的现成产品),FPGA解决了连接至高速串行传感器的问题。FPGA提供在高速传感器和传统图像信号处理ASSP之间的简单、具有成本效益的可编程桥接。这个概念如图3所示。

wKgZomULueaAdTgPAAApMR5ZTTQ614.jpg

基于FPGA的串行传感器桥接参考设计示例

一个实际例子是,针对Aptina Imaging的HiSPi串行接口至TI DSP并行接口的桥接,LatticeXP2-5非易失性FPGA提供了高效、具有成本效益的解决方案,如图4所示。

wKgZomULueaAQkrzAAAwWXOG8E0718.jpg

该参考设计在输入端用HiSPi串行接口,在输出端用TI TMS320DM3X5连接至Aptina传感器。评估硬件已测试了Aptina的A-1000传感器MT9M034/MTM024和MT9J003。该参考设计支持分组(Packetized)和Streaming SP HiSPi格式:1-4通道运行速度高达每通道700Mbps。它还模拟并行传感器输出,输出总线宽度为8、10、12、14或16位。并行接口可配置为1.8V、2.5V或3.3V LVCMOS电平。参考设计的模块图如图5所示。

wKgZomULueeAHtaMAAA38BSazt8901.jpg

FPGA在传感器接口桥接上的挑战

可编程逻辑作为图像传感器和ASSP之间的桥接面临三个方面的挑战。首先,FPGA必须为接口信号提供电信号支持。第二,FPGA的I/O必须有足够的gearing逻辑来支持快速串行传感器接口。第三,FPGA必须提供符合成本效益的非常小的外形尺寸,以适应现代摄像机对于紧凑外形的要求。

具有完备子LVDS文档支持的LatticeXP2非易失FPGA系列已被证实解决了图像传感器桥接的电气需求。集成PLL、专用时钟沿和I/O gearing逻辑解决了高速串行传感器接口。最后,莱迪思半导体(Lattice)的 XP2提供了具有成本效益的8×8mm面积。此外,由于其非易失的特性,LatticeXP2系列器件无需外部引导PROM,从而进一步节省了电路板空间,这使得他们成为传感器接口的具有吸引力的可编程逻辑平台。图像信号处理(ISP)IP的可用性也使更大型的LatticeXP2器件可提供各种功能,如传感器数据线性化、传感器寄存器编程、去Bayering、有缺陷的像素校正、伽玛校正和每个色通道高达24位的简单HDR。

wKgZomULueeAPHuMAAAJM7aZU1A702.png

有你想看的精彩 至芯科技FPGA就业培训班——助你步入成功之路、9月23号北京中心开课、欢迎咨询! C语言算法如何移植到FPGA 基于千兆网的FPGA多通道数据采集系统设计

wKgZomULueeAMEWMAABUdafP6GM527.jpg

扫码加微信邀请您加入FPGA学习交流群

wKgZomULueeAGagAAABiq3a-ogY101.jpgwKgZomULueeAby2lAAACXWrmhKE435.png

欢迎加入至芯科技FPGA微信学习交流群,这里有一群优秀的FPGA工程师、学生、老师、这里FPGA技术交流学习氛围浓厚、相互分享、相互帮助、叫上小伙伴一起加入吧!

点个在看你最好看

wKgZomULueiAUgVgAAABVtvjyFk457.png


原文标题:基于FPGA的摄像机传感器接口

文章出处:【微信公众号:FPGA设计论坛】欢迎添加关注!文章转载请注明出处。


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • FPGA
    +关注

    关注

    1626

    文章

    21665

    浏览量

    601802

原文标题:基于FPGA的摄像机传感器接口

文章出处:【微信号:gh_9d70b445f494,微信公众号:FPGA设计论坛】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    AI图像识别摄像机

    随着科技的迅猛发展,人工智能(AI)在各个领域的应用越来越广泛,其中图像识别技术尤为引人注目。AI图像识别摄像机作为这一技术的重要应用之一,正在逐步改变我们的生活和工作方式。什么是AI图像识别摄像机
    的头像 发表于 11-08 10:38 158次阅读
    AI图像识别<b class='flag-5'>摄像机</b>

    MS41908M——网络摄像机·监控摄像机用镜头驱动芯片

    用于摄像机用镜头聚焦、变倍、自动光圈驱动,提供FAE支持
    的头像 发表于 10-19 17:00 285次阅读
    MS41908M——网络<b class='flag-5'>摄像机</b>·监控<b class='flag-5'>摄像机</b>用镜头驱动芯片

    无人机“智慧之眼”:光电吊舱摄像机的全面解析

    、监测与拍摄能力带来了质的飞跃。 一、光电吊舱摄像机的定义与组成 光电吊舱摄像机是一种集成了多种光电传感器设备的综合探测系统,通常包括可见光摄像机、红外热像仪、激光测距仪等多种
    的头像 发表于 09-10 15:38 903次阅读
    无人机“智慧之眼”:光电吊舱<b class='flag-5'>摄像机</b>的全面解析

    防跌倒识别摄像机

    防跌倒识别摄像机是一种结合了人工智能技术和监控摄像技术的先进设备,旨在通过实时监测和分析监控画面中的行为动作,及时发现并预防跌倒事件的发生。这种摄像机在医疗、养老院、家庭等场所有着广泛的应用前景。防
    的头像 发表于 09-09 10:52 360次阅读
    防跌倒识别<b class='flag-5'>摄像机</b>

    深入解析CMOS传感器在监控摄像机中的应用

    (Complementary Metal-Oxide-Semiconductor)传感器作为监控摄像机的“眼睛”,其重要性不言而喻。 本文将深入探讨CMOS传感器在监控摄像机中的作用原
    的头像 发表于 09-02 15:05 405次阅读

    多光谱火焰智能监测摄像机

    和响应速度。技术原理与功能特点多光谱火焰智能监测摄像机通过多波段光学传感器捕捉不同波长的光谱信息。这种技术使摄像机能够区分火焰独特的辐射特征,从而精确识别火灾并减少误报
    的头像 发表于 07-25 10:21 279次阅读
    多光谱火焰智能监测<b class='flag-5'>摄像机</b>

    通道堵塞自动识别摄像机

    体验和商场营运提供了新的解决方案。传统的通道管理方式通常依赖于人工巡查或固定传感器,存在监测盲区和误报率较高的问题。而引入自动识别摄像机后,这些问题得到了有效解决。摄
    的头像 发表于 06-05 10:54 296次阅读
    通道堵塞自动识别<b class='flag-5'>摄像机</b>

    水位自动监测预警摄像机

    相关部门及时采取措施,从而最大限度地减少水灾风险。水位自动监测预警摄像机通过摄像头和传感器实现水位的实时监测。摄像头能够捕捉到水体的实时情况,能够感知水位的变化。当
    的头像 发表于 05-23 09:52 578次阅读
    水位自动监测预警<b class='flag-5'>摄像机</b>

    客流量监测识别摄像机

    客流量监测识别摄像机是一种在商场、车站、机场等公共场所广泛应用的监测设备。通过视频监控和智能识别技术,这种摄像机可以实时监测客流量,准确统计出入人数,并进行分析和预测,为管理者提供重要的数据支持
    的头像 发表于 05-17 10:37 376次阅读
    客流量监测识别<b class='flag-5'>摄像机</b>

    基坑监测识别摄像机

    基坑是建筑施工中的一个重要环节,它对整个建筑工程的安全和稳定性起着至关重要的作用。为了监测基坑的状态和确保施工的安全进行,基坑监测识别摄像机被广泛应用于建筑工程中。这种摄像机可以实时监测基坑施工
    的头像 发表于 05-16 10:18 285次阅读
    基坑监测识别<b class='flag-5'>摄像机</b>

    TIDA-010083-适用于机器视觉摄像机和视觉传感器的高密度隔离式PoE 和 GigE PCB layout 设计

    电子发烧友网站提供《TIDA-010083-适用于机器视觉摄像机和视觉传感器的高密度隔离式PoE 和 GigE PCB layout 设计.pdf》资料免费下载
    发表于 05-15 11:29 1次下载
    TIDA-010083-适用于机器视觉<b class='flag-5'>摄像机</b>和视觉<b class='flag-5'>传感器</b>的高密度隔离式PoE 和 GigE  PCB layout 设计

    图像传感器常见参数解读

    摄像机,这种摄像机被用在类似于生物学或显微镜学等领域,整合了光学器件和颜色过滤器的图像传感器的常用排列如下
    的头像 发表于 02-23 18:25 1455次阅读
    图像<b class='flag-5'>传感器</b>常见参数解读

    船只监测识别摄像机

    船只识别监测摄像机是一种用于监测和识别船只的设备,它通过视频图像识别技术和智能算法来实现对船只的实时监测和识别。这种摄像机通常安装在海洋监测平台、港口码头、海岸线、湖泊、河道等位置,用于实现对船只
    的头像 发表于 12-18 11:43 559次阅读
    船只监测识别<b class='flag-5'>摄像机</b>

    松下AW-UE160摄像机搭载的一英寸MOS传感器

    松下4K一体化摄像机AW-UE160摄像机搭载了全新的一英寸MOS传感器
    的头像 发表于 12-04 17:36 1147次阅读
    松下AW-UE160<b class='flag-5'>摄像机</b>搭载的一英寸MOS<b class='flag-5'>传感器</b>

    为什么PoE分离容易烧坏网络摄像机

    为什么PoE分离容易烧坏网络摄像机?为什么部分分离只能和特定的PSE供电设备搭配使用? PoE分离容易烧坏网络摄像机的原因有多个。 首
    的头像 发表于 11-28 15:33 3729次阅读