0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Jacinto7处理器摄像头接入和ISP的处理能力

电子设计 来源:电子设计 作者:电子设计 2022-07-01 17:40 次阅读

ADAS的技术使驾乘体验更舒适、更安全、更智能TI JacintoTDA4VM&DRA829处理器是TI最新一代的处理器,以先进的高集成度和多核异构的高性能处理能力,展现了其灵活的处理能力和极具竞争力的成本,为ADAS技术实现提供了极具竞争力的平台。 在ADAS的应用中,摄像头作为感知模块,越来越多地摄像头被部署在应用中,感知能力的大小对应用来说至关重要,因此,本文将介绍Jacinto7处理器摄像头接入和ISP的处理能力。

Jacinto7 图像接入

Jacinto7 TDA4VM/DRA829摄像头接入子系统包含了2x MIPI CSI-2接口 和video processing front end(VPFE),可以支持多个摄像头的接入。

pYYBAGK9ViCAbItpAABBlgwNmhM578.png

图1 : TI Jacinto7摄像头接入子系统

对于MIPI-CSI2接口支持情况如下:

  • 2x MIPI D-PHY with 4 lanes (2.5Gbps/lane)
  • Supports 8 sensors with de-serializer Hubs
  • 2x Camera Adaptation Layer (CAL)

– Protocol stack for MIPI CSI2

– Supports all MIPI supported formats

  • RAW/DPCM/YUV
  • RAW 8, 10, 12, 14, 16 bits

– Companied or linear

  • Concurrent read of pixel stream from SDRAM

– Real-time priority on I/F port traffic

VPFE输入接口模块用于接收原始图像、视频数据、YUV等数字图像数据。VPFE支持的功能如下:

  • Support for conventional Bayer pattern and Foveon sensor formats.

– Generates HD/VD timing signals and field ID to an external timing generator or can synchronize to the external timing generator

– Support for progressive (non-interlaced) and interlaced sensors

– Support for up to 110-MHz sensor clock.

– Support for REC656/CCIR-656 standard (YCbCr 422 format, either 8- or 16-bit).

– Support for YCbCr 422 format, either 8- or 16-bit with discrete HSYNC and VSYNC signals.

– Support for up to 16-bit input.

因此,从图像接入来说,TDA4VM/DRA829 MIPI-CSI2的每个接口有10Gbps 的带宽,两个MIPI-CSI2有20Gbps的带宽,每个CSI2接口支持16个Virtual Channels,因此两个CSI2接口可以支持多达32路摄像头。EVM可以方便展示多达8路2M摄像头的接入。

Jacinto7 图像处理

Jacinto7集成了视觉预处理加速器Vision Pre-processing Accelerator(VPAC), 提供了常用的图像处理功能,比如颜色处理和增强、噪声过滤、宽动态(WDR)、镜头畸变矫正、图像金字塔、图像缩放等。基于TI 超过20年在数百万种产品中部署的多个Soc系统,TI发布了最新一代的成像系统,即德州仪器第七代ISP,并被集成在了Jacinto7 TDA4VM和DRA829处理器。

如图2 VPAC系统框图所示,由以下主要模块组成:

  • Video Imaging Subsystem (VISS)
  • Lens Distortion Correction (LDC)
  • Bilinear Noise Filter (BNF)
  • Multi-scaler (MSC)

poYBAGK9ViOAI49AAAA3LZK1XZQ678.png

图2 : TI Jacinto7 VPAC 系统框图

VISS(Video Imaging Subsystem)模块主要处理RAW数据并输出RGB或YUV图像。其包含RAW FE(Raw Front End)、NFS(Noise Filter)、GLBCE(Global and Local Brightness Contrast Enhancement)、FCP(Flex Color Processing)等模块。

LDC(Lens Distortion Correction)主要对图像进行畸变矫正。

MSC(Multi-Scalar)主要功能是对图像进行缩放。

BNF(Bilateral Noise Filtering)双边滤波去除噪声。

TDA4VM的VPAC的处理能力是720MP/s,因此理论上可以对24M RAW摄像头的数据进行处理。

Jacinto7 Use Cases

Jacinto7 的用户经常会问TDA4VM/DRA829能够接几个摄像头,有几个ISP,ISP能够处理几路摄像头的问题。 通常我们经常使用MIPI-CSI2接收图像,使用VPAC里面VISS对RAW图像进行处理。TDA4VM/DRA829处理器有两个CSI-2接口,一个ISP, ISP可以分时处理多路图像, 其吞吐量如下表所示:

IP

Max Throughput

CSI-2*2

10Gbits*2

VPAC

720 MP/s

当前的SDK中已经支持摄像头查看Release Notes(https://software-dl.ti.com/jacinto7/esd/processor-sdk-rtos-jacinto7/latest/exports/docs/imaging/imaging_release_notes.html#ImageSensor_Support)

PSDKRA Multi Camera Use Case 1

Jacinto7 SDK支持Multi Camera Use Case,其系统框图如图3所示,该Demo同时可以接入8个2MP@30FPS摄像头,摄像头先通过FPD LINK串化器UB953,然后通过同轴接入FPD LINK解串器UB960,最后通过TDA4VM MIPI-CSI2接口接入TDA4VM进行图像处理。

该Demo可以在EVM快速搭建,需要TDA4VM EVM、Fusion Board(摄像头接口板)和8个AR0233或IMAX390摄像头。

pYYBAGK9ViWAAQehAABMrmbK_u0323.png

图3 : TDA4VM Multi Camera Use Case 1

该Use Case的利用率如下8*2MP@30FPS(RAW12):

IP

Max Throughput

Utilization

Utilization(Percentage)

CSI-2 (Port1)

10 Gbits

2.88 Gbits

28.80%

CSI-2 (Port2)

10 Gbits

2.88 Gbits

28.80%

VPAC

720 MP/s

480MP/x

66.66%

PSDKRA Multi Camera Use Case 2

当前的ADAS应用中,有4个2MP@30FPS摄像头实现全景,1个8MP@30FPS实现前视,另外一个摄像头完成DMS或后视功能。一个前视摄像头其系统框图如图4所示:

  • 1*8MPpixel@30fps RAW12 Front Camera
  • 1*1MPpixel@60fps RAW12 Rear/DMS Camera
  • 4*2MPpixel@30fps RAW12 Surround View (SRV) Camera

poYBAGK9VieAGjYyAABHuLQnVMQ031.png

图4 : TDA4VM Multi Camera Use Case 2

该Use Case的利用率如下:

IP

Max Throughput

Utilization

Utilization(Percentage)

CSI-2 (Port1)

10 Gbits

3.6 Gbits

36%

CSI-2 (Port2)

10 Gbits

2.88 Gbits

28.80%

VPAC

720 MP/s

540MP/x

75%

PSDKRA Multi Camera Use Case 3

在Jacinto7里面如果超过8个摄像头应该怎么接呢?假如依旧使用TDA4VM CSI2的两个接口,如果是9个或9个以上的摄像头,需要如何接呢?FPD LINK有Cascading的功能,如下方案采用FPD LINK Cascading的功能,其系统框图如图6所示:

pYYBAGK9ViuAEeK5AABa-zhdJB0726.png

图6 : TDA4VM Multi Camera Use Case 3-2

IP

Max Throughput

Utilization

Utilization(Percentage)

CSI-2 (Port1)

10 Gbits

2.16 Gbits

21.6%

CSI-2 (Port2)

10 Gbits

2.88 Gbits

28.80%

VPAC

720 MP/s

420MP/x

60%

总结

摄像头的接入和处理能力对用户方案至关重要,因此,本文对Jacinto7 TDA4VM/DRA829处理的摄像头接入和处理能力进行了概述,并使用实际的Use Case 介绍了摄像头的接入和处理方案,用户可以根据实际应用需求对文中的方案进行修改。对于其它的Jacinto7的处理器,比如TDA4VL、TDA4AL、TDA4VMECO、TDA4VH、TDA4AH等处理器,本文也同样适用,需要注意的是不同处理器的CSI和VPAC带宽的不同,性能有所差异,因此需要根据带宽进行换算。

审核编辑:汤梓红
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 处理器
    +关注

    关注

    68

    文章

    19155

    浏览量

    229040
  • 摄像头
    +关注

    关注

    59

    文章

    4806

    浏览量

    95389
  • ISP
    ISP
    +关注

    关注

    6

    文章

    476

    浏览量

    51708
  • Jacinto
    +关注

    关注

    0

    文章

    10

    浏览量

    5982
收藏 人收藏

    评论

    相关推荐

    Jacinto™︎摄像头接入ISP处理详解

    处理器摄像头接入ISP处理能力。  Jacinto7
    的头像 发表于 05-17 16:05 1.7w次阅读
    <b class='flag-5'>Jacinto</b>™︎<b class='flag-5'>摄像头</b><b class='flag-5'>接入</b>与<b class='flag-5'>ISP</b><b class='flag-5'>处理</b>详解

    什么是酷睿i7处理器_i7处理器怎么样

    我们常用的电脑看到CPU一般有I3、I5、I7,那么什么是酷睿i7处理器,i7处理器怎么样?酷睿i7
    发表于 09-14 14:30 3w次阅读

    S3C6410处理器摄像头有何功能

    现在工司里有一个视频项目,有点像电子眼,但公司不是主要做这个的。我自己手上只有一个OK6410的开发板,这板子上只带有一个CMOS摄像头接口 ,S3C6410处理器摄像头支持ITU-BT601
    发表于 12-23 06:34

    请问RISC处理器和ARM7处理器的区别在哪

    请问RISC处理器和ARM7处理器的区别在哪?求大神解答
    发表于 06-30 17:51

    Sitara AM62处理器的资料分享

    的应用或工业环境中部署这些功能。利用具有成本效益的边缘AI,实现全新应用的智能化AM62处理器通过启用基于摄像头的基础图像处理和边缘AI功能(如检测和识别对象),可实现 HMI 器件的低成本
    发表于 11-03 06:11

    Jacinto7处理器摄像头接入ISP处理能力

    Jacinto7处理器摄像头接入ISP处理能力
    发表于 11-03 06:05

    苹果a6处理器怎么样_a6处理器参数

    苹果正式发布iphone5,iphone5采用A6处理器,那么A6处理器怎么样?a6处理器参数是什么呢?a6处理器四核的吗?带着这些疑问,我们来一起了解下A6
    发表于 09-13 14:29 2.6w次阅读

    魅族Note9搭载高通最新的6150处理器,用上了4800万像素的摄像头

    有煤油(魅族粉丝的俗称)将该爆料发到魅族论坛,询问黄章(魅族老大)是否属实,结果得到了黄章的确认,黄章称这款新机的名字叫做(魅族)Note9,搭载高通最新的6150处理器(产品宣传名为高通骁龙675处理器),安兔兔跑分超过了17万,还在优化中,用上了4800万像素的
    的头像 发表于 01-09 18:04 7111次阅读

    阿里达摩院自研ISP处理器,可用于车载摄像头

    4月8日,阿里达摩院宣布自主研发出用于车载摄像头ISP处理器,保障自动驾驶车辆在夜间拥有更好的“视力”,“看”得更清晰,从而大幅提升自动驾驶安全性。这款ISP
    的头像 发表于 04-08 14:08 4349次阅读

    麒麟9000处理器和高通骁龙875处理器相比如何?

    随着华为mate10系列的发布,华为最后一代旗舰处理器,麒麟9000也就此亮相,大家对于麒麟9000处理器十分的看好。因为麒麟9000处理器在安兔兔的跑分竟然高达72万分,较上一代麒麟990
    的头像 发表于 11-03 11:31 5870次阅读

    用于Sitara处理器的并行摄像头接口

    电子发烧友网站提供《用于Sitara处理器的并行摄像头接口.zip》资料免费下载
    发表于 09-05 14:50 1次下载
    用于Sitara<b class='flag-5'>处理器</b>的并行<b class='flag-5'>摄像头</b>接口

    Jacinto™︎摄像头接入ISP处理

    Jacinto™︎摄像头接入ISP处理
    发表于 10-28 11:59 0次下载
    <b class='flag-5'>Jacinto</b>™︎<b class='flag-5'>摄像头</b><b class='flag-5'>接入</b>与<b class='flag-5'>ISP</b><b class='flag-5'>处理</b>

    Jacinto摄像头接入ISP处理

    能力和极具竞争力的成本,为ADAS技术实现提供了极具竞争力的平台。 在ADAS的应用中,摄像头作为感知模块,越来越多地摄像头被部署在应用中,感知能力的大小对应用来说至关重要,因此,本文
    的头像 发表于 03-15 10:43 1549次阅读
    <b class='flag-5'>Jacinto</b><b class='flag-5'>摄像头</b><b class='flag-5'>接入</b>与<b class='flag-5'>ISP</b><b class='flag-5'>处理</b>

    Jacinto7 DDRSS寄存配置工具

    电子发烧友网站提供《Jacinto7 DDRSS寄存配置工具.pdf》资料免费下载
    发表于 08-27 10:11 0次下载
    <b class='flag-5'>Jacinto7</b> DDRSS寄存<b class='flag-5'>器</b>配置工具

    Jacinto 7摄像头捕捉和成像子系统

    电子发烧友网站提供《Jacinto 7摄像头捕捉和成像子系统.pdf》资料免费下载
    发表于 08-28 10:48 0次下载
    <b class='flag-5'>Jacinto</b> <b class='flag-5'>7</b><b class='flag-5'>摄像头</b>捕捉和成像子系统