0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

求一种基于FPGA原型验证系统的图像处理解决方案

jf_5P3RKFtu 来源:亚科鸿禹 2023-03-17 09:29 次阅读

视觉是人类最高级别的感知,以视频、图像等形式为信息载体可以创造出丰富多彩的应用。视觉信息处理技术的实现和发展极大改变了现代社会的生产活动:智能设备的拍照和视频、医学成像、人脸识别、科学可视化、行车记录、安防监控、国防探测、太空探索等前沿领域无不渗透着视觉信息处理技术,视觉信息处理已无处不在,并形成庞大的上下游产业。

随着算法水平不断进步和计算机处理能力以及存储能力的提升,再加上市场日益增长的消费应用升级的推动,从真实世界中得到的视觉信息数据通过ADC采集、再到数字化的算法处理分析、再经过DAC的转换输出技术,已经发展到相当复杂的水平,其中图像传感器采集数据的像素不断提升,图像信号处理器能够实现自动对焦、自动曝光、坏点去除、镜头阴影矫正、去马赛克、颜色矫正、伽马矫正、降噪、数据的压缩和存储等各种功能,满足更前沿的应用场景使得当前图像处理设计需要支持复杂多样的功能,同时当前数字图像处理的应用越来越趋向于小型化SoC系统以适应移动互联网的蓬勃发展,实现多重功能和高集成度需求使得当前的SoC设计复杂度指数级提升,同时对设计的仿真验证提出了更高要求,不仅需要对图形处理设计模块进行大量测试验证,还需要对目标SoC进行充分的评估和验证。

亚科鸿禹VeriTiger原型验证系统

图像处理解决方案

图像处理是最直观可视的应用功能实现,FPGA原型验证系统利用真实的传感设备和输出显示设备提供直观可视的DUT执行结果展现,是最适合进行图像处理设计功能验证的手段。亚科鸿禹VeriTiger原型验证系统为各类图像处理设计提供高性能原型验证解决方案。

22b9b508-c430-11ed-bfe3-dac502259ad0.png

VeriTiger图像处理原型验证解决方案整体框架

VeriTiger原型验证系统图像处理解决方案的硬件环境由VeriTiger原型验证母板、配套功能子卡、采集摄像头、输出显示器、数据传输连接线组成,通过子卡提供真实的外设来构建设计原型,进行功能验证并提供深度调试。配合我司自研软件ProtoWizard可以进行时钟电压的配置,bit文件的烧录以及统一的子卡管理。

23a98b5a-c430-11ed-bfe3-dac502259ad0.png

为应对不同的视觉信息处理场景,图像处理SoC设计会选用各种类型的接口协议以满足对采集像素、传输速度、集成度等的不同需求。DP、HDMI、MIPI是当前最为常见的多媒体处理接口类型,亚科鸿禹基于VeriTiger原型验证平台,提供成熟的DP、HDMI、MIPI子卡硬件以及工程方案。在SoC原型验证过程中,采用VeriTiger原型验证平台和相关子卡组成完整的验证解决方案,进行SoC相关场景接口的验证,可极大缩短原型验证平台的搭建时间,提升验证效率,从而进一步缩短SoC的开发时间。

01

“DP外设验证需求” 解决方案:

通过亚科鸿禹自研的HSMGT-DSIP、HSPI2-GPIO等子卡完成原型环境创建,启动工程验证。HSMGT-DSIP为DISPLAY输入输出子卡,该方案支持Xilinx原生的DISPLAY协议,通过调用Xilinx提供的DisplayPort 1.4 RX Subsystem和DisplayPort 1.4 TX Subsystem IP,选择本地或AXI4-Stream视频输入接口,支持MST和SST输出。其中包含一个专用输入DP接口和一个专用输出DP接口,一组GPIO。使用时可单独开发DP的TX发送端或RX接收端功能;RX端可将HPD、AUX等信号抓取,针对调试DP握手时遇到的问题提供更多的解决思路。

TX工程整体结构如下图:

23ddd694-c430-11ed-bfe3-dac502259ad0.png

视频数据由Stream Pattern Generator产生,通过CRC校验后传输给TX Subsystem,经过处理后给到Video PHY Controller,最后通过DP Mainlink输出。

RX工程整体结构如下图:

23ecef12-c430-11ed-bfe3-dac502259ad0.png

数据由DP Mainlink进入,经过Video PHY Controller处理后给到RX Subsystem,随后进行EDID等数据的确认,建立握手后数据经过CRC校验,给到ILA。

方案适用于验证:

大型视频处理系统中串行数字视频数据接收和发送的插件设计。

02

“HDMI外设验证需求” 解决方案:

通过亚科鸿禹自研的HSMGT-HD20等子卡完成原型环境创建,启动工程验证。HSMGT-HD20子卡为HDMI2.0输入输出子卡。该方案通过调用Xilinx提供的HDMI Transmitter/Receiver Subsystem IP,从PHY层接收捕获的TMDS数据,然后从HDMI流中提取视频和音频流,并将其转换为视频和音频流,以便进行视频、音频的处理,随后由HDMI Transmitter Subsystem将处理好的视频和音频流传输到HDMI流,从而完成视频流的传输,可选择AXI4-Stream、Native Video作为HDMI 1.4/2.0子系统的视频接口。该子卡包含一个专用输入HDMI接口和一个专用输出HDMI接口,一个时钟芯片,一个显示端口定时器。该子卡输出为TI的PHY,输入直接接到了FPGA的MGT通道。使用时可以单独开发HDMI的TX或者RX功能;TX端挂载了显示端口重定时器,支持高达6Gbps的数据速率。搭配时钟芯片,可满足不同分辨率输出下所需求的时钟速率。

下图为该工程整体结构:

2410c216-c430-11ed-bfe3-dac502259ad0.png

工程支持两种工作方式:

1. Passthrough工作模式。

该模式下,视频数据通过Source端给入HDMI RX Subsystem,经过处理后由HDMI TX Subsystem输出到Sink端,完成视频数据的接收和发送。

2. TX工作模式。

该模式下,视频数据由MicroBlaze产生,经过处理后通过HDMI TX Subsystem输出到Sink端。

方案适用于验证:

HDMI视频系统中HDMI接收和发送的插件设计。

03

“MIPI(Mobile Industry

Processor Interface)

外设验证需求”解决方案:

MIPI移动产业处理器接口(Mobile Industry Processorinterface)是为移动应用处理器制定的开放标准。现代移动应用设备由于高分辨率的要求,现在基本上都是基于MIPI协议来实现的。方案通过亚科鸿禹自研的HSPI2-MIPI等子卡完成原型环境创建,启动工程验证。HSPI2-MIPI子卡为MIPI摄像头子板,用于视频接收。该方案采用MIPI CSI-2 RX Subsystem IP,该子系统从MIPI CSI-2摄像机传感器捕获图像,并输出AXI4- Stream视频数据,以便进行图像处理。该子系统允许快速选择顶级参数,并自动完成大部分较低级别参数化,AXI4-Stream视频接口允许与其他基于AXI4-Stream的子系统无缝连接。该子卡包含两路MIPI微型接头,支持ov9281,ov9280;两路FPC接口,支持ov5640;支持三路MMCX差分对。两种不同的摄像头接口,为客户提供了不同的选择。

工程整体结构:

243be91e-c430-11ed-bfe3-dac502259ad0.png

数据通过Sensor采集后给到 MIPI CSI-2 RX Subsystem,经过Sensor Demosaic,将拜尔图像传感器捕获的图像还原出符合色彩显示设备的真实世界色彩后给到VDMA,VDMA将视频数据缓存并输出。输出视频数据格式支持AXI-Stream和MIPI PHY形式。

方案适用于验证:

高集成度、高传输速率要求的移动设备图像处理设计。






审核编辑:刘清

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • FPGA
    +关注

    关注

    1625

    文章

    21640

    浏览量

    601375
  • 图像传感器
    +关注

    关注

    68

    文章

    1873

    浏览量

    129410
  • 图像处理
    +关注

    关注

    27

    文章

    1279

    浏览量

    56592
  • dac
    dac
    +关注

    关注

    43

    文章

    2265

    浏览量

    190774
  • ADC采集系统
    +关注

    关注

    0

    文章

    4

    浏览量

    1939

原文标题:基于FPGA原型验证系统的图像处理解决方案

文章出处:【微信号:于博士Jacky,微信公众号:于博士Jacky】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    解决方案丨EasyGo新能源系统实时仿真应用

    。二、新能源实时仿真技术新能源实时仿真技术作为一种高效、低成本的研发手段,已经成为新能源技术发展的重要支撑。新能源实时仿真解决方案可以帮助设计者更好地了解新能源产品和系统的性能和特性,提高开发效率,并
    发表于 10-18 09:37

    FPGA图像处理领域的优势有哪些?

    成为图像处理领域的一种重要技术,并在许多应用场景中得到了广泛的应用。随着FPGA技术的不断发展,相信在未来的图像
    发表于 10-09 14:36

    快速部署原型验证:从子卡到调试的全方位优化

    引言原型验证一种FPGA平台上验证芯片设计的过程,通过在FPGA上实现芯片的设计
    的头像 发表于 09-30 08:04 536次阅读
    快速部署<b class='flag-5'>原型</b><b class='flag-5'>验证</b>:从子卡到调试的全方位优化

    FPGA算法工程师、逻辑工程师、原型验证工程师有什么区别?

    逻辑工程师和 FPGA 原型验证工程师在工作重点和职责上存在定的区别: FPGA 算法工程师: 主要关注算法的设计和优化,以在
    发表于 09-23 18:26

    基于FPGA的人脸识别技术

    基于FPGA(现场可编程逻辑门阵列)的人脸识别技术,是一种结合了高效并行处理能力和灵活可编程性的先进图像处理解决方案。这种技术在安全监控、身
    的头像 发表于 07-17 11:42 1255次阅读

    FPGA设计经验之图像处理

    处理窗口 对资源影响成倍增加 基于FPGA设计框架举例: 1、灰度直方图统计 直方图是图像的灰度分布统计的一种表示方法,统计目标图像
    发表于 06-12 16:26

    大规模 SoC 原型验证面临哪些技术挑战?

    引言随着电子设计自动化(EDA)验证工具的重要性日益增加,开发者们开始寻求减少流片成本和缩短开发周期的方法。其中,使用可编程逻辑芯片(FPGA)来构建有效的验证流程成为一种流行的
    的头像 发表于 06-06 08:23 1084次阅读
    大规模 SoC <b class='flag-5'>原型</b><b class='flag-5'>验证</b>面临哪些技术挑战?

    基于FPGA的实时边缘检测系统设计,Sobel图像边缘检测,FPGA图像处理

    摘要 :本文设计了一种 基于 FPGA 的实时边缘检测系统 ,使用OV5640 摄像头模块获取实时的视频图像数据,提取图像边缘信息并通过 V
    发表于 05-24 07:45

    fpga原型验证平台与硬件仿真器的区别

    FPGA原型验证平台与硬件仿真器在芯片设计和验证过程中各自发挥着独特的作用,它们之间存在明显的区别。
    的头像 发表于 03-15 15:07 1016次阅读

    fpga原型验证流程

    FPGA原型验证流程是确保FPGA(现场可编程门阵列)设计正确性和功能性的关键步骤。它涵盖了从设计实现到功能验证的整个过程,是
    的头像 发表于 03-15 15:05 1422次阅读

    FPGA与AISC的差异

    ASIC的验证和调试需要更复杂的工具和技术。 应用领域 :FPGA广泛应用于原型验证、信号处理图像
    发表于 02-22 09:54

    原型平台是做什么的?proFPGA验证环境介绍

    proFPGA是mentor的FPGA原型验证平台,当然mentor被西门子收购之后,现在叫西门子EDA。
    的头像 发表于 01-22 09:21 1292次阅读
    <b class='flag-5'>原型</b>平台是做什么的?pro<b class='flag-5'>FPGA</b><b class='flag-5'>验证</b>环境介绍

    什么是FPGA原型验证FPGA原型设计的好处是什么?

    FPGA原型设计是一种成熟的技术,用于通过将RTL移植到现场可编程门阵列(FPGA)来验证专门应用的集成电路(ASIC),专用标准产品(AS
    发表于 01-12 16:13 1105次阅读

    FPGA图像处理方法

    图像在采集和传输的过程中,通常会产生噪声,使图像质量降低,影响后续处理。因此须对图像进行图像
    的头像 发表于 12-02 13:15 1038次阅读

    FPGA的电源管理解决方案

    电子发烧友网站提供《FPGA的电源管理解决方案.pdf》资料免费下载
    发表于 11-24 14:42 0次下载
    <b class='flag-5'>FPGA</b>的电源管<b class='flag-5'>理解决方案</b>