0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

图像设计趋势:使用图像仿真设计相机

星星科技指导员 来源:synopsys 作者:synopsys 2023-05-24 15:45 次阅读

摄像头在日常生活中无处不在,从医疗诊断到汽车、智能手机视频监控。因此,今天的数据中有一半是图像和视频,其中大部分是在便携式系统的边缘生成的。与云相比,边缘带来了许多挑战:紧凑性、低功耗和延迟。如何在 2 小时内不耗尽电池的情况下从智能手机中获得出色的图像?自动驾驶系统如何在不需要大量云数据处理能力的情况下同时分析来自近十个摄像头的图像?实现下一代边缘和无处不在的相机将需要更新的工具箱。

在之前的一篇博客文章中,我回顾了数字孪生如何成为一项关键的使能技术,不仅适用于飞机或复杂的发电厂,也适用于成像系统。数字孪生将通过仿真促进优化的产品生命周期,实现更好的规格(避免超规格)、过程控制预测和早期软件开发。数字孪生还将促进定制的成像系统,例如并不总是开启的高效视频监控摄像头。

开发相机的团队提到的痛点包括规格变化、设计和制造之间的差异以及与多个组件的设计和组装相关的复杂性。在这篇博文中,我将回顾数字孪生如何通过图像仿真实现更好、更简化的成像系统规范和虚拟测试。

相机是一个复杂的系统

成像系统是一个多尺度、多物理场模型,具有多个相互依赖的组件。镜头组从场景中捕获光子;CMOS图像传感器将这些光子转换为电子;图像信号处理器芯片将原始电子信号转换为可读、彩色和去噪的数字图像;数字信号处理器计算数字图像以获取信息;I/O芯片将成像系统与一些外部组件连接。

最后,成像系统必须提供良好的图像。但是我们这是什么意思呢?大多数时候,好的图像仍然是指用数码单反相机拍摄的摄影质量图像。但是,如果将此标准应用于土壤监测、医疗诊断或自动驾驶的图像,则可能导致预期结果的过度规格或错误规格。

让我们看看成像系统架构师和团队如何使用 Synopsys 光学解决方案产品组合的图像仿真功能来渲染和优化成像系统中所需的图像。

工作流程和结果

如以下简化示例所述,使用 CODE V、LightTools 和 RSoft 光子器件工具模拟图像已经成为可能。该示例的特点是嵌入四镜头组的成像系统以及具有1.12微米RGB像素和微透镜阵列的CMOS传感器

wKgaomRtwJCAVkV8AAC77t2GLIU267.jpg

具有四镜头组和CMOS传感器的成像系统示例

1. 使用CODE V模拟来自镜头的图像设置光学属性

第一步是设计镜头组并生成相应的PSF。我们使用代码 V 中的图像模拟 (IMS) 功能来模拟图像。任何 2D 图像都可以导入到工具中。然后,定义要根据对象计算的 PSF 网格和 FFT 网格大小。您可以添加颜色、相对照明参数和图像传感器属性,例如像素大小和像素数。IMS将使用CODE V定义和计算的光学参数计算输入图像的卷积,并将输出结果图像。

然后可以在模拟图像上评估图像质量。镜头组的进一步优化可以为目标应用提供所需的图像质量。

2. 使用LightTools和RSoft光子器件工具模拟寄生光

大多数成像系统必须进一步优化,以避免寄生光并影响所需的图像质量。鬼影和耀斑是成像系统的典型寄生效应。您可以在我们简化的成像系统中使用 RSoft 光子器件工具和 LightTools 来预测鬼影和耀斑。由于传感器衍射和反射特性,我们希望预测系统中的寄生光。CMOS图像传感器通常是微米级像素的集合,可产生强烈的衍射图案。我们必须使用RSoft光子器件工具来获得该表面的光学特性。更具体地说,DiffractMOD RCWA是严格计算横向周期器件衍射特性的有效工具。它将输出每个衍射阶数的反射/透射功率、总反射/透射率、每个衍射阶数的振幅/相位/角度以及仿真域中的场分布。所有结果都存储在一个BSDF文件中,该文件可以导出到LightTools进行进一步的模拟。第三步是从 CODE V 导入镜头集几何形状,添加传感器属性,从 RSoft 导入 BSDF 文件,添加光源(下图中的太阳光源),并使用 LightTools 中的光线路径工具运行蒙特卡罗模拟以分析寄生光的所有可能路径。模拟结果将类似于右侧显示的图像。

wKgZomRtxEOAa207AAPewCGFrr4193.png

左侧:LightTools 相机型号;在右侧,传感器上看到的寄生光图。

3. 使用 COM API 将模拟图像与寄生光贴图组合 最后一步是使用 COM API

将来自 CODE V 的模拟图像与使用 LightTools 和 RSoft 计算的寄生光组合在一起。伽马和能量比可以在此卷积中进行调整。

使用模拟图像上的图像质量指标评估图像可以进一步优化系统,以实现适合目标应用的规格。通过 CODE V、LightTools 和 RSoft 光子器件工具对仿真图像进行虚拟测试是一种强大的工作流程,可避免过度指定成像系统,并通过仿真预测组装和测试阶段来节省时间。

审核编辑:郭婷

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 传感器
    +关注

    关注

    2545

    文章

    50411

    浏览量

    750784
  • 处理器
    +关注

    关注

    68

    文章

    19083

    浏览量

    228735
  • 芯片
    +关注

    关注

    452

    文章

    50150

    浏览量

    420509
收藏 人收藏

    评论

    相关推荐

    CCD图像传感器及其数字相机技术

    CCD图像传感器及其数字相机技术综述了CCD图像传感器的发展趋势、工作原理以及CCD数字照相机技术。关键词: CCD
    发表于 04-28 10:48

    怎么用Labview控制采集CCD相机图像并保存图像

    怎么用Labview控制采集CCD相机图像并保存图像
    发表于 06-22 22:51

    工业相机在高速抓拍图像中的应用

    `在工业机器视觉检测中,经常会有项目需要抓拍高速运动物体,而普通工业相机拍摄的图像会出现拉毛、模糊、变形等影响图像质量的问题,达不到客户项目需求,这时就需要高性能的工业相机来解决类似问
    发表于 11-18 10:11

    MAX中basler相机图像显示问题

    我在pylon viewer中可以看到相机图像,在max中可以看到相机型号,但就是看不到图像。是什么原因啊。我用的是labview2009.
    发表于 04-06 12:57

    labview 实时传输相机采集的图像

    我这有用TCP传输相机采集的图像分享给大家,其中图片转换用的是平化至字符串,但现在这个传输速度达不到我想要的速度,所以请教大家还有没有其他传输图像的方式,大家共享!我是用在相机采集
    发表于 11-12 09:38

    Vuforia Unity相机图像访问

    本文描述了两种方法获取QCAR相机在unity的图像。The Image class有两个选项获取摄像机图像从unity(没有增加)。一个是使用Image的类。这就像本地的版本。首先
    发表于 09-20 11:52

    学习图像采集入门篇—labview实现USB相机图像采集

    一、程序功能  1.通过选择相机实现电脑摄像头或CCD连续图像采集。 2.控制图像采集时间。  3.显示图像采集速率和程序运行时间。 4.给采集到的
    发表于 06-13 08:00

    Labview如何采集cameralink相机图像

    [hide][/hide]一直有小伙伴在问labviewnimax能看到并打开cameralink相机图像,但是在labview中无法检索到相机nimax中能采集图像labview罗列
    发表于 06-10 19:47

    CCD图像传感器及其数字相机技术

    CCD图像传感器及其数字相机技术 综述了CCD图像传感器的发展趋势、工作原理以及CCD数字照相机技术。关键词: CCD
    发表于 04-26 11:12 82次下载

    数码相机图像分辨率

    数码相机图像分辨率          
    发表于 12-18 14:40 745次阅读

    基于FPGA和MVD1024E相机图像采集系统

    基于FPGA和MVD1024E相机图像采集系统
    发表于 09-22 12:27 19次下载

    多光谱CCD相机图像采集系统的设计_李爱玲

    多光谱CCD相机图像采集系统的设计_李爱玲
    发表于 03-19 11:29 4次下载

    运动相机的多曝光图像融合技术

    由于相机和显示设备的动态范围远小于人眼可识别的动态范围,相机获取到的图像往往不能兼顾亮部细节与暗部细节。多曝光图像融合可以解决上述问题,但目前该方法大多基于
    发表于 11-11 15:21 8次下载
    运动<b class='flag-5'>相机</b>的多曝光<b class='flag-5'>图像</b>融合技术

    LabView相机采集图像指南

    本文主要介绍了LabView相机采集图像指南。
    发表于 06-05 09:00 100次下载

    工业相机拍摄的图像比较暗,如何增强图像亮度

    通过工业相机采集图像后,增强图像亮度的方法
    的头像 发表于 08-29 11:34 1817次阅读
    工业<b class='flag-5'>相机</b>拍摄的<b class='flag-5'>图像</b>比较暗,如何增强<b class='flag-5'>图像</b>亮度