0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

BidNet:在双目图像上完成去雾操作,不用视差估计

电子设计 来源:电子设计 作者:电子设计 2020-12-10 15:19 次阅读
作者:SFXiang
首发:AI算法修炼营

本文是收录于CVPR2020的工作,我是被双目图像去雾的题目所吸引的,其实整个工作的创新性不高,但是可以从中学到数据集的制作,图像去雾等基本知识。整体上,也可以看作视觉注意力机制的又一应用。

论文地址:
http://openaccess.thecvf.com/.../_CVPR/_2020/papers/Pang/_BidNet/_Binocular/_Image/_Dehazing/_Without/_Explicit/_Disparity/_Estimation/_CVPR/_2020/_paper.pdf

严重的雾度会导致图像质量严重下降,从而影响视觉感知、目标检测等性能。通常,去雾化的双目图像在像3D目标检测等立体视觉任务上的表现要优于雾度较高的图像,并且图像雾度是一个与深度有关的函数。在这些基础上,本文提出了一种双目图像去雾网络(BidNet),旨在利用深度学习框架的对双目左右图像进行去雾。

现有的双目除雾方法依赖于同时除雾和估计视差,而BidNet不需要明确执行耗时长、具有挑战性的视差估计任务。但是,由于视差的小误差会引起深度变化和无雾图像估计的大变化,BidNet网络中所提出的立体变换模块(STM)编码了双目图像之间的关系和相关性。 同时,对双目图像中的左右图像同时进行除雾是互利的,这比仅对左图像除雾要好。最后,作者将Foggy Cityscapes数据集扩展为具有双目有雾图像对的Stereo Foggy Cityscapes数据集。实验结果表明,在主观和客观评估中,BidNet均明显优于最新的除雾方法。

简介

计算机视觉领域,通常使用雾天图像退化模型来描述雾霾等恶劣天气条件对图像造成的影响,该模型是McCartney首先提出。该模型包括衰减模型和环境光模型两部分。模型表达式为:

其中,是图像像素的空间坐标,是观察到的有雾图像,是待恢复的无雾图像,表示大气散射系数,代表景物深度,是全局大气光,通常情况下假设为全局常量,与空间坐标无关。

公式(1)中的表示坐标空间处的透射率,使用来表示透射率,于是得到公式(2):

由此可见,图像去雾过程就是根据求解的过程。要求解出,还需要根据求解出透射率和全局大气光。

实际上,所有基于雾天退化模型的去雾算法就是是根据已知的有雾图像求解出透射率和全局大气光

根据上述等式可知,图像雾度是深度的函数。双目图像的相关性可以帮助预测深度,这表明双目图像对于除雾任务是有益的。为了克服雾度造成的双目图像退化,直接和分别在左雾图像和右雾图像上应用单个图像去雾方法不能获得令人满意的结果,尤其是对于重雾度,因为这种方法没有利用双目图像。

现有的双目图像去雾方法依赖于同时执行去雾和视差估计。然而,这种方法有三个缺点:(1)对于给定的微小视差误差,深度误差会随着视差的增加而增加。因为估计透射图对去雾图像是必需的,并且透射图是深度的指数函数,误差不均也导致在估计透射图时出现较大误差,并妨碍了无雾度图像。(2)最新的基于学习的视差估计方法很耗时,因为它们必须应用3D卷积,计算量大。(3)这些方法仅输出左去雾图像,而不是双目去雾图像对。在本文中,提出了一种新颖的基于深度学习的双目图像去雾网络(BidNet),该网络能够利用左右图像中包含的协作信息,而无需明确执行耗时且具有挑战性的视差估计环节。

图1.使用提出的BibNet样本图像去雾结果。左上:输入左雾图像。左下:输入右雾图像。右上:去雾左图像。右下:去雾右图像

对于基于深度学习的双目图像去雾任务,没有包含双目雾图像的特定数据集。通过将雾添加到Cityscapes数据集中来创建Foggy Cityscapes数据集。本文将Foggy Cityscapes数据集扩展到Stereo Foggy Cityscapes数据集,该数据集由双目有雾图像对组成。关键是利用视差和给定的摄像机参数来计算摄像机与左场景之间的距离以及摄像机与右场景之间的距离。在这个过程中,应用了complete pipeline ,它使用不完整的深度信息将合成雾添加到真实,晴朗的天气图像中。

主要贡献:

(1)提出了一种新颖的双目图像去雾框架,称为BidNet,该框架能够利用左右图像之间的相关性对双目图像对进行除雾,而无需估计视差, 它可以避免由不精确的视差估计引起的大误差。

(2)受non-local网络的启发,提出了一种简单而有效的机制并将其嵌入BidNet中,通过该机制将右图像特征图中的有用信息引入左图像特征图中。 具体是通过计算立体horizontal non-local相关矩阵并将该矩阵与右图像的特征图相乘来实现的。嵌入的过程是有效的,因为相关矩阵的大小比传统的non-local网络小一阶。类似地,可以将左图像的特征图的有用信息嵌入到右图像的有用信息中。

(3)在输入左图像和右图像的情况下,只能使用上述除雾框架对左图像或右图像进行除雾。但是发现,通过同时考虑左右图像来制定除雾损失函数,可以同时去除左右雾度图像的雾度,从而产生更好的除雾效果。

(4)扩展了Cityscapes数据集以适应去雾任务。实验结果表明,在主观评估和客观评估方面,BidNet均明显优于最新的除雾方法。

本文方法:BidNet

图2.(a)双目图像去雾网络(BidNet)的总体架构。BidNet输入双目模糊图像对并输出无雾的双目图像对。(b)转换模块(STM)的结构。提出了STM来探索和编码双目图像对之间的关系

如图2所示,BidNet网络输入双目有雾图像对并估算透射图、大气光,同时对双目图像对进行去雾。BidNet的架构如图2(a)所示。引入了STM(Stereo Transformation Module )来探索和编码双目左右图像之间的相关性。

一、Stereo Transmission Map Estimation Network

Stereo Transmission Map Estimation Network(STMENet)可以分为三个部分:权重共享特征提取模块,Stereo Transformation Module(STM)和Refinement Module优化模块

1、权重共享特征提取模块(Weight-Shared Feature Extraction Module)

如图2(a)所示,权重共享特征提取模块是编码器-解码器结构。

表1. BidNet的详细架构。如果没有特别说明,则在卷积层之后是BN和ReLU。除权重共享特征提取模块外,左分支和右分支中的其余权重不共享。⊕表示concatenation和一个3×3卷积层以减少通道。上采样表示双线性插值。

输入图片首先通过预处理层以学习更好的输入特征。学习到的左(和右)特征通过stride为2的四个3×3卷积层传递。四个卷积层的通道增加为32、48、64和96。之后对经过卷积的下采样特征应用四个双线性插值。通过自下而上和自上而下的结构,所获得的左特征(F1)和右特征(Fr)是有区别的。

2、Stereo Transformation Module (STM)

权重共享模块的左侧和右侧模块仅融合其自身的信息。没有利用双目图像对之间的关系和相关性。于是,设计了一个Stereo Transformation Module(STM),通过学习左右特征之间的horizontal相关性来转换深度信息。

图2(b)表示出了STM的结构。由于双目图像对在垂直方向上对齐,因此STM仅需要了解它们之间的水平相关性。受non-local网络的启发,将某个位置的响应计算为沿水平维度所有位置的特征的加权总和,这可以捕获包含视差(深度)信息的远程依赖关系。

3、Refinement Module

STM估计的透射图仍然缺乏全局结构信息。空间金字塔池是parameter-free的,而且效率很高,于是网络中采用空间金字塔池引入多尺度上下文信息来完善透射图transmission maps,从而增强鲁棒性。 上面的表1中显示了详细的结构,使用了三个平均池化层,内核大小分别为3、7和15,步长为1。池化层将初始估计的transmission maps转换为全局表示的增强集合。然后,将这些具有初始估计的transmission maps通过concat进行聚合,并进入1×1卷积层以融合特征。最终,输出是refine后的透射图。

二、大气光估算网络Atmospheric Light Estimation Network

大气光估计网络(ALENet)旨在估计大气光A。如图2(a)所示,ALENet也是一种编码器/解码器结构,但没有尺度的跳跃连接。它包括一个3×3卷积层作为预处理,三个Conv-BN-Relu-Pool块作为编码器,三个Up-Conv-BN-Relu块作为解码器,最后是一个3×3卷积层估计大气光A,如表1所示。1.立体图像对具有相同的大气光A。因此,ALENet仅输入左侧图像进行预测。

三、通过物理散射模型去雾Dehazing via The Physical Scattering Model

如图2(a)所示,通过等式(2)计算左无雾图像和右无雾图像。等式(2)确保整个网络同时优化。直接计算出的无雾双目图像有一些噪点,于是添加了图像优化模块,这是一个轻量级的密集块。轻量级密集块具有四个3×3卷积层,其输入是在之前生成的特征图的串联。输入通道的数量为3、8、16和24,但输出通道的数量均为8。最后,采用1×1卷积层来估计精确的无雾双目图像。

四、损失函数

BidNet的损失函数包括:去雾 的双目图像的误差、透射图误差、大气光的误差、Perceptual 损失。 在损失函数中同时考虑了左右图像的误差,因此同时对两个图像去雾是互利的。

无雾的双目图像误差:

透射图误差:

大气光误差:

基于从预训练网络中提取的高级特征的Perceptual 损失被广泛用于图像超分辨率领域。此外,Perceptual 损失比像素损失更有效地衡量图像的视觉相似性。受此启发,作者引入了Perceptual 损失以增加恢复的无雾图像与真实图像之间的Perceptual 相似性。 Perceptual 损失利用从预先训练的深度神经网络中提取的多尺度特征来量化估计图像和ground truth之间的视觉差异。本文中,使用在ImageNet 上预先训练的VGG16 作为loss网络,并从VGG16中的Conv33中提取特征。Perceptual loss定义为:

Stereo Foggy Cityscapes Dataset

整个数据集制作过程参考了文章《Semantic foggy scene understanding with synthetic data》,感兴趣的话,可以参考原文。

实验与结果

数据集:Stereo Foggy Cityscapes Dataset

评价指标:PSNR、SSIM

实验配置:使用256×256大小的RGB图像训练网络,训练是在两台NVIDIA GeForce GTX 1070上进行的,并且一个GPU用于测试。

1、对比实验

2、定性评估

3、消融实验

4、Drivingstereo 数据集上的实验

对于400×881的图像,BidNet在NVIDIA GeForce GTX 1070上对双目图像进行去雾处理的速度为0.23s。

更多实验细节,可以参考原文。

推荐阅读

更多机器学习、深度学习、计算机视觉、自动驾驶机器人等领域最新最前沿的科技请关注微信号AI算法修炼营。

审核编辑:符乾江
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    87

    文章

    30830

    浏览量

    268990
  • 计算机视觉
    +关注

    关注

    8

    文章

    1698

    浏览量

    45987
收藏 人收藏

    评论

    相关推荐

    卡尔曼滤波图像处理中的应用实例 如何调优卡尔曼滤波参数

    卡尔曼滤波图像处理中的应用实例 卡尔曼滤波图像处理中主要应用于目标跟踪、噪声消除和图像恢复等方面。以下是一些具体的应用实例: 目标跟踪
    的头像 发表于 12-16 09:11 314次阅读

    傅立叶变换图像处理中的作用

    傅里叶变换图像处理中发挥着至关重要的作用。以下是傅里叶变换图像处理中的几个主要作用: 一、图像增强与
    的头像 发表于 12-06 16:55 402次阅读

    SAC305焊料测试中有哪些表现?

    的测试主要有热循环测试,等温老化测试,跌落测试,剪切测试,盐测试等。本文主要介绍SAC305焊点在盐测试中的表现。测试中通常会使用5%NaCl,该浓度的NaCl会对焊点进行持
    的头像 发表于 09-02 08:55 287次阅读
    SAC305焊料<b class='flag-5'>在</b>盐<b class='flag-5'>雾</b>测试中有哪些表现?

    DSP教学实验箱_数字图像处理操作_案例分享:5-13 灰度图像二值化

    ,选择后等待图片加载,加载完成后显示原图片。 txt 配置文件是提前配置好的图像属性, Properties 属性可看到 in.txt 文件的设置参数。 再次点击工具,选择图像分析工
    发表于 07-25 15:03

    基于DSP C6000教学实验箱_数字图像处理教程:5-9 图像反色实验案例分享

    的Console窗口会打印相关信息。 稍等片刻后,图像处理完成,程序执行完成后会在断点处停下。 可以通过 CCS 的图像显示窗口查看处理前后的图片对比。 点击工具,选择
    发表于 07-19 09:57

    图像识别技术的原理是什么

    值化、滤波、边缘检测等操作。这些操作可以提高图像的质量,减少噪声,突出图像的特征,为后续的特征提取和分类器设计提供基础。 1.1
    的头像 发表于 07-16 10:46 951次阅读

    DSP教学实验箱操作教程_数字图像处理:5-5 灰度图像直方图

    会打印相关信息。 稍等片刻后,处理完成,程序执行完成后会在断点处停下。 可以通过CCS 的图像显示窗口查看原始灰度图像。 点击工具,选择图像
    发表于 06-25 15:10

    DSP C6000教学实验箱操作教程_数字图像处理:5-3 图像缩放

    ;,选择工程目录下的 in.txt 配置文件,选择后等待图片加载,加载完成后显示原图片。 txt 配置文件是提前配置好的图像属性, Properties 属性可看到 in.txt 文件的设置参数
    发表于 06-20 11:28

    DSP教学实验箱_数字图像处理_操作教程:5-1 图像旋转

    图像的旋转是按照图像的中心点旋转指定角度,为了转换方便,需要以图像的中心作为坐标原点,故进行旋转操作前需要先对坐标进行变换,即将
    发表于 06-14 14:03

    如何提取、匹配图像特征点

    我们习惯从图像中选取比较有代表性的点,然后,在此基础,讨论相机位姿估计问题,以及这些点的定位问题。 经典 SLAM 模型中,把它们称为路标,而在视觉 SLAM 中,路标则是指
    的头像 发表于 04-19 11:41 653次阅读

    聊一聊“阻抗修正”嵌入

    非标准接口器件测试中,使用去嵌入方法消除测试夹具等对测试结果的影响已经被很多小伙伴们熟知。最新的R&S ZNA/ZNB系列矢量网络分析仪(简称:矢网)界面中,加入了“Deembed Assistant(嵌助手)”,可以帮助
    的头像 发表于 04-17 14:18 1331次阅读
    聊一聊“阻抗修正”<b class='flag-5'>去</b>嵌入

    CM0+使用systick时SROM操作超时的原因是什么?

    我的软件设计 CM4 内核执行闪存擦除操作 CM0+ 内核执行基于 Systick 的 IO 反转
    发表于 01-22 07:55

    耐久循环试验机的优缺点

    耐久循环试验机的优点主要包括:   试验环境稳定:盐耐久循环试验机能够提供稳定的试验环境,模拟盐、干燥、相对湿度及低温贮存等循环试验效果,从而准确评估产品或材料的耐腐蚀性能。   操作
    的头像 发表于 01-11 15:39 492次阅读
    盐<b class='flag-5'>雾</b>耐久循环试验机的优缺点

    试验箱的操作流程

    盐水喷雾试验箱,又称盐试验箱,是一种采用盐腐蚀方式检测样品可靠性的设备。它能够模拟海洋周边气候对产品造成的破坏性影响,为产品研发和质量把控提供重要依据。   试验过程中,操作人员
    的头像 发表于 01-11 15:37 596次阅读
    盐<b class='flag-5'>雾</b>试验箱的<b class='flag-5'>操作</b>流程

    labview怎么获取图像数据

    计算机上。 打开LabVIEW并创建一个新的VI。将图像采集设备配置为输入设备。 Block Diagram,右键点击空白处,选择"Vision and Motion"选项,然后选择相应的子选项
    的头像 发表于 01-04 09:48 2264次阅读