0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

图像恢复这个任务,如何使用深度图像先验来解决此任务

MqC7_CAAI_1981 来源:lq 2019-02-18 16:38 次阅读

本文重点介绍了图像恢复这个任务,以及如何使用深度图像先验来解决此任务。

图像恢复介绍

图像恢复是指从其劣质图像中恢复未知真实图像的任务。 图像损耗可能在图像形成,传输和存储期间发生。 该任务广泛的用于卫星成像,低光摄影。由于数字技术的进步,计算和通信技术从退化图像恢复清晰图像非常重要。

图像恢复主要有三个任务:

图像去噪:

图像去噪是指恢复受附加噪声污染的图像。 这是图像恢复中最简单的任务,因此已被多个技术社区广泛研究。

超分辨率:

超分辨率是指从一组低分辨率图像产生高分辨率图像(或一系列高分辨率图像)的过程。

图像重建:

绘画中的图像是重建图像劣化部分丢失的过程。 绘画实际上是一种古老的艺术,需要人类绘制绘画中和丢失的部分。 但在今天的世界研究中,已经提出了许多方法来使用深度卷积网络自动完成这项任务。

什么是Deep Image Prior?

随着Alexnet在2012年图像网络竞争中的成功,卷积神经网络已经变得非常流行并且已经被用于每个计算机视觉和图像处理任务中。

深度卷积网络因其能够从大量图像数据集中学习而获得成功。 Dmitry Ulyanov的论文“Deep Image Prior”表明,为了解决像图像恢复这样的逆问题,网络的结构已经足够,并且足以从劣质图像恢复原始图像。本文强调,为了执行这些任务,不需要预训练网络或大图像数据集,并且可以仅考虑劣质图像来执行。

为了完成图像恢复的任务,学习先验和显式先验是两种研究人员流行和主要使用的方法。

学习先验是一种直接的方法,训练深度卷积网络通过数据集了解世界,数据集将噪声图像作为输入,清晰图像作为所需输出。

另一方面,显式先验或人为的先验方法,其中我们嵌入硬约束并且从合成数据教导什么类型的图像是自然的等。在数学上表达像自然这样的约束是非常困难的。

在深度图像先验中,作者试图通过构造一个新的显式先验,使用卷积神经网络来弥合两种流行方法之间的差距。

理论基础

x→原始图像

ẋ→劣质图像

x *→恢复图像

我们可以使用最大后验分布来估计经验数据中的未观察值

使用贝叶斯规则,我们可以将其表示为先验。

我们可以将方程式表示为优化问题,而不是单独使用分布:

E(x;ẋ)是数据项,它是似然的负对数,R(x)是图像先前项,它是先验的负对数。

现在的任务是最小化图像x上的Eq(2)。 传统方法是用随机噪声初始化x,然后计算函数相对于x的梯度并遍历图像空间直到我们收敛到某个点。

另一种方法是构造函数g,其用随机θ初始化,来自不同空间的输出可以被映射到图像x并使用梯度下降来更新θ,直到它在某个点收敛。 因此,我们可以优化θ,而不是优化图像空间。

但是,为什么这种方法可行,我们为什么要使用它呢? 这是可能的,因为从理论上讲,如果g是满射g:θ↦x(如果至少一个θ映射到图像x)那么这个优化问题是等价的,即它们具有相同的解。 但实际上,g会极大地改变优化方法搜索图像空间的方式。 我们实际上可以将g视为超参数并对其进行调整。 如果我们观察到,g(θ)作为一个先验,它有助于选择一个良好的映射,给出一个所需的输出图像,并防止使用得到错误的图像。

现在,方程2可以表示为,

其中,z是随机固定输入图像,θ是随机初始化的权重,将使用梯度下降更新以获得所需的输出图像。

但是,为什么我们应该考虑这种参数化方法仍然不明显。 理论上乍一看,它似乎会产生原始的嘈杂图像。 在论文中,作者进行了一项实验,该实验表明,当使用梯度下降来优化网络时,卷积神经网络不会产生噪声图像,并且更快速,更容易地下降到自然的图像。

Deep Image Prior 步骤

ẋ = corrupted image(observed)

1.初始化z。 :用均匀噪声或任何其他随机图像填充输入z。

2.使用基于梯度的方法求解和优化函数。

3.最后,当我们找到最佳θ时,我们可以通过将固定输入z向前传递到具有参数θ的网络来获得最佳图像。

结论

本文试图证明构造具有随机权重的隐式先验内部深度卷积神经网络体系结构的方法非常适合于图像恢复任务。 本文中显示的结果主要表明,适当的手工制作的网络架构足以解决图像恢复任务。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4787

    浏览量

    101361
  • 图像
    +关注

    关注

    2

    文章

    1090

    浏览量

    40610
  • 图像去噪
    +关注

    关注

    0

    文章

    21

    浏览量

    9270

原文标题:Deep Image Prior——图像恢复入门

文章出处:【微信号:CAAI-1981,微信公众号:中国人工智能学会】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    相关推荐

    如何从深度图像中找到3或5个中心像素

    找到了深度图像的对角线,我试图找到3或5个像素。我不知道如何从数组中找到值。我只在我的控制台上打印了索引。打印40,35但没有值。我希望我没有混淆你。一切对我来说都是新的。我试过这个; void
    发表于 11-19 14:19

    如何从D435获取16位深度图像

    我从realsense查看器中获取d435深度相机的数据,当我保存深度图像的快照时,我在规格中得到8位(1-256)灰度图像,据说相机给出了16位深度图片。你知道我怎么能得到16位
    发表于 11-27 14:11

    基于深度图像重建Matlab代码

    本文档内容介绍了基于深度图像重建Matlab代码,供网友参考。
    发表于 09-15 10:03 21次下载
    基于<b class='flag-5'>深度图像</b>重建Matlab代码

    基于3D相机深度图像的室内三维平面分割

    相机采集的。为了提高平面提取的速度,我们首先计算深度图像中点的法向量,通过法向量判断这些点是否在一个平面上。运用求点的法向量可以同时检测多个复杂的平面,而且实验结果显示该方法比传统的3D Hough Transform以及RANSAC方法要快。此种方
    发表于 11-16 10:10 4次下载

    各向异性扩散深度图像增强算法

    深度图像受其测距原理所限,存在边缘不匹配、无效像素、噪声等问题,提出一种基于改进的各向异性扩散算法的深度图像增强方法。首先,校正深度图像和彩色图像的位置关系,并根据时间连续性选择多帧
    发表于 11-25 11:08 9次下载
    各向异性扩散<b class='flag-5'>深度图像</b>增强算法

    基于LBP的深度图像手势特征提取算法

    针对复杂环境下的深度图像手势特征提取信息冗余量大、编码不稳定等问题,提出了一种改进的基于曲率局部二值模式( LBP)的深度图像手势特征提取算法。该算法首先通过坐标转换将分割出的手势深度数据转换为点云
    发表于 12-11 16:21 4次下载

    先验置信传播的图像修复算法

    先验置信传播( priority-BP)算法很难在实际中达到实时处理的要求,计算效率也有很大的提升空间。针对先验BP算法在图像修复上的应用,改进算法主要在信息传递以及标签搜索方面提出改进措施。在信息
    发表于 12-21 09:26 0次下载
    <b class='flag-5'>先验</b>置信传播的<b class='flag-5'>图像</b>修复算法

    基于局部姿态先验深度图像3D人体运动捕获方法

    提出一种基于局部姿态先验的从深度图像中实时在线捕获3D人体运动的方法,关键思路是根据从捕获的深度图像中自动提取具有语义信息的虚拟稀疏3D标记点,从事先建立的异构3D人体姿态数据库中快速检索K个姿态
    发表于 01-03 14:33 0次下载

    基于深度学习的任务图像理解:人脸识别与人物解析”

    新加坡国立大学在读博士生赵健分享了“基于深度学习的任务图像理解:人脸识别与人物解析”,介绍了他博士期间在这个领域的多个代表工作—DA-GAN、PIM和3D-PIM,ICCV 2017
    的头像 发表于 09-02 10:27 6266次阅读

    基于多孔卷积神经网络的图像深度估计模型

    多孔卷积结构,将原始图像中的空间信息与提取到的底层图像特征相互融合,得到初始深度图;最后,将初始深度图送入条件随机场(CRF),联合图像的像
    发表于 09-29 16:20 5次下载
    基于多孔卷积神经网络的<b class='flag-5'>图像</b><b class='flag-5'>深度</b>估计模型

    如何用上下文注意力进行深度图像修复

    今天,我们将深入探讨深度图像修复的一个突破,上下文注意力。通过使用上下文注意力,我们可以有效地从遥远的空间位置借用信息重建局部缺失的像素。这个想法实际上或多或少和上一篇的复制-粘贴是一样的。
    的头像 发表于 04-07 19:01 2907次阅读
    如何用上下文注意力<b class='flag-5'>来</b>进行<b class='flag-5'>深度图像</b>修复

    基于模板、检索和深度学习的图像描述生成方法

    描述技术的发展历程为主线,对图像描述任务的方法、评价指标和常用数据集进行了详细的综述。针对图像描述任务的技术方法,总结了基于模板、检索和深度
    发表于 04-23 14:07 12次下载
    基于模板、检索和<b class='flag-5'>深度</b>学习的<b class='flag-5'>图像</b>描述生成方法

    图像分类任务的各种tricks

    计算机视觉主要问题有图像分类、目标检测和图像分割等。针对图像分类任务,提升准确率的方法路线有两条,一个是模型的修改,另一个是各种数据处理和训练的tricks。
    的头像 发表于 09-14 16:42 1230次阅读

    虹软图像深度恢复技术与生成式AI的创新 生成式AI助力

    当前,生成式人工智能(AI)技术的快速发展令人瞩目。它能够理解人类的描述,并在短时间内生成逼真的图像和视频。在生成式AI的应用中,图像深度信息具有重要的价值,准确的深度图像
    发表于 06-21 09:06 502次阅读

    深度图像的获取方法主要有哪些

      今天介绍一下深度图像的获取方法主要有哪些,以及这些方法会导致深度图像中存在什么样的问题。 在计算机视觉系统中,三维场景信息为图像分割、目标检测、物体跟踪等各类计算机视觉应用提供了更多的可能性,而
    的头像 发表于 06-25 16:26 1330次阅读
    <b class='flag-5'>深度图像</b>的获取方法主要有哪些