0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

生成对抗网络GAN,正在成为新的“深度学习”

DPVg_AI_era 来源:未知 作者:李倩 2018-06-11 16:04 次阅读

计算机视觉顶会CVPR 2018召开在即,从接收的论文看,这届会议展现出了怎样的趋势?你不要不信,生成对抗网络GAN,正在成为新的“深度学习”。

又到了一年一度CVPR的时节。

当被接收的论文列表公布以后(点击这里查看所有论文列表),爱统计趋势的我们又有很多事情可以做了。

这一次,Google Research的研究科学家Jordi Pont-Tuset做了一个统计,根据论文题目,看深度学习的发展趋势。结果,他发现生成对抗网络(GAN)强势出击,大有取代“深度学习”(Deep Learning)之势。

下面这张图展示了CVPR 2018的论文题目中,关键词GAN、Deep,以及LSTM的对比:

可以看出,普通的“深度学习”已经在走下坡路,而且趋势明显。Jordi Pont-Tuset认为,这很可能是研究人员已经见惯不惯了。

与此同时,GAN则大幅抬头,有8%的论文标题中含有GAN(相比2017年增长了2倍多),已经不能说是少数,而是相当有分量的一个方向了。

此外,LSTM也出现下滑,可能是越来越多人开始关注并使用Attention的方法。

“深度学习”趋于饱和,GAN强势飞升

GAN的上升趋势并不是从CVPR 2018才开始的。下面这张图展示了从2013年到2017年CVPR期间,GAN(以及LSTM)在CVPR、ICCV和ECCV这三大计算机视觉顶会论文标题中出现的频次。统计者依然是Jordi Pont-Tuset。

尽管占比的绝对值不高(在2017年时为2.5%),但可以发现GAN从CVPR-16开始一飞冲天的趋势。

这种趋势在随后举行的ICCV 2017上更加明显,GAN在ICCV-17上已经超越了LSTM,并且占比达到了4%。

再来看“深度学习”,三大CV顶会的数据表明,历经2014年到2016年的火爆,从2017年开始,虽然还在增长(CVPR的稍微多一些),但都已趋于饱和。

GAN是新的“深度学习”?

需要指出,这里统计的仅仅是三大计算机视觉会议接收论文的标题里的关键词。

就像Jordi Pont-Tuset推测的那样,普通的“深度学习”可能已经为人熟知,如今在研究领域开始往更细的、更具体的方向发展,比如GAN。

生成对抗网络(Generative Adversarial Nets)在 Ian Goodfellow 等人2014年的论文《Generative Adversarial Nets》中提出,是非监督学习的一种方法,通过让两个神经网络相互博弈的方式进行学习。

GAN结构示意。来源:Slinuxer

生成对抗网络由一个生成网络(Generator)与一个判别网络(Discriminator)组成。生成网络从潜在空间(latent space)中随机采样作为输入,其输出结果需要尽量模仿训练集中的真实样本。判别网络的输入则为真实样本或生成网络的输出,其目的是将生成网络的输出从真实样本中尽可能分辨出来。而生成网络则要尽可能地欺骗判别网络。两个网络相互对抗、不断调整参数,最终目的是使判别网络无法判断生成网络的输出结果是否真实。生成对抗网络常用于生成以假乱真的图片。此外,该方法还被用于生成视频、三维物体模型等。

现在,《Generative Adversarial Nets》这篇论文的引用数量已经达到了3363次。

在一次Quora问答直播中,Yann LeCun表示,生成对抗性网络是近十年来最有趣的想法,是人工智能最值得期待的算法之一。

去年在接受吴恩达的采访时,Ian Goodfellow曾经说,GAN是生成模型的一种,实际上 GAN 能做的事情,很多其他生成模型也能做,如果GAN的训练能稳定下来,甚至像深度学习那么可靠,那么GAN就能真正发展起来。如果不能,那么GAN 将会被其他方法所取代。他有大约 40% 的时间都用在稳定 GAN 上面。

至少从这届CVPR看,GAN被取代的情况还完全不存在。

现在,有很多针对GAN的研究,除了Ian Goodfellow所在的谷歌和他之前所在的OpenAI,FAIR/NYU也是一大重镇。实际上,是FAIR/NYU最先把GAN带进了我们的视野,提出了LAPGAN,那是GAN第一次生成了逼真的高清图像,也是第一次得到媒体曝光。

另外一个重要阵营是伯克利+英伟达,他们专注超高清逼真图像和视频,无监督翻译,等等。伯克利的CycleGAN,利用对偶学习并结合GAN机制来优化生成图片的效果。英伟达则采取“渐进式生成”技术训练GAN,让计算机可以生成1024*1024大小的高清图片,几乎可以以假乱真。

除了图像生成,GAN的应用也已经拓展到了NLP和Robot Learning。

Ian Goodfellow在去年一次问答中表示,GAN是使用强化学习来解决生成建模问题的一种方式。“GAN的不同之处在于,奖励函数对行为是完全已知和可微分的,奖励是非固定的,以及奖励是Agent的策略的一个函数。”Goodfellow说:“我认为GAN基本上可以说就是强化学习。”

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • GaN
    GaN
    +关注

    关注

    19

    文章

    1918

    浏览量

    72968
  • 深度学习
    +关注

    关注

    73

    文章

    5492

    浏览量

    120970
  • 强化学习
    +关注

    关注

    4

    文章

    266

    浏览量

    11212

原文标题:GAN正在成为新的深度学习

文章出处:【微信号:AI_era,微信公众号:新智元】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    图像生成对抗生成网络gan_GAN生成汽车图像 精选资料推荐

    图像生成对抗生成网络ganHello there! This is my story of making a GAN that would generate images of cars
    发表于 08-31 06:48

    图像生成对抗生成网络

    图像生成对抗生成网络ganby Thalles Silva 由Thalles Silva暖身 (Warm up)Let’s say there’s a very cool party going
    发表于 09-15 09:29

    生成对抗网络模型综述

    ,开创性地提出了生成对抗网络GAN)。生成对抗网络包含一个生成模型和一个判别模型。其中,
    发表于 04-03 10:48 1次下载
    <b class='flag-5'>生成对抗</b><b class='flag-5'>网络</b>模型综述

    生成对抗网络在计算机视觉领域有什么应用

    的调研以及结合最新成果的研究,突出了生成对抗网络的无监督学习算法特征。目前生成对抗网络拓扑结构的研究在不断优化着基础
    发表于 12-06 15:29 22次下载
    <b class='flag-5'>生成对抗</b><b class='flag-5'>网络</b>在计算机视觉领域有什么应用

    如何使用生成对抗网络进行信息隐藏方案资料说明

    针对信息隐藏中含密栽体会留有修改痕迹,从根本上难以抵抗基于统计的隐写分析算法检测的问题,提出一种基于生成对抗网络GAN)的信息隐藏方案。该方案首先利用生成对抗
    发表于 12-12 16:57 6次下载
    如何使用<b class='flag-5'>生成对抗</b><b class='flag-5'>网络</b>进行信息隐藏方案资料说明

    如何使用深度残差生成对抗网络设计医学影像超分辨率算法

    针对医学影像超分辨率重建过程中细节丢失导致的模糊问题,提出了一种基于深度残差生成对抗网络GAN)的医学影像超分辨率算法。首先,算法包括生成
    发表于 01-02 16:59 5次下载
    如何使用<b class='flag-5'>深度</b>残差<b class='flag-5'>生成对抗</b><b class='flag-5'>网络</b>设计医学影像超分辨率算法

    生成对抗网络与其他生成模型之间的权衡取舍是什么?

    根据一些指标显示,关于生成对抗网络GAN)的研究在过去两年间取得了本质的进步。
    的头像 发表于 04-29 11:01 3798次阅读

    基于自注意力机制的条件生成对抗网络模型

    近年来,越来越多的生成对抗网络出现在深度学习的各个领域中。条件生成对抗网络( Condition
    发表于 04-20 14:26 11次下载
    基于自注意力机制的条件<b class='flag-5'>生成对抗</b><b class='flag-5'>网络</b>模型

    基于生成对抗网络深度伪造视频综述

    深度伪造的滥用,给囯家、社会和个人带来了潜在威胁。首先,介绍了深度伪造的概念和当前发展趋势,分析了基于生成对抗网络深度伪造视频的
    发表于 05-10 15:39 11次下载

    「自行科技」一文了解生成对抗网络GAN

    生成对抗网络(Generative adversarial network, GAN)是一种深度学习
    的头像 发表于 09-16 09:25 4027次阅读

    GAN生成对抗网络 Generative Adversarial Networks

    原文链接 1 原理 对于生成对抗网络GAN,一个简单的理解是可以将其看做博弈的过程,我们可以将生成模型和判别模型看作博弈的双方,比如在犯罪分子造假币和警察识别假币的过程中:
    的头像 发表于 01-12 09:45 831次阅读

    生成对抗网络GAN的七大开放性问题

    生成对抗网络在过去一年仍是研究重点,我们不仅看到可以生成高分辨率(1024×1024)图像的模型,还可以看到那些以假乱真的生成图像。此外,我们还很兴奋能看到一些新的
    的头像 发表于 03-17 11:18 648次阅读
    <b class='flag-5'>生成对抗</b><b class='flag-5'>网络</b><b class='flag-5'>GAN</b>的七大开放性问题

    PyTorch教程20.2之深度卷积生成对抗网络

    电子发烧友网站提供《PyTorch教程20.2之深度卷积生成对抗网络.pdf》资料免费下载
    发表于 06-05 10:21 2次下载
    PyTorch教程20.2之<b class='flag-5'>深度</b>卷积<b class='flag-5'>生成对抗</b><b class='flag-5'>网络</b>

    深度学习生成对抗网络GAN)全解析

    GANs真正的能力来源于它们遵循的对抗训练模式。生成器的权重是基于判别器的损失所学习到的。因此,生成器被它生成的图像所推动着进行训练,很难知
    发表于 03-29 14:42 4345次阅读
    <b class='flag-5'>深度</b><b class='flag-5'>学习</b><b class='flag-5'>生成对抗</b><b class='flag-5'>网络</b>(<b class='flag-5'>GAN</b>)全解析

    生成对抗网络(GANs)的原理与应用案例

    生成对抗网络(Generative Adversarial Networks,GANs)是一种由蒙特利尔大学的Ian Goodfellow等人在2014年提出的深度学习算法。GANs通
    的头像 发表于 07-09 11:34 793次阅读