0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

神经网络还有另一种用法,那就是对图像进行增强

倩倩 来源:环球网 2020-04-17 09:47 次阅读

说到神经网络,你第一个想到的什么,有不少人第一个想到的应该是前段时间大火的换脸 APP“ZAO”,神经网络在图片领域堪称“魔法”的应用第一次展现在每一个普通用户面前。

不少用户在使用过ZAO后,对神经网络产生了“技术恐惧”,担心ZAO会对自己的肖像权产生侵害,ZAO也因为种种原因迅速下架,成为技术应用的“负面典型”。

但神经网络还有另一种用法,那就是对图像进行增强。

神经网络翻新老电影

最近,国外一个YouTuber发布了通过神经网络增强的1895年拍摄的纪录片《火车进站》,整部电影只有45秒长度,由路易·卢米埃和奥古斯特·卢米埃拍摄于法国一沿海城市。

传说放映到火车驶向镜头的时候,大量观众惊恐的从剧院跑出,展现了当时人们对新技术的好奇和恐惧。当然,这些往事都已经成为了都市传说。

不过由“新技术”的神经网络对这部电影进行翻新,也有着深远的意义。

1895年拍摄的《火车进站》采用35mm格式胶片制作,由于当时的放映机由手摇进行驱动,我们可以粗略的认为其原始帧率在16帧到24帧之间。

由于当时的胶片技术尚未成熟,我们可以看到画面景物都是比较模糊的,火车在驶来的同时还带有明显的拖影。

但经过了神经网络的画面分辨率增强和插帧之后,这部老电影获得了4K ~ 60fps的画质。如果不是电影黑白的画面和胶片电影独有的画面抖动,画面流畅度和清晰度几乎可以与现在的智能手机相媲美。

是什么让神经网络在图像增强和插帧上有着这样的效果呢?

我们知道,数字视频的清晰度一般由分辨率和帧率决定(暂且不考虑影响图像压缩质量的码率)。神经网络对视频的增强,也主要集中在这两种参数上。

分辨率增强

首先我们来谈谈分辨率增强,想要将一张低分辨率的图片变成高分辨率的图片,我们就需要猜测放大产生的未知像素。通常情况下,我们会采用某种插值算法进行计算,在图像边缘的模糊和锯齿间获得平衡,这种计算通常无法增加图像细节,即使放大了图像,依旧显得很模糊。

神经网络在增强分辨率上就有着独到的优势,或许你之前曾经听说过一个软件waifu2x ,动漫爱好者们经常用它来放大动漫插图。当然,它同样可以用作照片放大。

waifu2x的核心方法就是通过机器学习,训练一个端到端的网络,使用低分辨率的图像作为输入得到对应的高分辨率结果图像,最后得到的结果在图像的锯齿与模糊程度有较好表现,其训练的原理类似于FCN模型。

在效果上,waifu2x的SRCNN(超分辨率卷积神经网络)要好于传统的双三次插值算法。

当然,waifu2x的算法仅能在静态图片上使用。不过方法都是相同的,madvr 中放大视频分辨率的ngu算法也是类似的原理。

视频插帧

对于视频插帧来说,神经网络也有自己的用武之地,之前英伟达发布了一个叫做Super SloMo的神经网络,能通过联合建模的运动解释和遮挡推理配合光流算法生成中间帧。

这种技术能将原本30帧的视频放慢到240帧,并在其中添加画面的运动细节。

华为Mate 30 Pro的7680帧慢动作,也是通过神经网络对1080P/960fps 的视频插帧生成的。可见类似的神经网络插帧算法确实有很高的使用价值。

写在最后:技术是一把双刃剑

可以看到,神经网络对图像的处理(也就是常说的AI图像)并不是一个很可怕技术,它是一把双刃剑,如果你用它来给视频换脸,侵犯他人肖像权,它就是不好的技术。

但如果我们能将其用在老电影翻新、手机超级慢动作、和实时视频增强,那它就是好技术。

或许那位翻新《火车进站》的YouTuber,也正是想用这部电影的传奇故事告诉我们,“不要恐惧新技术的到来。”

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4733

    浏览量

    100412
  • 图像
    +关注

    关注

    2

    文章

    1078

    浏览量

    40375
收藏 人收藏

    评论

    相关推荐

    怎么对神经网络重新训练

    重新训练神经网络个复杂的过程,涉及到多个步骤和考虑因素。 引言 神经网络一种强大的机器学习模型,广泛应用于图像识别、自然语言处理、语音
    的头像 发表于 07-11 10:25 402次阅读

    rnn是递归神经网络还是循环神经网络

    RNN(Recurrent Neural Network)是循环神经网络,而非递归神经网络。循环神经网络一种具有时间序列特性的神经网络,能
    的头像 发表于 07-05 09:52 463次阅读

    人工神经网络模型的分类有哪些

    人工神经网络(Artificial Neural Networks, ANNs)是一种模拟人脑神经元网络的计算模型,它在许多领域,如图像识别、语音识别、自然语言处理、预测分析等有着广泛
    的头像 发表于 07-05 09:13 847次阅读

    人工神经网络模型是一种什么模型

    人工神经网络(Artificial Neural Networks,简称ANNs)是一种受生物神经网络启发而产生的数学模型,用于模拟人脑处理信息的方式。它由大量的节点(或称为神经元)相
    的头像 发表于 07-04 16:57 670次阅读

    反向传播神经网络和bp神经网络的区别

    反向传播神经网络(Backpropagation Neural Network,简称BP神经网络)是一种多层前馈神经网络,它通过反向传播算法来调整
    的头像 发表于 07-03 11:00 598次阅读

    如何使用神经网络进行建模和预测

    神经网络一种强大的机器学习技术,可以用于建模和预测变量之间的关系。 神经网络的基本概念 神经网络一种受人脑启发的计算模型,由大量的节点(
    的头像 发表于 07-03 10:23 618次阅读

    bp神经网络是深度神经网络

    Network)有相似之处,但它们之间还是存在些关键的区别。 、引言 神经网络一种模拟人脑神经元结构的计算模型,它由大量的
    的头像 发表于 07-03 10:14 579次阅读

    bp神经网络和卷积神经网络区别是什么

    结构、原理、应用场景等方面都存在定的差异。以下是对这两神经网络的比较: 基本结构 BP神经网络一种多层前馈
    的头像 发表于 07-03 10:12 881次阅读

    卷积神经网络训练的是什么

    卷积神经网络(Convolutional Neural Networks,简称CNN)是一种深度学习模型,广泛应用于图像识别、视频分析、自然语言处理等领域。本文将详细介绍卷积神经网络
    的头像 发表于 07-03 09:15 311次阅读

    卷积神经网络的原理与实现

    1.卷积神经网络(Convolutional Neural Networks,简称CNN)是一种深度学习模型,广泛应用于图像识别、视频分析、自然语言处理等领域。 卷积神经网络
    的头像 发表于 07-02 16:47 468次阅读

    卷积神经网络的原理是什么

    卷积神经网络(Convolutional Neural Network,简称CNN)是一种深度学习模型,广泛应用于图像识别、语音识别、自然语言处理等领域。本文将详细介绍卷积神经网络的原
    的头像 发表于 07-02 14:44 518次阅读

    卷积神经网络图像识别中的应用

    卷积操作 卷积神经网络的核心是卷积操作。卷积操作是一种数学运算,用于提取图像中的局部特征。在图像识别中,卷积操作通过滑动窗口(或称为滤波器、卷积核)在输入
    的头像 发表于 07-02 14:28 837次阅读

    卷积神经网络和bp神经网络的区别

    不同的神经网络模型,它们在结构、原理、应用等方面都存在定的差异。本文将从多个方面对这两神经网络进行详细的比较和分析。 引言
    的头像 发表于 07-02 14:24 2303次阅读

    如何使用Python进行神经网络编程

    神经网络简介 神经网络一种受人脑启发的机器学习模型,由大量的节点(或称为“神经元”)组成,这些节点在网络中相互连接。每个节点可以接收输入,
    的头像 发表于 07-02 09:58 335次阅读

    基于助听器开发的一种高效的语音增强神经网络

    能做的放大和过滤功能。语音增强(SE)可以缓解嘈杂环境中的听力困难,这是HA用户最关注的问题之。最近的SE方法通常由循环神经网络(RNN)体现。SE模型必须实现低音频延迟,以确保测听者舒适。音频延迟
    发表于 06-07 11:29