0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

DVD-GAN机器人用AI生成高度逼真视频的一次重要的尝试

BFv1_robovideo 来源:陈年丽 2019-07-29 10:40 次阅读

近日,DeepMind的研究人员研发了一个名叫Dual Video Discriminator GAN(DVD-GAN)的人工智能模型,该模型通过能够通过学习一系列的YouTube视频数据集,生成高度逼真且连贯的256 x 256像素视频,最长可达48帧。

目前,DVD-GAN的研究成果已于美国时间2019年7月15日发表在arxiv上,名为《在复杂数据集上的高效视频生成(Efficient Video Generation on Complex Datasets)》。

AI造假视频比造假图片更难

最近,俄罗斯AI研究人员开发的FaceApp着实大火了一把,这款应用通过人工智能技术能够改变用户自拍照的年龄、外貌、发色和性别,甚至可以生成虚构的人物照片。这直接让人们近距离地感受了人工智能技术给我们的生活带来的乐趣。

但是否有人想过,有朝一日这些技术也能应用在视频领域呢?

如果说BigGAN是DeepMind在图像领域开发的能够生成高度逼真图像的图像生成器,那么DeepMind研究人员们开发的DVD-GAN,就是人工智能在视频剪辑生成领域的最新突破。

研究人员在论文中表示,生成自然视频对生成式建模来说是一个较大的挑战,同时还会受到数据复杂性和计算需求增加的困扰。

因此,之前业界的研究人员们在研究视频生成领域时,几乎都围绕着相对简单的数据集,或者采用有限的时间信息来降低任务的复杂程度。

而这次,DeepMind的研究人员们主要针对视频合成和视频预测的任务,将生成图像模型的强大功能和逼真效果扩展到视频领域。

DVD-GAN:基于BigGAN模型结构

研究人员们基于BigGAN的模型结构,构建了DVD-GAN的系统,并引入了一系列用于视频生成的调整,使DVD-GAN能够在Kinetics-600上进行训练。

Kinetics-600是一组由50万段10秒高分辨率的YouTube视频剪辑汇编而成的训练数据集,它最初是为识别人类动作而制作的,比目前其他常用的语料库还大一个数量级。

同时,研究人员们表示,Kinetics-600具有多样化特征,能消除他们对过拟合(Overfitting)的担忧。过拟合主要是指机器学习时选择的模型所包含的参数过多,以至出现这一模型对已知数据预测得很好,但对未知数据预测得很差的现象。

另一方面,DeepMind的研究人员们利用生成对抗以提供一个能生成动作的学习信号

此外,DVD-GAN还有一个单独的Transformer模块,它可以让学习信息在整合AI模型中传播。

训练12至96小时即可生成视频

研究论文表明,在经过Google第三代TPU训练了12至96个小时后,DVD-GAN可以成功地生成视频,这些视频内容包含了物体的组成和运动,以及各种复杂的纹理。

不足的是,DVD-GAN生成的视频内容有时较为“诡异”,例如生成的物体和人形奇形怪状,甚至人体忽长忽短地变化。

但研究人员指出,当把DVD-GAN放在UCF-101(一个包含13320个人类动作视频的较小数据集)上进行评估后,DVD-GAN生成的样本初始值最高为32.97。

DeepMind的研究人员们希望能进一步强调在大型复杂视频数据集上训练生成模型的好处,例如Kinetics-600。

“我们设想通过DVD-GAN在这个数据集上建立强大的基线,该基线将被用作未来建模生成领域的参考点。”研究人员表示,“尽管在不受约束的环境下持续生成逼真的视频还需要进行很多工作,但我们相信DVD-GAN是我们朝这个方向迈出的重要一步。”

网络(GANs)来区分生成样本和真实世界样本,该网络主要由生成器和判别器两部分组成。

GANs曾被应用在把文字转换成一幕幕的场景故事,或生成人造星系图像等任务中。而研究人员们这次使用的是名为BigGANs的生成对抗网络,该网络以大批量和数百万个参数而得名。

值得一提的是,DVD-GAN包含两个判别器。一个是空间判别器(Spatial Discriminator:D_S),该判别器通过随机采样全分辨率帧并单独处理,以评估单个帧的内容和结构;另一个是时间判别器(Temporal Discriminator:D_T),它可以提供一个能生成动作的学习信号。

此外,DVD-GAN还有一个单独的Transformer模块,它可以让学习信息在整合AI模型中传播。

结语:用AI生成高度逼真视频的一次尝试

不管是BigGAN还是FaceApp,以往的研究人员们在人工智能生成图像领域进行了许多具有突破性的研究,但在视频领域,除了AI换脸曾火了一把之外,并没有更多的突破性进展。

而DeepMind的研究人员们基于BigGAN架构和Kinetics-600训练数据集开发的DVD-GAN,利用计算高效的判别器分解,扩展到时间更长、分辨率更高的视频。就目前来说,虽然这一成果还有些许不足,但这无疑是研究人员们利用AI生成高度逼真视频的一次重要尝试。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • DVD
    DVD
    +关注

    关注

    3

    文章

    134

    浏览量

    61880
  • 人工智能
    +关注

    关注

    1791

    文章

    46838

    浏览量

    237501

原文标题:[机器人频道|大事记]你担心的就要成真,AI换脸不算啥,现在新AI可生成逼真视频

文章出处:【微信号:robovideo,微信公众号:机器人频道】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    【书籍评测活动NO.51】具身智能机器人系统 | 了解AI的下个浪潮!

    早就听大佬们说,具身智能是人工智能的下波浪潮,也是AI未来的趋势! 最近,具身智能的概念更是炙手可热,备受瞩目! 不论是这几天稚晖君开源人形机器人全套图纸+代码,引发圈内热议。 还是各类具身智能
    发表于 11-11 10:20

    首例AI机器人致死案震惊全球

    AI机器人的安全性、友好性、是否符合积极正面的价值导向直被质疑,现在在佛罗里达州出现了AI聊天机器
    的头像 发表于 10-25 16:32 701次阅读

    开源项目!ESP32做个可爱的无用机器人

    简介 作者在完成硕士论文答辩后,利用空闲时间制作了个他直想做的机器人——可爱无用机器人。 无用机器人原理是
    发表于 09-03 09:34

    六轴焊接机器人多久检修一次

    焊接机器人多久检修一次?   、六轴焊接机器人的工作原理   六轴焊接机器人种具备六个自由
    的头像 发表于 07-09 16:31 326次阅读
    六轴焊接<b class='flag-5'>机器人</b>多久检修<b class='flag-5'>一次</b>

    Al大模型机器人

    理解能力强大: AI大模型机器人可以理解和生成自然语言,能够进行复杂的对话和语言任务。它们能够识别语言中的语义、语境和情感,并据此作出适当的回应。广泛的知识储备: 这些模型基于大规模的数据集进行训练,拥有
    发表于 07-05 08:52

    加速生产数据向AI机器人转化,剖析NVIDIA机器人堆栈式资源

    电子发烧友网报道(文/吴子鹏)回顾历史上几次生产力革命,每一次都有标志性产物,带来巨大的生产效率提升。当然,也有些生产力工具凭借自身潜能,在多次生产力革命周期里延续并得到强化,机器人就是
    的头像 发表于 07-03 00:02 3277次阅读
    加速生产数据向<b class='flag-5'>AI</b><b class='flag-5'>机器人</b>转化,剖析NVIDIA<b class='flag-5'>机器人</b>堆栈式资源

    基于百度AI大模型生态支持,极越汽车机器人迎来一次全新进化

    基于百度AI大模型生态支持,极越汽车机器人又迎来了一次全新进化。3月25日,极越在北京举办AI DAY 2024。
    的头像 发表于 03-28 09:52 643次阅读
    基于百度<b class='flag-5'>AI</b>大模型生态支持,极越汽车<b class='flag-5'>机器人</b>迎来<b class='flag-5'>一次</b>全新进化

    NVIDIA Isaac机器人平台升级,加速AI机器人技术革新

    NVIDIA Isaac机器人平台近期实现重大升级,通过引入最新的生成AI技术和先进的仿真技术,显著加速了AI机器人技术的发展步伐。该平台
    的头像 发表于 03-27 10:36 628次阅读

    NVIDIA入局人形机器人!Isaac平台迎来重要更新

    NVIDIA Isaac 机器人平台利用最新的生成AI 和先进的仿真技术,加速 AI 机器人技术的发展。
    的头像 发表于 03-26 09:07 994次阅读
    NVIDIA入局人形<b class='flag-5'>机器人</b>!Isaac平台迎来<b class='flag-5'>重要</b>更新

    机器人板块强势启动,涨停潮席卷市场

    春节期间,OpenAI发布首个视频生成模型Sora,带动人工智能迎来了新波行情。而人形机器人作为AI原生应用的最佳实体,热度也随之攀升。
    发表于 02-27 10:14 185次阅读

    OpenAI发布文生视频模型Sora,引领AI视频生成新纪元

    在人工智能(AI)领域掀起新轮革命浪潮的,正是OpenAI最新推出的文生视频大模型——Sora。这款被业界广泛赞誉的模型,以其“逼真”和“富有想象力”的
    的头像 发表于 02-19 11:03 881次阅读

    生成AI通过NVIDIA Isaac平台提高机器人的智能化水平

    今日,NVIDIA 机器人和边缘计算副总裁 Deepu Talla 在 CES 上的特别演讲中,详细介绍了 NVIDIA 及合作伙伴是如何将生成AI机器人技术相结合的。
    的头像 发表于 01-09 10:27 1100次阅读
    <b class='flag-5'>生成</b>式<b class='flag-5'>AI</b>通过NVIDIA Isaac平台提高<b class='flag-5'>机器人</b>的智能化水平

    探讨生成AI机器人技术中的未来

    对于重复性的机器人动作,可以通过繁琐的手动微调来避免奇点,确保机器人的连贯性运动。旦设定好,这些动作可以持续准确地重复执行。然而,在机器人运动需求多样化的新兴领域,比如码垛、抓取作业
    发表于 12-27 11:02 220次阅读

    机器人拥抱AI大模型已成共识!

    目前普遍的共识是,机器人拥抱AI大模型的过程就是具身智能机器人的实现过程,融合AI大模型的具身智能机器人将是未来
    发表于 12-22 17:08 366次阅读

    通过GaN电机系统提高机器人的效率和功率密度

    通过GaN电机系统提高机器人的效率和功率密度
    的头像 发表于 11-29 15:16 536次阅读
    通过<b class='flag-5'>GaN</b>电机系统提高<b class='flag-5'>机器人</b>的效率和功率密度