英伟达与MIT合作推出视频合成AI新技术,直接用现实视频生成逼真的虚拟世界。未来或许只需一段手机视频,你就可以真正进入心仪的游戏中去当英雄了!
最近英伟达的黑科技有点多。
英伟达的研究人员打造出一个新的AI生成模型,可以使用来自YouTube等来源的真实视频创建虚拟环境,这可能影响游戏开发和人工智能的未来。
“这是一种新的渲染技术,基本上只需使用草绘图作为输入,可以处理对象的高级表示以及它们在虚拟环境中的交互方式。由模型实际上处理细节、细化纹理和照明环境等等,最后输出完全渲染的图像。“英伟达应用深度学习副总裁Bryan Catanzaro在接受采访时表示。
Bryan Catanzaro,看扮相就像是搞黑科技的
这一系统使用百度的自动驾驶项目的Apolloscape采集的视频进行训练。系统将这些视频的草绘图,比如树木、建筑物、汽车和行人等都输入到模型中。
Catanzaro和其他英伟达的研究人员与MIT CSAIL的学生们合作,撰写了题为"Video-to-Video Synthesis"的论文,文中对这一技术做了详细阐述。
论文地址:
Video-to-Video Synthesis
https://arxiv.org/pdf/1808.06601.pdf
该模型可以实现快速生成合成环境,可用于训练强化学习的智能体,或让游戏中的玩家产生身临其境之感。
由输入分割映射视频生成的逼真输出视频。左上为输入,其余为不同模型的输出,右下为英伟达和MIT最新模型vid2vid的输出
“想象一下,如果你能在电子游戏中扮演自己的角色。而且,只需要一段自己手机中的视频,就能让你进入虚拟环境,穿上闪亮的盔甲,像骑士一样去做伟大的事情。
“英伟达长期以来一直致力于图形处理技术,因此我们非常高兴能够将图形技术带入AI时代,并使用AI技术生成图形,我们可以从现实世界的视频中了解事物的运作方式,然后根据学到的知识,合成出逼真的、基于实际内容的虚拟图像。”
系统能够考虑诸如对象位置,对象之间的关系以及用于定义对象边缘的映射之类的要素。
英伟达将于NeurIPS 2018大会上演示视频并分享该技术的其他细节。
左侧为样例面部图像输入,中间为草绘图,右侧为输出
Nvidia团队最初的灵感来自于Alexei Efros和加州大学伯克利分校的其他研究人员的Pix2Pix系统的成果。英伟达在此基础上与加州大学伯克利分校的AI研究人员合作,打造了Pix2PixHD系统作为回应。
今年早些时候,加州大学伯克利分校的研究人员还制作了能够跳舞、翻转以及其他20种复杂动作的模型。
样例舞蹈动作——动作提取——输出
“这是我们第一次实现交互式的人工智能场景渲染,我们为此感到自豪。但这项技术目前还处于早期阶段,未来的目标是提供更高质量、通用性更好的输出,以便能够处理更多种类的场景。我对这一技术未来的发展方向感到非常兴奋。”Catanzaro说。
-
人工智能
+关注
关注
1791文章
47208浏览量
238294 -
英伟达
+关注
关注
22文章
3771浏览量
90997 -
黑科技
+关注
关注
14文章
127浏览量
37302
原文标题:英伟达MIT黑科技 :用AI生成模型快速构建虚拟世界
文章出处:【微信号:AI_era,微信公众号:新智元】欢迎添加关注!文章转载请注明出处。
发布评论请先 登录
相关推荐
评论