0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

人工智能系统VON,生成最逼真3D图像

DPVg_AI_era 来源:lq 2018-12-07 09:28 次阅读

人工智能合成的3D物体模型不够逼真?谷歌团队最近开发了一个AI系统——视觉对象网络(VON),不仅生成的图像比当前最先进的方法还要逼真,而且还可以做一系列3D操作。

合成现实3D物体模型的人工智能,看上去并没有那么遥不可及。

在2018年蒙特利尔NeurIPS大会上,麻省理工学院计算机科学与人工智能实验室(MIT CSAIL)和谷歌的研究人员发表了一篇论文,描述了一个能够生成具有逼真纹理的人工智能系统。

论文名称:

Visual Object Networks: Image Generation with Disentangled 3D Representation

论文地址:

https://papers.nips.cc/paper/7297-visual-object-networks-image-generation-with-disentangled-3d-representations.pdf

人工智能系统VON,生成最逼真3D图像

该人工智能系统——视觉对象网络(Visual Object Networks,VON),不仅生成的图像比当前最先进的方法还要逼真,还可以进行形状和纹理编辑、视角转换以及其它3D调整。

研究人员写到:“现代深层生成模型学会了合成较为逼真的图像。大多数计算模型只专注于生成2D图像,忽略了世界是3D的本质。这种2D视角不可避免地限制了它们在许多领域的实际应用,比如合成数据生成、机器人学习、视觉现实和游戏行业。”

VON通过联合合成三维形状和二维图像来解决这个问题,研究人员将其称为“disentangled object representation”。图像生成模型被分解为形状、视点和纹理三个要素,在计算“2.5D”草图和添加纹理之前,首先学习三维形状的合成。

重要的是,因为这三个要素是条件独立的,模型不需要在二维和三维形状之间配对数据。这使得该团队能够对二维图像和三维形状的大规模集合进行训练,比如Pix3D、谷歌图像搜索和ShapeNet,后者包含了55个对象类别的数千个CAD模型。

为了让VON学习如何生成自己的形状,该团队训练了一个生成对抗网络(GAN),试图在上述三维形状数据集上区分生成样本和真实样本。纹理生成被“降级”到另一个基于GAN的神经网络

经过大约两到三天的训练,人工智能系统产生了逼真的128×128×128模型,具有真实的反射率、环境照度和反照率。

为了评估图像生成模型,团队计算了用于生成三维模型的Fréchet初始距离 。此外,他们还向亚马逊的Mechanical Turk上展示了200对由VON和最先进的模型生成的图像,被试者的任务是在每对图像中选择更加真实的结果。

VON的性能表现非常突出。与其它AI模型相比,它的Fréchet初始距离最低。Mechanical Turk被试者更喜欢VON生成的图像,比例高达74%至85%。

研究人员将专注于更加精细化的建模,以更高的分辨率生成形状和图像,将纹理分解为光照和外观,并合成自然场景。

研究团队写道:“我们的关键思想是将图像生成过程分解为三个要素:形状、视角和纹理,这种分离的3D表示方式使我们能够在对抗学习框架下从3D和2D视觉数据收集中学习模型。与现有的2D生成模型相比,我们的模型合成的图像更加逼真;它还允许3D操作,这用以前的2D方法是无法实现的。”

突飞猛进的GAN

近年来,对GAN的研究突飞猛进,尤其是在机器视觉领域:

Google旗下的DeepMind去年10月推出了一个基于GAN的系统,可以创建非常逼真的食物、风景、动物等照片;

今年9月,英伟达的研究人员开发了一种AI模型,可以对脑癌进行合成扫描;

今年8月,卡内基梅隆大学(Carnegie Mellon)的一个研究小组展示了如何利用人工智能将一个人录制下来的动作和面部表情在转移到另一张照片或视频中的目标对象;

最近,爱丁堡大学感知研究所和天文学研究所的科学家设计了一种可以产生高分辨率的星系图像。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 人工智能
    +关注

    关注

    1791

    文章

    47207

    浏览量

    238279
  • 3D图像
    +关注

    关注

    0

    文章

    38

    浏览量

    10722

原文标题:谷歌NeurIPS 2018论文:GAN生成3D模型,图像自带逼真效果

文章出处:【微信号:AI_era,微信公众号:新智元】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    嵌入式和人工智能究竟是什么关系?

    嵌入式和人工智能究竟是什么关系? 嵌入式系统是一种特殊的系统,它通常被嵌入到其他设备或机器中,以实现特定功能。嵌入式系统具有非常强的适应性和灵活性,能够根据用户需求进行定制化设计。它
    发表于 11-14 16:39

    《AI for Science:人工智能驱动科学创新》第一章人工智能驱动的科学创新学习心得

    ,还促进了新理论、新技术的诞生。 3. 挑战与机遇并存 尽管人工智能为科学创新带来了巨大潜力,但第一章也诚实地讨论了伴随而来的挑战。数据隐私、算法偏见、伦理道德等问题不容忽视。如何在利用AI提升科研效率
    发表于 10-14 09:12

    risc-v在人工智能图像处理应用前景分析

    人工智能推荐系统中强大的图形处理器(GPU)一争高下。其独特的设计使得该处理器在功耗受限的条件下仍能实现高性能的图像处理任务。 Ceremorphic公司 :该公司开发的分层学习处理器结合了
    发表于 09-28 11:00

    生成人工智能在教育中的应用

    生成人工智能在教育中的应用日益广泛,为教育领域带来了诸多变革和创新。以下是对生成人工智能在教育中的几个主要应用方面的详细阐述:
    的头像 发表于 09-16 16:07 848次阅读

    生成人工智能的概念_生成人工智能主要应用场景

    生成人工智能(Generative Artificial Intelligence,简称GAI)是一种先进的人工智能技术,其核心在于利用计算机算法和大量数据来生成新的、具有实际价值的
    的头像 发表于 09-16 16:05 1645次阅读

    FPGA在人工智能中的应用有哪些?

    FPGA(现场可编程门阵列)在人工智能领域的应用非常广泛,主要体现在以下几个方面: 一、深度学习加速 训练和推理过程加速:FPGA可以用来加速深度学习的训练和推理过程。由于其高并行性和低延迟特性
    发表于 07-29 17:05

    欢创播报 腾讯元宝首发3D生成应用

    App。 腾讯元宝APP发布时,就围绕工作效率场景、日常生活等场景提供了丰富的应用,并有创建个人智能体等个性化体验,“3D角色梦工厂”则将大模型生成技术和3D应用结合,进一步创新了元宝
    的头像 发表于 07-18 11:39 752次阅读
    欢创播报 腾讯元宝首发<b class='flag-5'>3D</b><b class='flag-5'>生成</b>应用

    Cognex发布了In-Sight® L38 3D视觉系统,为3D检测设立新标准

    人工智能(AI)驱动的3D视觉系统为自动化制造提供快速部署和可靠的检测功能。
    的头像 发表于 04-15 09:04 456次阅读

    NVIDIA生成式AI研究实现在1秒内生成3D形状

    NVIDIA 研究人员使 LATTE3D (一款最新文本转 3D 生成式 AI 模型)实现双倍加速。
    的头像 发表于 03-27 10:28 492次阅读
    NVIDIA<b class='flag-5'>生成</b>式AI研究实现在1秒内<b class='flag-5'>生成</b><b class='flag-5'>3D</b>形状

    KOALA人工智能图像生成模型问世

    近日,韩国科学团队宣布研发出名为 KOALA 的新型人工智能图像生成模型,该模型在速度和质量上均实现了显著突破。KOALA 能够在短短 2 秒内生成高质量图片,同时大幅降低了对硬件的需
    的头像 发表于 03-05 10:46 780次阅读

    嵌入式人工智能的就业方向有哪些?

    嵌入式人工智能的就业方向有哪些? 在新一轮科技革命与产业变革的时代背景下,嵌入式人工智能成为国家新型基础建设与传统产业升级的核心驱动力。同时在此背景驱动下,众多名企也纷纷在嵌入式人工智能领域布局
    发表于 02-26 10:17

    小白学大模型:什么是生成人工智能

    来源:Coggle数据科学什么是生成人工智能?在过去几年中,机器学习领域取得了迅猛进步,创造了人工智能的一个新的子领域:生成人工智能。这
    的头像 发表于 02-22 08:27 1679次阅读
    小白学大模型:什么是<b class='flag-5'>生成</b>式<b class='flag-5'>人工智能</b>?

    生成人工智能和感知式人工智能的区别

    生成新的内容和信息的人工智能系统。这些系统能够利用已有的数据和知识来生成全新的内容,如图片、音乐、文本等。
    的头像 发表于 02-19 16:43 1734次阅读

    Adobe提出DMV3D3D生成只需30秒!让文本、图像都动起来的新方法!

    因此,本文研究者的目标是实现快速、逼真和通用的 3D 生成。为此,他们提出了 DMV3D。DMV3D 是一种全新的单阶段的全类别扩散模型,能
    的头像 发表于 01-30 16:20 852次阅读
    Adobe提出DMV<b class='flag-5'>3D</b>:<b class='flag-5'>3D</b><b class='flag-5'>生成</b>只需30秒!让文本、<b class='flag-5'>图像</b>都动起来的新方法!

    生成人工智能的应用

    ChatGPT 虽然很酷,但这只是一个开始; 生成人工智能的企业用途要复杂得多。
    的头像 发表于 01-09 11:19 1301次阅读