0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

微软新AI框架可在2D图像上生成3D图像

汽车玩家 来源:雷锋网 作者:雷锋网 2020-03-07 14:23 次阅读

已经有不少机构在将 2D 图像转换为 3D 形式的方面进行了尝试,包括 Facebook、Nvidia 等公司AI 研究实验室,或是类似 Threedy.AI 这样的初创公司。近日,来自微软的研究团队也发表了一篇预印论文,展示了其在非结构化 2D 图像的基础上生成 3D 形状图像的能力。


雷锋网注:上图为微软模型生成的 3D沙发,椅子和浴缸图像

通常来说,训练这样的框架需要通过栅格化处理来进行微分步骤渲染,因此,过去研究人员在该领域的努力都专注于开发定制渲染模型。然而,通过此类模型处理的图像会显得不够真实自然,也不适合用于生成游戏以及图形产业的工业效果图。

微软的研究人员这一次做了新的突破——他们在论文中详细介绍了一个框架,该框架采用的“可缩放”训练技术是第一次被用于这一领域。研究人员提到,在使用 2D 图像进行训练时,该框架始终可以比现有的模型生成效果更好的 3D 形状,这对于视频游戏开发人员、电子商务公司,以及缺乏创建 3D 模型经验的动画公司来说,称得上是“福音”。

具体来说,研究人员试图利用功能齐全的工业渲染器,该渲染器可以根据显示数据来生成图像。为此,研究人员训练了 3D 形状的生成模型,以便渲染形状并生成与 2D 数据集分布相匹配的图像。生成器模型采用随机输入向量(代表数据集特征的值)并生成 3D 对象的连续体素表示(3D 空间中网格上的值),然后将体素输入到不可微分的渲染过程中,并在使用现有渲染器进行渲染之前将其阈值降低为离散值。

也就是说,这是一种新颖的代理神经渲染器直接渲染由 3D 形状生成模型生成的连续体素网格的方式。正如研究人员所解释的那样,在给定 3D 网格输入的情况下,需要对其进行训练以匹配现成渲染器的渲染输出。

生成式对抗网络(GANS)在产生 2D 图像数据方面的成果令人印象深刻,许多视觉应用,比如游戏,都需要 3D 模型作为输入,而不仅仅是图像。但是,直接将现有的 GAN 模型扩展到 3D,需要获取 3D 训练数据。

雷锋网注:上图为微软模型生成的 3D 蘑菇图像

在实验过程中,研究团队为上述生成器采用了 3D 卷积 GAN 架构(GAN 是一个由两部分组成的 AI 模型,其中包括生成器,这些生成器使用分布式采样从随机噪声中生成合成示例,并将这些示例与训练数据集中的真实示例一起馈入鉴别器中,以尝试区分两者)。基于 3D 模型生成的数据集和真实的数据集可以合成来自不同对象类别的图像,并在整个训练过程中从不同角度进行渲染。

研究人员还表示,他们的框架还会从图像中提取照明和阴影信息,使其能够从每个训练样本中提取更多有意义的数据,并在此基础上产生更好的结果。在对自然图像的数据集进行训练之后,该框架可以生成逼真的样本。此外,该框架还可以利用表面之间的曝光差异来成功检测出凹形物体的内部结构,从而使准确地捕获凹形程度和中空空间。

将颜色,材料和照明等信息合并到系统中,未来,这些信息就可以与更多“常规”实际数据集一起使用。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 微软
    +关注

    关注

    4

    文章

    6641

    浏览量

    104645
  • AI
    AI
    +关注

    关注

    87

    文章

    32007

    浏览量

    270844
收藏 人收藏

    相关推荐

    腾讯混元3D AI创作引擎正式发布

    AI技术,能够根据用户提供的提示词或图片,直接生成高质量的3D模型。这一功能极大地降低了3D内容创作的门槛,使得即使是缺乏专业3D建模技能
    的头像 发表于 01-23 10:33 216次阅读

    腾讯混元3D AI创作引擎正式上线

    近日,腾讯公司宣布其自主研发的混元3D AI创作引擎已正式上线。这一创新性的创作工具,标志着腾讯在3D内容生成领域迈出了重要一步。 混元3D
    的头像 发表于 01-22 10:26 196次阅读

    AN-1249:使用ADV8003评估板将3D图像转换成2D图像

    电子发烧友网站提供《AN-1249:使用ADV8003评估板将3D图像转换成2D图像.pdf》资料免费下载
    发表于 01-08 14:28 0次下载
    AN-1249:使用ADV8003评估板将<b class='flag-5'>3D</b><b class='flag-5'>图像</b>转换成<b class='flag-5'>2D</b><b class='flag-5'>图像</b>

    3D封装热设计:挑战与机遇并存

    随着半导体技术的不断发展,芯片封装技术也在持续进步。目前,2D封装和3D封装是两种主流的封装技术。这两种封装技术在散热路径和热设计方面有着各自的特点和挑战。本文将深入探讨2D封装和3D
    的头像 发表于 07-25 09:46 1597次阅读
    <b class='flag-5'>3D</b>封装热设计:挑战与机遇并存

    欢创播报 腾讯元宝首发3D生成应用

    1 腾讯元宝首发3D生成应用 只需一张照片,便能迅速打造独一无二的3D角色。7月16日,腾讯旗下大模型应用“腾讯元宝”上线了“3D角色梦工厂”玩法,腾讯元宝也是首个拥有打印级
    的头像 发表于 07-18 11:39 866次阅读
    欢创播报 腾讯元宝首发<b class='flag-5'>3D</b><b class='flag-5'>生成</b>应用

    紫光展锐助力全球首款AI裸眼3D手机发布

    1.4亿台,展示了该技术巨大的市场潜力和增长空间。近日,全球首款AI裸眼3D手机——中兴远航3D重磅上市。凭借微米级3D光栅技术、Neovision
    的头像 发表于 07-15 16:00 777次阅读

    英伦科技的15.6寸2D-3D可切换光场裸眼3D显示屏有哪些特点?

    随着科技的快速发展,人类对于视觉体验的追求也在不断攀升。从平面的2D图像到立体的3D影像,我们一直在探索如何让虚拟世界更加逼真。如今,英伦科技凭借其创新实力,推出了一款革命性的显示设备——15.6寸
    的头像 发表于 05-28 11:17 454次阅读
    英伦科技的15.6寸<b class='flag-5'>2D-3D</b>可切换光场裸眼<b class='flag-5'>3D</b>显示屏有哪些特点?

    Teledyne e2v公司和Airy3D公司合作,提供更实惠的3D视觉解决方案

    。 △Topaz5D™是一款1,920 x 1,080分辨率的低噪声全局快门2D3D图像传感器。Teledyne e2v Teledyne
    的头像 发表于 05-11 10:12 475次阅读
    Teledyne e<b class='flag-5'>2</b>v公司和Airy<b class='flag-5'>3D</b>公司合作,提供更实惠的<b class='flag-5'>3D</b>视觉解决方案

    NVIDIA Instant NeRF将多组静态图像变为3D数字场景

    想象一幅风光旖旎的画面,比如水畔的悬崖峭壁。即便只是 2D 图像,如此美景依旧令人心驰神往。如果同一画面能以 3D 效果展现,那么无需跋涉就能身临其境。
    的头像 发表于 05-07 09:15 485次阅读

    通过2D/3D异质结构精确控制铁电材料弛豫时间

    受经典德拜弛豫启发的米勒模型提供了通过操纵弛豫时间来控制自发极化的理论框架。作者通过使用层转移技术形成的2D/C-3D/2D异质结构克服了传统异质结存在的铁电性恶化和能量损失的问题。
    的头像 发表于 04-29 10:27 835次阅读
    通过<b class='flag-5'>2D</b>/<b class='flag-5'>3D</b>异质结构精确控制铁电材料弛豫时间

    Teledyne e2v宣布推出一款全高清CMOS图像传感器:Topaz5D

    据麦姆斯咨询报道,近期,Teledyne科技旗下公司、全球成像解决方案创新者Teledyne e2v宣布推出一款全高清CMOS图像传感器:Topaz5D™,旨在将2D视觉与
    的头像 发表于 04-11 14:14 728次阅读

    NVIDIA生成AI研究实现在1秒内生成3D形状

    NVIDIA 研究人员使 LATTE3D (一款最新文本转 3D 生成AI 模型)实现双倍加速。
    的头像 发表于 03-27 10:28 586次阅读
    NVIDIA<b class='flag-5'>生成</b>式<b class='flag-5'>AI</b>研究实现在1秒内<b class='flag-5'>生成</b><b class='flag-5'>3D</b>形状

    Stability AI推出全新Stable Video 3D模型

    近日,Stability AI 推出了全新的 Stable Video 3D 模型,该模型以其独特的功能吸引了众多关注。此模型具备从单张图像生成多视图
    的头像 发表于 03-22 10:30 979次阅读

    有了2D NAND,为什么要升级到3D呢?

    2D NAND和3D NAND都是非易失性存储技术(NVM Non-VolatileMemory),属于Memory(存储器)的一种。
    的头像 发表于 03-17 15:31 1164次阅读
    有了<b class='flag-5'>2D</b> NAND,为什么要升级到<b class='flag-5'>3D</b>呢?

    将MLX75027 3D图像传感器与CX3 RDK MIPI开发板连接后报错如何解决?

    我们打算将MLX75027 3D图像传感器与CX3 RDK MIPI开发板连接,但EZ-USB-suite软件中配置MIPI块参数中针对的是2D图像
    发表于 02-28 07:41