0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

微软新AI框架可在2D图像上生成3D图像

汽车玩家 来源:雷锋网 作者:雷锋网 2020-03-07 14:23 次阅读

已经有不少机构在将 2D 图像转换为 3D 形式的方面进行了尝试,包括 Facebook、Nvidia 等公司AI 研究实验室,或是类似 Threedy.AI 这样的初创公司。近日,来自微软的研究团队也发表了一篇预印论文,展示了其在非结构化 2D 图像的基础上生成 3D 形状图像的能力。


雷锋网注:上图为微软模型生成的 3D沙发,椅子和浴缸图像

通常来说,训练这样的框架需要通过栅格化处理来进行微分步骤渲染,因此,过去研究人员在该领域的努力都专注于开发定制渲染模型。然而,通过此类模型处理的图像会显得不够真实自然,也不适合用于生成游戏以及图形产业的工业效果图。

微软的研究人员这一次做了新的突破——他们在论文中详细介绍了一个框架,该框架采用的“可缩放”训练技术是第一次被用于这一领域。研究人员提到,在使用 2D 图像进行训练时,该框架始终可以比现有的模型生成效果更好的 3D 形状,这对于视频游戏开发人员、电子商务公司,以及缺乏创建 3D 模型经验的动画公司来说,称得上是“福音”。

具体来说,研究人员试图利用功能齐全的工业渲染器,该渲染器可以根据显示数据来生成图像。为此,研究人员训练了 3D 形状的生成模型,以便渲染形状并生成与 2D 数据集分布相匹配的图像。生成器模型采用随机输入向量(代表数据集特征的值)并生成 3D 对象的连续体素表示(3D 空间中网格上的值),然后将体素输入到不可微分的渲染过程中,并在使用现有渲染器进行渲染之前将其阈值降低为离散值。

也就是说,这是一种新颖的代理神经渲染器直接渲染由 3D 形状生成模型生成的连续体素网格的方式。正如研究人员所解释的那样,在给定 3D 网格输入的情况下,需要对其进行训练以匹配现成渲染器的渲染输出。

生成式对抗网络(GANS)在产生 2D 图像数据方面的成果令人印象深刻,许多视觉应用,比如游戏,都需要 3D 模型作为输入,而不仅仅是图像。但是,直接将现有的 GAN 模型扩展到 3D,需要获取 3D 训练数据。

雷锋网注:上图为微软模型生成的 3D 蘑菇图像

在实验过程中,研究团队为上述生成器采用了 3D 卷积 GAN 架构(GAN 是一个由两部分组成的 AI 模型,其中包括生成器,这些生成器使用分布式采样从随机噪声中生成合成示例,并将这些示例与训练数据集中的真实示例一起馈入鉴别器中,以尝试区分两者)。基于 3D 模型生成的数据集和真实的数据集可以合成来自不同对象类别的图像,并在整个训练过程中从不同角度进行渲染。

研究人员还表示,他们的框架还会从图像中提取照明和阴影信息,使其能够从每个训练样本中提取更多有意义的数据,并在此基础上产生更好的结果。在对自然图像的数据集进行训练之后,该框架可以生成逼真的样本。此外,该框架还可以利用表面之间的曝光差异来成功检测出凹形物体的内部结构,从而使准确地捕获凹形程度和中空空间。

将颜色,材料和照明等信息合并到系统中,未来,这些信息就可以与更多“常规”实际数据集一起使用。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 微软
    +关注

    关注

    4

    文章

    6564

    浏览量

    103937
  • AI
    AI
    +关注

    关注

    87

    文章

    30072

    浏览量

    268339
收藏 人收藏

    评论

    相关推荐

    NVIDIA Instant NeRF将多组静态图像变为3D数字场景

    想象一幅风光旖旎的画面,比如水畔的悬崖峭壁。即便只是 2D 图像,如此美景依旧令人心驰神往。如果同一画面能以 3D 效果展现,那么无需跋涉就能身临其境。
    的头像 发表于 05-07 09:15 377次阅读

    通过2D/3D异质结构精确控制铁电材料弛豫时间

    受经典德拜弛豫启发的米勒模型提供了通过操纵弛豫时间来控制自发极化的理论框架。作者通过使用层转移技术形成的2D/C-3D/2D异质结构克服了传统异质结存在的铁电性恶化和能量损失的问题。
    的头像 发表于 04-29 10:27 570次阅读
    通过<b class='flag-5'>2D</b>/<b class='flag-5'>3D</b>异质结构精确控制铁电材料弛豫时间

    NVIDIA生成AI研究实现在1秒内生成3D形状

    NVIDIA 研究人员使 LATTE3D (一款最新文本转 3D 生成AI 模型)实现双倍加速。
    的头像 发表于 03-27 10:28 464次阅读
    NVIDIA<b class='flag-5'>生成</b>式<b class='flag-5'>AI</b>研究实现在1秒内<b class='flag-5'>生成</b><b class='flag-5'>3D</b>形状

    Stability AI推出全新Stable Video 3D模型

    近日,Stability AI 推出了全新的 Stable Video 3D 模型,该模型以其独特的功能吸引了众多关注。此模型具备从单张图像生成多视图
    的头像 发表于 03-22 10:30 776次阅读

    有了2D NAND,为什么要升级到3D呢?

    2D NAND和3D NAND都是非易失性存储技术(NVM Non-VolatileMemory),属于Memory(存储器)的一种。
    的头像 发表于 03-17 15:31 911次阅读
    有了<b class='flag-5'>2D</b> NAND,为什么要升级到<b class='flag-5'>3D</b>呢?

    将MLX75027 3D图像传感器与CX3 RDK MIPI开发板连接后报错如何解决?

    我们打算将MLX75027 3D图像传感器与CX3 RDK MIPI开发板连接,但EZ-USB-suite软件中配置MIPI块参数中针对的是2D图像
    发表于 02-28 07:41

    AI创企Meshy推出Meshy-2文生3D图像模型

    近日,领先的AI创企Meshy宣布推出其第二代产品——Meshy-2,这款产品以其出色的网格生成能力和丰富的几何图形细节,为3D图形生成领域
    的头像 发表于 02-18 11:24 1018次阅读

    Adobe提出DMV3D3D生成只需30秒!让文本、图像都动起来的新方法!

    因此,本文研究者的目标是实现快速、逼真和通用的 3D 生成。为此,他们提出了 DMV3D。DMV3D 是一种全新的单阶段的全类别扩散模型,能直接根据模型文字或单张图片的输入,
    的头像 发表于 01-30 16:20 799次阅读
    Adobe提出DMV<b class='flag-5'>3D</b>:<b class='flag-5'>3D</b><b class='flag-5'>生成</b>只需30秒!让文本、<b class='flag-5'>图像</b>都动起来的新方法!

    介绍一种使用2D材料进行3D集成的新方法

    美国宾夕法尼亚州立大学的研究人员展示了一种使用2D材料进行3D集成的新颖方法。
    的头像 发表于 01-13 11:37 1024次阅读

    一种用于2D/3D图像处理算法的指令集架构以及对应的算法部署方法

    二维(2D)和三维(3D)双模视觉信息在自动驾驶、工业机器人、人机交互等前沿领域具有广泛的应用前景。
    的头像 发表于 01-05 10:35 428次阅读
    一种用于<b class='flag-5'>2D</b>/<b class='flag-5'>3D</b><b class='flag-5'>图像</b>处理算法的指令集架构以及对应的算法部署方法

    一文了解3D视觉和2D视觉的区别

    一文了解3D视觉和2D视觉的区别 3D视觉和2D视觉是两种不同的视觉模式,其区别主要体现在立体感、深度感和逼真度上。本文将详细阐述这些区别,并解释为什么
    的头像 发表于 12-25 11:15 2859次阅读

    2D图像和LiDAR的3D点云之间的配准方法

    建立2D-3D的对应关系首先通过交叉区域检测,在两个模态中去除离群区域,然后利用交叉模态潜在空间的最近邻原则进行2D-3D特征匹配。
    发表于 12-22 11:29 1947次阅读
    <b class='flag-5'>2D</b><b class='flag-5'>图像</b>和LiDAR的<b class='flag-5'>3D</b>点云之间的配准方法

    2D3D视觉技术的比较

    作为一个多年经验的机器视觉工程师,我将详细介绍2D3D视觉技术的不同特点、应用场景以及它们能够解决的问题。在这个领域内,2D3D视觉技术是实现自动化和智能制造的关键技术,它们在工业
    的头像 发表于 12-21 09:19 1055次阅读

    3D人体生成模型HumanGaussian实现原理

    3D 生成领域,根据文本提示创建高质量的 3D 人体外观和几何形状对虚拟试穿、沉浸式远程呈现等应用有深远的意义。传统方法需要经历一系列人工制作的过程,如 3D 人体模型回归、绑定、
    的头像 发表于 12-20 16:37 1505次阅读
    <b class='flag-5'>3D</b>人体<b class='flag-5'>生成</b>模型HumanGaussian实现原理

    使用Python从2D图像进行3D重建过程详解

    有许多不同的方法和算法可用于从2D图像执行3D重建。选择的方法取决于诸如输入图像的质量、摄像机校准信息的可用性以及重建的期望准确性和速度等因素。
    的头像 发表于 12-05 14:07 2803次阅读
    使用Python从<b class='flag-5'>2D</b><b class='flag-5'>图像</b>进行<b class='flag-5'>3D</b>重建过程详解