0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

NVIDIA 3D MoMa:基于2D图像创建3D物体

NVIDIA英伟达企业解决方案 来源:NVIDIA英伟达企业解决方案 作者:NVIDIA英伟达企业解 2022-06-23 11:00 次阅读

可逆渲染流程 NVIDIA 3D MoMa 将于本周在新奥尔良举行的计算机视觉和模式识别会议 CVPR 上亮相。

爵士乐的精髓在于即兴演奏, NVIDIA 正在通过 AI 研究向这一流派致敬。也许有一天,图形创作者可以使用快速创建出的 3D 物体,来一场即兴表演。

这个被称为“NVIDIA 3D MoMa”的方法可以让建筑师、设计师、概念艺术家和游戏开发者迅速将物体导入图形引擎,并开始对其进行处理——修改比例、改变材质或尝试不同的照明效果。

NVIDIA Research 在庆祝爵士乐及其发源地新奥尔良的视频中展示了这项技术。本周,关于 3D MoMa 的论文将在 CVPR 上发表。

基于 2D 图像创建 3D 物体

可逆渲染是将一系列静态照片重建为 3D 物体或场景模型的技术。NVIDIA 图形学研究副总裁 David Luebke 表示:“该技术长期以来一直是统一计算机视觉和计算机图形学的关键。”

他表示:“NVIDIA 3D MoMa 渲染流水线可以将可逆渲染问题的每个部分表示为 GPU 加速的可微分组件,然后使用现代 AI 机器和 NVIDIA GPU 的原始算力快速生成 3D 物体,且创作者可以在现有工具中自由地导入、编辑和扩展这些物体。”

为了使艺术家或工程师能够充分利用 3D 物体,其形式应能够导入游戏引擎、 3D 建模器和电影渲染器等各种被广泛使用的工具。带有纹理、材质的三角网格形式,就是此类 3D 工具使用的通用语言。

游戏工作室和其他创作者习惯于使用复杂的摄影测量技术来创建 3D 物体,这需要耗费大量的时间和精力。近期的神经辐射场(Neural Radiance Fields)研究可以快速生成物体或场景的 3D 模型,但并不是使用易于编辑的三角网格形式。

当在单个 NVIDIA Tensor Core GPU 上运行时, NVIDIA 3D MoMa 能在一个小时内生成三角网格模型。该流水线的输出结果与创作者现在使用的 3D 图形引擎和建模工具直接兼容。

流水线的重建功能包括 3D 网格模型、材质和照明。网格就像由三角形构建的 3D 形状混凝纸浆模型。有了它,开发者就可以依照自己的创意对物体进行修改。材质是叠加在 3D 网格上的 2D 纹理,就像人的皮肤一样。NVIDIA 3D MoMa 通过对场景光线进行估算,使创作者能够在日后修改物体上的照明。

为虚拟爵士乐队调校乐器

为了展示 NVIDIA 3D MoMa 的功能, NVIDIA 的研究和创意团队首先从不同角度收集了五种爵士乐队乐器(小号、长号、萨克斯、架子鼓和单簧管)的约 100 张图片。

NVIDIA 3D MoMa 将 2D 图像重建为每种乐器的 3D 表示,并以网格形式呈现。然后, NVIDIA 团队将这些乐器从原始场景中取出,并将其导入 NVIDIA Omniverse 3D 模拟平台中进行编辑。

在任何传统图形引擎中,创作者都可以轻松为形状调换由 NVIDIA 3D MoMa 生成的材质,就像给网格穿上不同的衣服一样。例如该团队对小号模型采取了这种做法,将原来的塑料材质快速更换成黄金、大理石、木材或软木。

然后,创作者可以将新编辑的物体放入任何虚拟场景中。NVIDIA 团队将这些乐器放入了经典的图形渲染质量测试康奈尔盒中。他们证明了虚拟乐器对光线的反应与在物理世界中完全一样:闪亮的铜管乐器反射出亮光,哑光的鼓皮则会吸收光线。

这些通过可逆渲染生成的新物体可以作为复杂动画场景的构成要素。视频的最后展示了虚拟爵士乐队。

关于 NVIDIA 3D MoMa 的论文将于北京时间 6 月 23 日凌晨 2:30 分 在 CVPR 的分会场上发表。这是 NVIDIA 作者在本次会议上发表的 38 篇论文之一。点击“阅读原文”,进一步了解 NVIDIA Research 在 CVPR 上发布的内容。

原文标题:CVPR 发布 | 得心应手的 AI:NVIDIA Research 助力内容创作者使用 3D 物体进行即兴创作

文章出处:【微信公众号:NVIDIA英伟达企业解决方案】欢迎添加关注!文章转载请注明出处。

审核编辑:汤梓红

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 3D
    3D
    +关注

    关注

    9

    文章

    2863

    浏览量

    107328
  • NVIDIA
    +关注

    关注

    14

    文章

    4940

    浏览量

    102816
  • AI
    AI
    +关注

    关注

    87

    文章

    30146

    浏览量

    268418

原文标题:CVPR 发布 | 得心应手的 AI:NVIDIA Research 助力内容创作者使用 3D 物体进行即兴创作

文章出处:【微信号:NVIDIA-Enterprise,微信公众号:NVIDIA英伟达企业解决方案】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    使用NVIDIA Edify助力的服务创建3D资产和虚拟环境照明

    使用 NVIDIA Edify 助力的服务创建 3D 资产和虚拟环境照明,或是减半生成图像时间。
    的头像 发表于 08-02 15:22 444次阅读

    3D封装热设计:挑战与机遇并存

    随着半导体技术的不断发展,芯片封装技术也在持续进步。目前,2D封装和3D封装是两种主流的封装技术。这两种封装技术在散热路径和热设计方面有着各自的特点和挑战。本文将深入探讨2D封装和3D
    的头像 发表于 07-25 09:46 1295次阅读
    <b class='flag-5'>3D</b>封装热设计:挑战与机遇并存

    有了2D NAND,为什么要升级到3D呢?

    2D NAND和3D NAND都是非易失性存储技术(NVM Non-VolatileMemory),属于Memory(存储器)的一种。
    的头像 发表于 03-17 15:31 928次阅读
    有了<b class='flag-5'>2D</b> NAND,为什么要升级到<b class='flag-5'>3D</b>呢?

    Nullmax提出多相机3D目标检测新方法QAF2D

    今天上午,计算机视觉领域顶会CVPR公布了最终的论文接收结果,Nullmax感知部门的3D目标检测研究《Enhancing 3D Object Detection with 2D Detection-Guided Query A
    的头像 发表于 02-27 16:38 1078次阅读
    Nullmax提出多相机<b class='flag-5'>3D</b>目标检测新方法QAF<b class='flag-5'>2D</b>

    高分工作!Uni3D3D基础大模型,刷新多个SOTA!

    我们主要探索了3D视觉中scale up模型参数量和统一模型架构的可能性。在NLP / 2D vision领域,scale up大模型(GPT-4,SAM,EVA等)已经取得了很impressive
    的头像 发表于 01-30 15:56 794次阅读
    高分工作!Uni<b class='flag-5'>3D</b>:<b class='flag-5'>3D</b>基础大模型,刷新多个SOTA!

    介绍一种使用2D材料进行3D集成的新方法

    美国宾夕法尼亚州立大学的研究人员展示了一种使用2D材料进行3D集成的新颖方法。
    的头像 发表于 01-13 11:37 1031次阅读

    友思特C系列3D相机:实时3D点云图像

    3D相机
    虹科光电
    发布于 :2024年01月10日 17:39:25

    如何搞定自动驾驶3D目标检测!

    可用于自动驾驶场景下基于图像3D目标检测的数据集总结。其中一些数据集包括多个任务,这里只报告了3D检测基准(例如KITTI 3D发布了超过40K的
    发表于 01-05 10:43 548次阅读
    如何搞定自动驾驶<b class='flag-5'>3D</b>目标检测!

    一文了解3D视觉和2D视觉的区别

    3D视觉与2D视觉最明显的区别在于立体感。2D视觉只有两个维度,即宽度和高度;而3D视觉则具有额外的深度维度。通过模拟真实世界中的第三个维度,3D
    的头像 发表于 12-25 11:15 2879次阅读

    2D3D视觉技术的比较

    作为一个多年经验的机器视觉工程师,我将详细介绍2D3D视觉技术的不同特点、应用场景以及它们能够解决的问题。在这个领域内,2D3D视觉技术是实现自动化和智能制造的关键技术,它们在工业
    的头像 发表于 12-21 09:19 1063次阅读

    3D人体生成模型HumanGaussian实现原理

    3D 生成领域,根据文本提示创建高质量的 3D 人体外观和几何形状对虚拟试穿、沉浸式远程呈现等应用有深远的意义。传统方法需要经历一系列人工制作的过程,如 3D 人体模型回归、绑定、
    的头像 发表于 12-20 16:37 1519次阅读
    <b class='flag-5'>3D</b>人体生成模型HumanGaussian实现原理

    提供3D打印材料与解决方案,助力3D打印产业发展

    提供3D打印材料与解决方案,助力3D打印产业发展
    的头像 发表于 12-12 11:12 525次阅读

    3D 封装与 3D 集成有何区别?

    3D 封装与 3D 集成有何区别?
    的头像 发表于 12-05 15:19 992次阅读
    <b class='flag-5'>3D</b> 封装与 <b class='flag-5'>3D</b> 集成有何区别?

    使用Python从2D图像进行3D重建过程详解

    有许多不同的方法和算法可用于从2D图像执行3D重建。选择的方法取决于诸如输入图像的质量、摄像机校准信息的可用性以及重建的期望准确性和速度等因素。
    的头像 发表于 12-05 14:07 2828次阅读
    使用Python从<b class='flag-5'>2D</b><b class='flag-5'>图像</b>进行<b class='flag-5'>3D</b>重建过程详解

    阿迪达斯与 Covision Media 使用 AI 和 NVIDIA RTX 创建逼真的 3D 内容

    Covision 的基于 AI 的 3D 技术可帮助企业扫描数千种产品,为网站和移动应用创建逼真的 3D 图像、视频和 AR 体验。 将实体产品扫描成
    的头像 发表于 11-28 18:45 628次阅读
    阿迪达斯与 Covision Media 使用 AI 和 <b class='flag-5'>NVIDIA</b> RTX <b class='flag-5'>创建</b>逼真的 <b class='flag-5'>3D</b> 内容