0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

NVIDIA 3D MoMa技术可为虚拟爵士乐队调校乐器

科技绿洲 来源:NVIDIA英伟达 作者:NVIDIA英伟达 2022-06-23 14:53 次阅读

爵士乐的精髓在于即兴演奏, NVIDIA 正在通过 AI 研究向这一流派致敬。也许有一天,图形创作者可以使用快速创建出的 3D 物体,来一场即兴表演。

这个被称为“NVIDIA 3D MoMa”的方法可以让建筑师、设计师、概念艺术家和游戏开发者迅速将物体导入图形引擎,并开始对其进行处理——修改比例、改变材质或尝试不同的照明效果。

NVIDIA Research 在庆祝爵士乐及其发源地新奥尔良的视频中展示了这项技术。本周,关于 3D MoMa 的论文将在 CVPR 上发表。

基于 2D 图像创建 3D 物体

可逆渲染是将一系列静态照片重建为 3D 物体或场景模型的技术。NVIDIA 图形学研究副总裁 David Luebke 表示:“该技术长期以来一直是统一计算机视觉和计算机图形学的关键。”

他表示:“NVIDIA 3D MoMa 渲染流水线可以将可逆渲染问题的每个部分表示为 GPU 加速的可微分组件,然后使用现代 AI 机器和 NVIDIA GPU 的原始算力快速生成 3D 物体,且创作者可以在现有工具中自由地导入、编辑和扩展这些物体。”

为了使艺术家或工程师能够充分利用 3D 物体,其形式应能够导入游戏引擎、 3D 建模器和电影渲染器等各种被广泛使用的工具。带有纹理、材质的三角网格形式,就是此类 3D 工具使用的通用语言。

三角网格是用于定义 3D 图形和建模形状的基本框架

游戏工作室和其他创作者习惯于使用复杂的摄影测量技术来创建 3D 物体,这需要耗费大量的时间和精力。近期的神经辐射场(Neural Radiance Fields)研究可以快速生成物体或场景的 3D 模型,但并不是使用易于编辑的三角网格形式。

当在单个 NVIDIA Tensor Core GPU 上运行时, NVIDIA 3D MoMa 能在一个小时内生成三角网格模型。该流水线的输出结果与创作者现在使用的 3D 图形引擎和建模工具直接兼容。

流水线的重建功能包括 3D 网格模型、材质和照明。网格就像由三角形构建的 3D 形状混凝纸浆模型。有了它,开发者就可以依照自己的创意对物体进行修改。材质是叠加在 3D 网格上的 2D 纹理,就像人的皮肤一样。NVIDIA 3D MoMa 通过对场景光线进行估算,使创作者能够在日后修改物体上的照明。

为虚拟爵士乐队调校乐器

为了展示 NVIDIA 3D MoMa 的功能, NVIDIA 的研究和创意团队首先从不同角度收集了五种爵士乐队乐器(小号、长号、萨克斯、架子鼓和单簧管)的约 100 张图片。

NVIDIA 3D MoMa 将 2D 图像重建为每种乐器的 3D 表示,并以网格形式呈现。然后, NVIDIA 团队将这些乐器从原始场景中取出,并将其导入 NVIDIA Omniverse 3D 模拟平台中进行编辑。

在任何传统图形引擎中,创作者都可以轻松为形状调换由 NVIDIA 3D MoMa 生成的材质,就像给网格穿上不同的衣服一样。例如该团队对小号模型采取了这种做法,将原来的塑料材质快速更换成黄金、大理石、木材或软木。

然后,创作者可以将新编辑的物体放入任何虚拟场景中。NVIDIA 团队将这些乐器放入了经典的图形渲染质量测试康奈尔盒中。他们证明了虚拟乐器对光线的反应与在物理世界中完全一样:闪亮的铜管乐器反射出亮光,哑光的鼓皮则会吸收光线。

这些通过可逆渲染生成的新物体可以作为复杂动画场景的构成要素。

审核编辑:彭静
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 3D
    3D
    +关注

    关注

    9

    文章

    2851

    浏览量

    107258
  • NVIDIA
    +关注

    关注

    14

    文章

    4848

    浏览量

    102702
  • gpu
    gpu
    +关注

    关注

    28

    文章

    4673

    浏览量

    128555
收藏 人收藏

    评论

    相关推荐

    发掘3D文件格式的无限潜力:打造沉浸式虚拟世界

    在当今数字化时代,3D技术的应用范围日益广泛,涵盖电影后期制作、产品原型设计、虚拟现实(VR)、增强现实(AR)、游戏等众多领域。而3D文件格式作为
    的头像 发表于 09-26 18:14 1432次阅读
    发掘<b class='flag-5'>3D</b>文件格式的无限潜力:打造沉浸式<b class='flag-5'>虚拟</b>世界

    使用NVIDIA Edify助力的服务创建3D资产和虚拟环境照明

    使用 NVIDIA Edify 助力的服务创建 3D 资产和虚拟环境照明,或是减半生成图像时间。
    的头像 发表于 08-02 15:22 390次阅读

    裸眼3D笔记本电脑——先进的光场裸眼3D技术

    随着科技的不断进步,裸眼3D技术已经不再是科幻电影中的幻想。如今,英伦科技裸眼3D笔记本电脑将这一前沿科技带到了我们的日常生活中。无论你是专业的3D模型设计师,还是希望在视频播放和模型
    的头像 发表于 07-16 10:04 425次阅读

    奥比中光3D相机打造高质量、低成本的3D动作捕捉与3D动画内容生成方案

      在过去几十年里,动作捕捉(MoCap)技术经历了显著的发展,广泛被应用于电影、游戏、虚拟现实、医疗等多个领域。近期,奥比中光合作客户Moverse使用Orbbec Femto系列3D相机,打造出
    的头像 发表于 06-25 16:37 986次阅读

    3D建模的重要内容和应用

    3D建模是一种技术,通过计算机软件创建虚拟三维模型,模拟现实世界中的物体或场景。这项技术广泛应用于建筑设计、电影制作、游戏开发、工程仿真等领域。下面古河云科技将介绍一些与
    的头像 发表于 06-21 14:48 524次阅读

    VIVERSE 推行实时3D渲染: 探索Polygon Streaming技术力量与应用

    Streaming 3D 串流技术。 Polygon Streaming 3D 串流技术,支持高保真3D模型分享与协作,跨平台兼容,可以提
    的头像 发表于 05-31 15:49 2253次阅读
    VIVERSE 推行实时<b class='flag-5'>3D</b>渲染: 探索Polygon Streaming<b class='flag-5'>技术</b>力量与应用

    VR虚拟空间中的3D 技术

    随着科技的飞速发展,虚拟空间已成为元宇宙的重要呈现方式。从游戏到工业设计,从电子商务到文旅体验,3D相关技术虚拟空间中发挥着举足轻重的作用,决定着用户们能否真正能体会到VR的沉浸式体
    的头像 发表于 04-29 09:36 1488次阅读
    VR<b class='flag-5'>虚拟</b>空间中的<b class='flag-5'>3D</b> <b class='flag-5'>技术</b>

    NVIDIA生成式AI研究实现在1秒内生成3D形状

    NVIDIA 研究人员使 LATTE3D (一款最新文本转 3D 生成式 AI 模型)实现双倍加速。
    的头像 发表于 03-27 10:28 451次阅读
    <b class='flag-5'>NVIDIA</b>生成式AI研究实现在1秒内生成<b class='flag-5'>3D</b>形状

    奥比中光3D相机及方案亮相,携手NVIDIA探索机器人应用革新

    3月18日-22日,奥比中光作为英伟达NPN合作伙伴亮相NVIDIA GTC 2024 AI开发者大会,在美国加州圣何塞会议中心带来基于奥比中光3D相机与NVIDIA平台开发的多个演示
    的头像 发表于 03-19 17:20 618次阅读

    中国科研团队突破全息3D显示技术

    全息显示技术为真正的3D显示提供了终极解决方案,在增强现实和虚拟现实方面具有巨大的潜力。然而,全息3D显示的颜色和视角主要取决于激光的波长和当前空间光调制器的像素尺寸。
    发表于 01-26 12:45 631次阅读
    中国科研团队突破全息<b class='flag-5'>3D</b>显示<b class='flag-5'>技术</b>

    2D3D视觉技术的比较

    作为一个多年经验的机器视觉工程师,我将详细介绍2D3D视觉技术的不同特点、应用场景以及它们能够解决的问题。在这个领域内,2D3D视觉
    的头像 发表于 12-21 09:19 1040次阅读

    提供3D打印材料与解决方案,助力3D打印产业发展

    提供3D打印材料与解决方案,助力3D打印产业发展
    的头像 发表于 12-12 11:12 493次阅读

    3D 封装与 3D 集成有何区别?

    3D 封装与 3D 集成有何区别?
    的头像 发表于 12-05 15:19 944次阅读
    <b class='flag-5'>3D</b> 封装与 <b class='flag-5'>3D</b> 集成有何区别?

    阿迪达斯与 Covision Media 使用 AI 和 NVIDIA RTX 创建逼真的 3D 内容

    Covision 的基于 AI 的 3D 技术可帮助企业扫描数千种产品,为网站和移动应用创建逼真的 3D 图像、视频和 AR 体验。 将实体产品扫描成 3D 模型是一项十分耗时的工作。
    的头像 发表于 11-28 18:45 599次阅读
    阿迪达斯与 Covision Media 使用 AI 和 <b class='flag-5'>NVIDIA</b> RTX 创建逼真的 <b class='flag-5'>3D</b> 内容

    当芯片变身 3D系统,3D异构集成面临哪些挑战

    当芯片变身 3D 系统,3D 异构集成面临哪些挑战
    的头像 发表于 11-24 17:51 750次阅读
    当芯片变身 <b class='flag-5'>3D</b>系统,<b class='flag-5'>3D</b>异构集成面临哪些挑战