0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

NVIDIA Instant NeRF将多组静态图像变为3D数字场景

NVIDIA英伟达企业解决方案 来源:NVIDIA英伟达企业解决方案 2024-05-07 09:15 次阅读

了解 AI 研究项目如何在数秒内帮助艺术家等用户用 2D 图像打造 3D 体验。

想象一幅风光旖旎的画面,比如水畔的悬崖峭壁。即便只是 2D 图像,如此美景依旧令人心驰神往。如果同一画面能以 3D 效果展现,那么无需跋涉就能身临其境。

NVIDIA RTX 技术驱动的 AI 恰恰能让我们得偿所愿。创作者运用 Instant NeRF 便能在短短数秒之间将多组静态图像变为 3D 数字场景。

简单好用的辐射场

AI 模型 NeRF 全称为“神经辐射场”,可通过输入表现某个场景的 2D 图像并在其间执行插值,渲染完整的 3D 场景。NeRF 以神经网络的形式运行,后者是一种复制大脑组织形式的模型,常用于需要模式识别的任务。

NeRF 在运用空间位置和体积渲染的基础上,通过图像的相机位姿对场景的 3D 迭代进行渲染。这类模型的计算量往往很大,因此对渲染能力的要求很高,耗时也较久。

NVIDIA 近日的 AI 研究项目带来了破局之策。

Instant NeRF 使 NeRF 全面升级:通过 AI 加速的逆渲染,对光的现实表现形式进行估计,帮助研究人员运用从不同角度拍摄的 2D 图像构建 3D 场景。现在只需几秒即可生成场景,而且 3D 渲染成品的精细程度与 NeRF 模型的训练时长成正比。

在 2022 年的 SIGGRAPH 计算机图形会议上,NVIDIA 的研究人员发布了四个神经图形基础样例(以及预训练数据集,均属于 Instant-NGP 训练工具集)。人们可以借此用自己的数据创建 NeRF。这些研究人员凭借该项成果获得了最佳论文奖,《时代》周刊也将 Instant NeRF 评为了 2022 年度最佳发明。

Instant NeRF 不仅能够加快 NeRF 渲染,还可通过 NVIDIA RTX 和 GeForce RTX 台式电脑和笔记本电脑的 GPU 完成整个图像重建过程。虽然场景渲染时长取决于数据集规模、图像和视频源内容等多种因素,但 AI 训练并不需要服务器级或基于云的硬件

NVIDIA RTX 工作站和 GeForce RTX PC 是满足 NeRF 渲染计算需求的理想之选。NVIDIA RTX 和 GeForce RTX GPU 配备专用的 AI 硬件加速器 Tensor Core,可为在本地运行生成式 AI 提供强大动力。

各就各位,整装待发,强势出击

开启 Instant NeRF 探索之旅,了解辐射场并以全新方式体验画面之美。

开发者和技术发烧友可以下载源代码库进行编译。非技术用户也可以从 GitHub 上下载 Instant-NGP 软件的 Windows 安装程序。

虽然此安装程序适用于多种 RTX GPU,但拥有最新架构的 GeForce RTX 40 系列和 NVIDIA RTX Ada Generation GPU 才能充分发挥它的实力。

《Instant NeRF 入门》指南在介绍功能的同时,也将引导用户完成全程操作,包括加载“NeRF Fox”等单个基础样例,以便了解可实现的效果。详细说明和类似上文的视频演示针对如何使用自定义数据创建 NeRF 进行了讲解,包括获取优质输入图像的方式、基于源代码编译代码库的技巧等。该指南也针对 Instant NeRF 图形用户界面的使用、场景参数优化、基于场景创建动画等内容进行了说明。

图像、视频、现实的层层递进

借助 AI 将图像变为 3D 场景已令人惊叹,但更神奇的是进行 3D 创作。

从 Instant NeRF 的一项最近更新开始,用户可以基于静态图像进行场景渲染,模拟置身虚拟环境之中,在 3D 空间里自由移动。用户只要在虚拟现实 (VR) 环境中戴上头显设备,就将完全置身新的世界,感受身临其境的体验。

其中蕴藏的潜力几乎是无穷无尽的。

举例而言,房屋中介可以创建并分享 3D 房产模型,升级虚拟看房体验;零售商可以通过一组图像和 RTX GPU 上运行的 AI 在网店中展示产品。这些 AI 模型能驱动创造力,让其他行业也能利用身临其境的 3D 体验。

使用 Instant NeRF 即可在 VR 中轻松清理场景,降低了高品质 NeRF 的创建难度。

下载 Instant-NGP 开始创作之旅。

生成式 AI 正改变各类游戏、视频会议和互动体验。


审核编辑:刘清
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • NVIDIA
    +关注

    关注

    14

    文章

    4838

    浏览量

    102683
  • gpu
    gpu
    +关注

    关注

    28

    文章

    4661

    浏览量

    128528
  • 无人机
    +关注

    关注

    226

    文章

    10287

    浏览量

    178907
  • 硬件加速器
    +关注

    关注

    0

    文章

    41

    浏览量

    12744

原文标题:“动”起来的图片:NVIDIA Instant NeRF 将图像变为 3D 场景

文章出处:【微信号:NVIDIA-Enterprise,微信公众号:NVIDIA英伟达企业解决方案】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    使用NVIDIA Edify助力的服务创建3D资产和虚拟环境照明

    使用 NVIDIA Edify 助力的服务创建 3D 资产和虚拟环境照明,或是减半生成图像时间。
    的头像 发表于 08-02 15:22 385次阅读

    裸眼3D笔记本电脑——先进的光场裸眼3D技术

    随着科技的不断进步,裸眼3D技术已经不再是科幻电影中的幻想。如今,英伦科技裸眼3D笔记本电脑这一前沿科技带到了我们的日常生活中。无论你是专业的3D模型设计师,还是希望在视频播放和模型
    的头像 发表于 07-16 10:04 418次阅读

    3d场景建模可视化,场景1:1还原

    在当今数字化时代,3D场景建模可视化技术成为重要工具,为各行业提供了强大的展示和交互手段。从电影特效到建筑设计,从游戏开发到虚拟现实,3D场景
    的头像 发表于 07-12 14:49 194次阅读

    机器人3D视觉引导系统框架介绍

    通过自主开发的3D扫描仪可获准确并且快速地获取场景的点云图像,通过3D识别算法,可实现在对点云图中的多种目标物体进行识别和位姿估计。
    发表于 04-29 09:31 282次阅读
    机器人<b class='flag-5'>3D</b>视觉引导系统框架介绍

    NVIDIA生成式AI研究实现在1秒内生成3D形状

    NVIDIA 研究人员使 LATTE3D (一款最新文本转 3D 生成式 AI 模型)实现双倍加速。
    的头像 发表于 03-27 10:28 443次阅读
    <b class='flag-5'>NVIDIA</b>生成式AI研究实现在1秒内生成<b class='flag-5'>3D</b>形状

    MLX75027 3D图像传感器与CX3 RDK MIPI开发板连接后报错如何解决?

    我们打算MLX75027 3D图像传感器与CX3 RDK MIPI开发板连接,但EZ-USB-suite软件中配置MIPI块参数中针对的是2D
    发表于 02-28 07:41

    3D HMI应用场景和发展趋势

    人机交互的革命性趋势。本文探讨3DHMI设计的概念、优势、应用场景以及未来发展趋势。3DHMI设计的概念3DHMI设计是一种基于三维界面和
    的头像 发表于 02-19 13:27 941次阅读
    <b class='flag-5'>3D</b> HMI应用<b class='flag-5'>场景</b>和发展趋势

    Adobe提出DMV3D3D生成只需30秒!让文本、图像都动起来的新方法!

    因此,本文研究者的目标是实现快速、逼真和通用的 3D 生成。为此,他们提出了 DMV3D。DMV3D 是一种全新的单阶段的全类别扩散模型,能直接根据模型文字或单张图片的输入,生成 3D
    的头像 发表于 01-30 16:20 765次阅读
    Adobe提出DMV<b class='flag-5'>3D</b>:<b class='flag-5'>3D</b>生成只需30秒!让文本、<b class='flag-5'>图像</b>都动起来的新方法!

    友思特C系列3D相机:实时3D点云图像

    3D相机
    虹科光电
    发布于 :2024年01月10日 17:39:25

    如何搞定自动驾驶3D目标检测!

    可用于自动驾驶场景下基于图像3D目标检测的数据集总结。其中一些数据集包括多个任务,这里只报告了3D检测基准(例如KITTI 3D发布了超过
    发表于 01-05 10:43 528次阅读
    如何搞定自动驾驶<b class='flag-5'>3D</b>目标检测!

    2D3D视觉技术的比较

    作为一个多年经验的机器视觉工程师,我详细介绍2D3D视觉技术的不同特点、应用场景以及它们能够解决的问题。在这个领域内,2D
    的头像 发表于 12-21 09:19 1026次阅读

    阿迪达斯与 Covision Media 使用 AI 和 NVIDIA RTX 创建逼真的 3D 内容

    Covision 的基于 AI 的 3D 技术可帮助企业扫描数千种产品,为网站和移动应用创建逼真的 3D 图像、视频和 AR 体验。 实体产品扫描成
    的头像 发表于 11-28 18:45 594次阅读
    阿迪达斯与 Covision Media 使用 AI 和 <b class='flag-5'>NVIDIA</b> RTX 创建逼真的 <b class='flag-5'>3D</b> 内容

    HT for Web (Hightopo) 使用心得(4)- 3D 场景 Graph3dView 与 Obj 模型

    这里我们通过代码建立一个 3D 场景并添加一个 Obj 模型来介绍一下 HT for Web 在 3D 场景和模型加载方面的使用。
    的头像 发表于 11-20 11:05 701次阅读
    HT for Web (Hightopo) 使用心得(4)- <b class='flag-5'>3D</b> <b class='flag-5'>场景</b> Graph<b class='flag-5'>3</b>dView 与 Obj 模型

    基于深度学习的3D点云实例分割方法

    3D实例分割(3DIS)是3D领域深度学习的核心问题。给定由点云表示的 3D 场景,我们寻求为每个点分配语义类和唯一的实例标签。
    发表于 11-13 10:34 2016次阅读
    基于深度学习的<b class='flag-5'>3D</b>点云实例分割方法

    CVPR2023 RobustNeRF: 从单张图像生成3D形状

    在通常使用的nerf数据中,一个场景往往无法从同一视角捕捉多幅图像,这使得数学建模干扰物变得困难。更具体地说,虽然视角相关效应(View-Dependent)是使NeRF看起来逼真的因
    的头像 发表于 11-09 16:35 852次阅读
    CVPR2023 RobustNeRF: 从单张<b class='flag-5'>图像</b>生成<b class='flag-5'>3D</b>形状