0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

解码AI驱动的DLSS 3.5光线重建功能

NVIDIA英伟达企业解决方案 来源:NVIDIA英伟达企业解决方案 2024-05-11 11:06 次阅读

神经网络渲染器提高了光线追踪图像质量,使用可在采样光线之间生成更高质量像素的 AI 网络取代需要人工设计的降噪器。

AI 不断提高 PC 游戏品质的上限。

具有光线重建功能的 DLSS 3.5 可以为密集型光线追踪的游戏和应用创建更高质量的光线追踪画面。这种增强型 AI 赋能的神经网络渲染器是一项突破性功能,它利用经 NVIDIA 超级计算机训练的 AI 网络取代需要人工设计的降噪器,从而显著提升所有 NVIDIA RTX GPU 的光线追踪图像质量。该功能可提升光线反射、全局光照和阴影等光照效果,打造更加真实,身临其境的游戏体验。

一束光线,一项突破

光线追踪作为一种渲染技术,可通过渲染精准物理关系的反射、折射、阴影和间接光照,实现对场景及其中物体光照效果的逼真模拟。光线追踪通过追踪观景式相机(决定场景中的视线)的光线路径来生成计算机图形图像。该路径会穿过 2D 视平面进入 3D 场景,然后返回光源。例如,如果光线照射到镜子上,就会生成反射。

35229c22-0ed1-11ef-a297-92fbcf53809c.png

而光线追踪相当于打造现实世界中被光束照亮的物体的数字版本,创造出光从观察者的眼睛到与光相互作用的物体的路径。这就是光线追踪。

以这种方式模拟光线——为屏幕上的每个像素发射光线——需要大量的计算,即使是对于离线渲染器来说也是如此无论是计算几分钟或几小时内的场景。而另一种方法则是让光线样本向场景中的各个点发射少量光线,以获得场景光照、反射率和阴影的代表性样本。

然而,这种方式存在局限性。输出的是带有间隙和噪声的斑点图像,足以确定光线追踪时场景的外观如何展现。为了填充未计算光线追踪的缺失像素,人工设计的降噪器使用两种不同的方法:在多帧中依时累积像素,或对其进行空间插值以将相邻像素混合在一起。通过此过程,带噪声的原始输出会被转换为光线追踪图像。经此流程,含噪点的原始输出结果会被转换成光线追踪图像。

这会增加开发过程的复杂性和成本,并且在大量采用光线追踪技术的游戏中会降低帧率。其原因在于此类游戏会同时运行多个降噪器以实现不同的光照效果。

DLSS 3.5 光线重建技术引入了经 NVIDIA 超级计算机训练且由 AI 驱动的神经网络,可在采样光线之间生成更高质量的像素。该技术可识别不同的光线追踪效果,从而可使用时间和空间数据做出更明智的决策,并保留高频信息以实现更高质量的升级。光线重建还可以从训练数据中识别光照模式(例如全局光照或环境光遮蔽),并在游戏中重现该效果。

“传送门 (Portal)”RTX 版是光线重建在实际应用中的优秀示例。关闭 DLSS 后,降噪器很难重建转动的风扇旁边的动态阴影。

启用 DLSS 3.5 和光线重建后,降噪器会在 AI 上进行训练,识别与阴影相关的某些模式并保持图像稳定,积累准确的像素,同时混合相邻像素以生成高质量的反射。

深度学习,沉浸游戏

光线重建只是性能倍增的 DLSS 所使用的 AI 突破性图形技术的其中之一。作为 DLSS 的基础,超分辨率功能会对多个分辨率较低的图像进行采样,并使用先前帧的运动数据和反馈来重建原生质量的图像。这能实现在不牺牲游戏性能的情况下获得高质量图像。

DLSS 3 引入了“帧生成”功能,通过使用 AI 分析前后帧的数据来预测下一个生成的帧应该是什么样子,从而提高性能。然后,这些生成的帧会被插入到已渲染的帧之间。将 DLSS 生成的帧与 DLSS 超分辨率相结合,可使 DLSS 3 在 AI 助力下重建所显示像素数的八分之七。与不使用 DLSS 相比,其帧率最高可提升至原来的 4 倍。

由于 DLSS 帧生成是在 GPU 上进行后处理(在主渲染后应用)的,因此即使游戏受到 CPU 的瓶颈限制,它也能提高帧率。

生成式 AI 正改变各类游戏、视频会议和互动体验。



审核编辑:刘清

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4716

    浏览量

    99886
  • NVIDIA
    +关注

    关注

    14

    文章

    4769

    浏览量

    102385
  • 超级计算机
    +关注

    关注

    2

    文章

    451

    浏览量

    41805
  • GPU芯片
    +关注

    关注

    1

    文章

    303

    浏览量

    5745
  • AI驱动
    +关注

    关注

    0

    文章

    54

    浏览量

    4099

原文标题:光线追踪画质增强:解码 AI 驱动的 DLSS 3.5 光线重建

文章出处:【微信号:NVIDIA-Enterprise,微信公众号:NVIDIA英伟达企业解决方案】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    音频编解码芯片es8311驱动程序源码

    音频编解码芯片 es8311 驱动程序源码
    发表于 07-13 09:22 11次下载

    NVIDIA 究竟做了什么?《The First Descendant》帧率跃升 44%

    ABSTRACT摘要NVIDIA为甫上市的免费第三人称合作RPG射击游戏《第一继承者》(TheFirstDescendant)提供支援具备光线重建的NVIDIADLSS3.5光线追踪
    的头像 发表于 07-05 08:26 483次阅读
    NVIDIA 究竟做了什么?《The First Descendant》帧率跃升 44%

    Nvidia 的下一代 DLSS 可能会利用 AI,实现全 AI 神经渲染愿景

    ABSTRACT摘要在Computex2024的问答环节中(由MoreThanMoore报道),Huang回答了一个与DLSS相关的话题,他说未来我们将看到纯粹通过AI创建的纹理和对象。Huang还
    的头像 发表于 06-28 08:26 279次阅读
    Nvidia 的下一代 <b class='flag-5'>DLSS</b> 可能会利用 <b class='flag-5'>AI</b>,实现全 <b class='flag-5'>AI</b> 神经渲染愿景

    Anthropic发布Claude 3.5 Sonnet,AI领域再掀波澜

    近日,人工智能领域的竞争格局再次发生重要变化。OpenAI的强劲竞争对手Anthropic公司发布了其迄今为止最强大的AI模型——Claude 3.5 Sonnet。这一创新成果不仅展示了Anthropic在AI技术领域的深厚实
    的头像 发表于 06-24 15:14 509次阅读

    Anthropic发布最新AI模型Claude 3.5,引入Artifacts新功能

    近日,科技领域又迎来了一项引人注目的进展。Anthropic,这家OpenAI的竞争对手,于6月21日正式发布了其最新且功能强大的AI模型——Claude 3.5 Sonnet。这一里程碑式的发布不仅展示了Anthropic在人
    的头像 发表于 06-22 17:21 1256次阅读

    利用NVIDIA的nvJPEG2000库分析DICOM医学影像的解码功能

    本文将深入分析 DICOM 医学影像的解码功能。AWS HealthImaging 利用 NVIDIA 的 nvJPEG2000 库来实现此功能
    的头像 发表于 05-28 14:27 460次阅读
    利用NVIDIA的nvJPEG2000库分析DICOM医学影像的<b class='flag-5'>解码</b><b class='flag-5'>功能</b>

    开发者手机 AI - 目标识别 demo

    功能简介 该应用是在Openharmony 4.0系统上开发的一个目标识别的AI应用,旨在从上到下打通Openharmony AI子系统,展示Openharmony系统的AI能力,并为
    发表于 04-11 16:14

    边缘光线理论基础

    边缘光线理论在实际的二次光学设计中应用十分广泛,由于实际光源不可视为点光源,多为扩展光源。通过对光线的控制,中心光线可以控制目标光斑的最大照度值,通过边缘光线来设计光学系统的照明范围。
    发表于 04-11 09:54 512次阅读
    边缘<b class='flag-5'>光线</b>理论基础

    使用STM32的LTDC驱动3.5寸的rgb屏幕,为什么显示三分之二的屏幕?

    使用STM32的LTDC驱动3.5寸的rgb屏幕,为什么显示三分之二的屏幕
    发表于 04-02 06:34

    AI新工具DUSt3R走红GitHub,两秒完成3D重建惊艳网友

    近日,一款名为DUSt3R的AI新工具在微软旗下的GitHub平台上引发了广泛关注。这款神奇的工具仅需两张图片和两秒钟的时间,便能完成精确的3D重建,且无需额外测量任何数据。上线不久,DUSt3R便迅速登上GitHub热榜第二的位置。
    的头像 发表于 03-08 14:02 884次阅读

    工业上常见的高精度主动式重建算法

    三维重建目前是最为炙手可热的领域。摄影测量或结构光投影技术可以解决漫反射重建问题,但却无法有效应对镜面反射物体(如玻璃、积水、反光物体和汽车车身)等的重建挑战。
    发表于 01-05 10:46 322次阅读
    工业上常见的高精度主动式<b class='flag-5'>重建</b>算法

    什么是NVIDIA DLSS?NVIDIA DLSS的发展过程

    DLSS 3 以 DLSS 2 超分辨率技术为基础,结合使用光学多帧生成技术来生成全新帧,并运用 NVIDIA Reflex 低延迟技术来优化响应速度。
    的头像 发表于 12-21 10:44 4508次阅读
    什么是NVIDIA <b class='flag-5'>DLSS</b>?NVIDIA <b class='flag-5'>DLSS</b>的发展过程

    MP3播放器解码功能的实现

    电子发烧友网站提供《MP3播放器解码功能的实现.pdf》资料免费下载
    发表于 10-25 11:01 0次下载
    MP3播放器<b class='flag-5'>解码</b><b class='flag-5'>功能</b>的实现

    【KV260视觉入门套件试用体验】Vitis-AI加速的YOLOX视频目标检测示例体验和原理解析

    本文将介绍如何使用Vitis-AI加速YOLOX模型实现视频中的目标检测,并对相关源码进行解读。由于演示的示例程序源码是Vitis-AI开源项目提供的,本文演示之前会介绍所需要的准备工作。演示之后
    发表于 10-06 23:32

    AI智能呼叫中心

    、数据驱动决策以及人力成本节约,旨在深入剖析其核心优势和对企业的重要意义。一、自动化处理AI智能呼叫中心通过引入自然语言处理(NLP)、机器学习和自动化技术,使得呼叫中心的处理过程更加高效和准确,AI
    发表于 09-20 17:53