0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

解码AI驱动的DLSS 3.5光线重建功能

NVIDIA英伟达企业解决方案 来源:NVIDIA英伟达企业解决方案 2024-05-11 11:06 次阅读

神经网络渲染器提高了光线追踪图像质量,使用可在采样光线之间生成更高质量像素的 AI 网络取代需要人工设计的降噪器。

AI 不断提高 PC 游戏品质的上限。

具有光线重建功能的 DLSS 3.5 可以为密集型光线追踪的游戏和应用创建更高质量的光线追踪画面。这种增强型 AI 赋能的神经网络渲染器是一项突破性功能,它利用经 NVIDIA 超级计算机训练的 AI 网络取代需要人工设计的降噪器,从而显著提升所有 NVIDIA RTX GPU 的光线追踪图像质量。该功能可提升光线反射、全局光照和阴影等光照效果,打造更加真实,身临其境的游戏体验。

一束光线,一项突破

光线追踪作为一种渲染技术,可通过渲染精准物理关系的反射、折射、阴影和间接光照,实现对场景及其中物体光照效果的逼真模拟。光线追踪通过追踪观景式相机(决定场景中的视线)的光线路径来生成计算机图形图像。该路径会穿过 2D 视平面进入 3D 场景,然后返回光源。例如,如果光线照射到镜子上,就会生成反射。

35229c22-0ed1-11ef-a297-92fbcf53809c.png

而光线追踪相当于打造现实世界中被光束照亮的物体的数字版本,创造出光从观察者的眼睛到与光相互作用的物体的路径。这就是光线追踪。

以这种方式模拟光线——为屏幕上的每个像素发射光线——需要大量的计算,即使是对于离线渲染器来说也是如此无论是计算几分钟或几小时内的场景。而另一种方法则是让光线样本向场景中的各个点发射少量光线,以获得场景光照、反射率和阴影的代表性样本。

然而,这种方式存在局限性。输出的是带有间隙和噪声的斑点图像,足以确定光线追踪时场景的外观如何展现。为了填充未计算光线追踪的缺失像素,人工设计的降噪器使用两种不同的方法:在多帧中依时累积像素,或对其进行空间插值以将相邻像素混合在一起。通过此过程,带噪声的原始输出会被转换为光线追踪图像。经此流程,含噪点的原始输出结果会被转换成光线追踪图像。

这会增加开发过程的复杂性和成本,并且在大量采用光线追踪技术的游戏中会降低帧率。其原因在于此类游戏会同时运行多个降噪器以实现不同的光照效果。

DLSS 3.5 光线重建技术引入了经 NVIDIA 超级计算机训练且由 AI 驱动的神经网络,可在采样光线之间生成更高质量的像素。该技术可识别不同的光线追踪效果,从而可使用时间和空间数据做出更明智的决策,并保留高频信息以实现更高质量的升级。光线重建还可以从训练数据中识别光照模式(例如全局光照或环境光遮蔽),并在游戏中重现该效果。

“传送门 (Portal)”RTX 版是光线重建在实际应用中的优秀示例。关闭 DLSS 后,降噪器很难重建转动的风扇旁边的动态阴影。

启用 DLSS 3.5 和光线重建后,降噪器会在 AI 上进行训练,识别与阴影相关的某些模式并保持图像稳定,积累准确的像素,同时混合相邻像素以生成高质量的反射。

深度学习,沉浸游戏

光线重建只是性能倍增的 DLSS 所使用的 AI 突破性图形技术的其中之一。作为 DLSS 的基础,超分辨率功能会对多个分辨率较低的图像进行采样,并使用先前帧的运动数据和反馈来重建原生质量的图像。这能实现在不牺牲游戏性能的情况下获得高质量图像。

DLSS 3 引入了“帧生成”功能,通过使用 AI 分析前后帧的数据来预测下一个生成的帧应该是什么样子,从而提高性能。然后,这些生成的帧会被插入到已渲染的帧之间。将 DLSS 生成的帧与 DLSS 超分辨率相结合,可使 DLSS 3 在 AI 助力下重建所显示像素数的八分之七。与不使用 DLSS 相比,其帧率最高可提升至原来的 4 倍。

由于 DLSS 帧生成是在 GPU 上进行后处理(在主渲染后应用)的,因此即使游戏受到 CPU 的瓶颈限制,它也能提高帧率。

生成式 AI 正改变各类游戏、视频会议和互动体验。



审核编辑:刘清

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4779

    浏览量

    101130
  • NVIDIA
    +关注

    关注

    14

    文章

    5075

    浏览量

    103659
  • 超级计算机
    +关注

    关注

    2

    文章

    464

    浏览量

    42006
  • GPU芯片
    +关注

    关注

    1

    文章

    303

    浏览量

    5890
  • AI驱动
    +关注

    关注

    0

    文章

    59

    浏览量

    4153

原文标题:光线追踪画质增强:解码 AI 驱动的 DLSS 3.5 光线重建

文章出处:【微信号:NVIDIA-Enterprise,微信公众号:NVIDIA英伟达企业解决方案】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    NVIDIA发布DLSS 4技术:多帧生成技术革新游戏体验

    在1月23日,NVIDIA随着RTX 50系列显卡的问世,同步推出了全新的DLSS 4技术。这一技术凭借先进的多帧生成(MFG)功能,显著提升了游戏的帧率,为玩家带来了更为流畅的游戏体验。
    的头像 发表于 01-24 15:29 118次阅读

    Anthropic AI发布Claude3.5系列,引入革命性Computer use功能

    近日,Anthropic AI公司推出了Claude3.5系列,包括全面升级的Claude3.5Sonnet和全新模型Claude3.5Haiku。这两个新版本在
    的头像 发表于 10-23 11:16 473次阅读

    Commvault Cloud平台提供Cloud Rewind功能

    Appranix获得的云原生分布式应用恢复和重建功能,为云优先(cloud-first)企业提供了能够深入改变其网络弹性能力的“秘密武器”。
    的头像 发表于 10-15 09:21 392次阅读

    AI for Science:人工智能驱动科学创新》第二章AI for Science的技术支撑学习心得

    非常高兴本周末收到一本新书,也非常感谢平台提供阅读机会。 这是一本挺好的书,包装精美,内容详实,干活满满。 关于《AI for Science:人工智能驱动科学创新》第二章“AI
    发表于 10-14 09:16

    el冷光线为什么有个驱动

    EL冷光线之所以需要一个驱动器,主要基于以下几个原因: 一、电致发光原理的需求 EL冷光线,即电致发光(Electroluminescence,简称EL)冷光线,是一种利用电致发光效应
    的头像 发表于 09-24 14:07 1489次阅读

    光线驱动有电流声怎么消除

    光线驱动器,通常指的是LED驱动器,因为LED灯在工作时几乎不产生热量,所以被称为冷光线。LED驱动器是为LED灯提供稳定电流的电源设备,
    的头像 发表于 09-24 11:34 639次阅读

    光线驱动器可以用什么代替

    光线驱动器可以用 EL冷光源 进行代替。两者在功能上相差不大,都能发出一定光线频率的光。冷光线驱动
    的头像 发表于 09-24 11:31 497次阅读

    光线驱动器会不会发热

    光线驱动器,通常指的是LED(发光二极管)驱动器,因为LED在发光时产生的热量相对较小,所以被称为“冷光源”。然而,即使是LED驱动器,也会因为电流通过电阻而产生一定的热量。 1.
    的头像 发表于 09-24 11:25 378次阅读

    音频编解码芯片es8311驱动程序源码

    音频编解码芯片 es8311 驱动程序源码
    发表于 07-13 09:22 24次下载

    NVIDIA 究竟做了什么?《The First Descendant》帧率跃升 44%

    ABSTRACT摘要NVIDIA为甫上市的免费第三人称合作RPG射击游戏《第一继承者》(TheFirstDescendant)提供支援具备光线重建的NVIDIADLSS3.5光线追踪
    的头像 发表于 07-05 08:26 687次阅读
    NVIDIA 究竟做了什么?《The First Descendant》帧率跃升 44%

    Nvidia 的下一代 DLSS 可能会利用 AI,实现全 AI 神经渲染愿景

    ABSTRACT摘要在Computex2024的问答环节中(由MoreThanMoore报道),Huang回答了一个与DLSS相关的话题,他说未来我们将看到纯粹通过AI创建的纹理和对象。Huang还
    的头像 发表于 06-28 08:26 463次阅读
    Nvidia 的下一代 <b class='flag-5'>DLSS</b> 可能会利用 <b class='flag-5'>AI</b>,实现全 <b class='flag-5'>AI</b> 神经渲染愿景

    Anthropic发布Claude 3.5 Sonnet,AI领域再掀波澜

    近日,人工智能领域的竞争格局再次发生重要变化。OpenAI的强劲竞争对手Anthropic公司发布了其迄今为止最强大的AI模型——Claude 3.5 Sonnet。这一创新成果不仅展示了Anthropic在AI技术领域的深厚实
    的头像 发表于 06-24 15:14 707次阅读

    Anthropic发布最新AI模型Claude 3.5,引入Artifacts新功能

    近日,科技领域又迎来了一项引人注目的进展。Anthropic,这家OpenAI的竞争对手,于6月21日正式发布了其最新且功能强大的AI模型——Claude 3.5 Sonnet。这一里程碑式的发布不仅展示了Anthropic在人
    的头像 发表于 06-22 17:21 2153次阅读

    开发者手机 AI - 目标识别 demo

    功能简介 该应用是在Openharmony 4.0系统上开发的一个目标识别的AI应用,旨在从上到下打通Openharmony AI子系统,展示Openharmony系统的AI能力,并为
    发表于 04-11 16:14

    边缘光线理论基础

    边缘光线理论在实际的二次光学设计中应用十分广泛,由于实际光源不可视为点光源,多为扩展光源。通过对光线的控制,中心光线可以控制目标光斑的最大照度值,通过边缘光线来设计光学系统的照明范围。
    发表于 04-11 09:54 1029次阅读
    边缘<b class='flag-5'>光线</b>理论基础