0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

深耕15年,Imagination 到底如何在手机上实现光线追踪?

颖脉Imgtec 2022-09-23 14:26 次阅读

来源:腾讯游戏学堂


光线追踪可以说是近些年游戏行业最热门的技术之一,对比传统的3D渲染,它为我们带来了更为逼真的阴影与反射效果,让游戏画面呈现更为真实的视觉体验。但目前光追的普遍应用仍是在PC端,对于广大的移动端玩家来说,所需要的并不只是硬件的升级,还需要更多软件的支持。

针对这一痛点,在由腾讯游戏学堂举办的TGDC2022腾讯游戏开发者大会上,来自Imagination Technologies公司的图形技术美工专家Alekos Caporali就以从业者的角度,为我们分享了手游光线追踪的技术实现原理、工作流程与优点。


以下是演讲实录:我是Alekos Caporali,我是Imagination Technologies公司演示团队的图形技术美工专家。

首先请允许我简单介绍一下我所在的公司——Imagination Technologies。在过去的30年时间里,我们一直致力于设计GPU并且在在移动设备有很强大的表现大,同时,我们也为台式、汽车和许多其他应用市场提供IP技术在一些最早的主机游戏中就有我们的技术,例如世嘉公司的Dreamcast。正是有了这些经验,我们有机会从2007年起开创硬件光线追踪研究的先河。如今,我们已成为移动GPU领域和移动硬件光线追踪领域的引领者。

67cc5258-3ac0-11ed-b180-dac502259ad0.png

并非所有的光线追踪硬件都一样,因此,在评估不同解决方案的性能时我们需要考虑几个要点。为了帮助识别现代硬件中不同等级的光线追踪能力,我们设计了一张图表。每上升一个等级,对效率的关注就会提高,市场并非总是基于效率而变化。

比如说最近发布了带有光线追踪功能的第二代台式电脑硬件,仅提供更多的光线追踪处理便提高了性能,这自然需要更大面积的硅片和更多的功耗,但这种粗暴的方法并非是可行的解决方案,因为有些移动设备等需要在功耗预算内运行。

67eba7b6-3ac0-11ed-b180-dac502259ad0.png

今天我不会详细介绍这里显示的所有等级,但大家需要明白,0级和1级是以前的解决方案,如今已经很少见了,它们是开启光线追踪的初级解决方案;2级和3级最流行,也就是当今常用的基于软件的光线追踪;最后是我们今天要集中讨论的两个等级。

4级在层次型包围盒上增加了相干性排序的硬件,也是目前移动硬件光线追踪的最佳实现方式,这是我们公司GPU中的硬件光线追踪技术。

然后是5级,也是由我们公司开发的更先进的系统,并在2016年首次展示于PowerVR GR6500测试板,BVH处理也是通过专门的硬件解决方案来分类,这也更有效。

我们公司研究出了基于以下方式提高效率的系统——一个表面上反弹角度一致的光线会被排在一起,因此称为相干性排序,这种技术以智能的方式优化整个光线分选过程,减少硬件运行的压力,这使得其成为非常适合的移动解决方案。

让我们进入正题,本次演讲我会分为两个部分。

第一部分,我会给大家演示如何实现全光线追踪,解释其背后的一些功能,并就如何创建针对游戏中光线追踪的资源提供建议。

第二部分,我会给大家展示我们最新的光线追踪,它完全建立在O3DE的游戏引擎上,该引擎可以轻松实现实时光线追踪的全局光照。我会指导大家完成不同步骤,以便让大家能够首先了解RTGI的功能,使其在游戏引擎中起作用。

6810e616-3ac0-11ed-b180-dac502259ad0.png

我们在之前的演示中是如何实现光线追踪的呢?

我要播放的一个我们公司开发的产品的演示,以便展示我们如何实现完全光线追踪。在明显的移动端游戏环境中,有针对移动性能预算的优化功能。这个演示视频在我们内部引擎上运行。


以防大家还不了解,我先介绍一下光线追踪的概念。光线追踪其实是改变游戏规则的3D图形技术,它模仿了光线在现实世界中的行动方式,而我们将要看到的仅仅展示了其部分能力。我们一起来看这段演示视频。这是我们在2020-2021年开发的,它在移动预算中实现了光线追踪的大部分功能。

684a49ba-3ac0-11ed-b180-dac502259ad0.png

大家可以在这张图片上看到概要情况。

首先,不同材质表面形成了逼真的反射(红框中),硬边的光栅化阴影替换成了光线追踪软阴影(绿框中),这极大地增强了场景的真实性,最后还有实时全局光照(黄框中)。

68ae8ace-3ac0-11ed-b180-dac502259ad0.png

如何助力环境光以实现与现实生活中一样更好更真实的效果?现在我们了解了光线追踪能够提供的主要功能,但这对我们技术美工和开发人员来说意味着什么?

对我们这些想实现这些功能的人来说意味着什么?我们在资源创建工作流程中需要改变哪些部分以使资源在开启光线追踪的引擎中正确地可视化?最重要的一点是:这是否很难做到?

好消息是这一流程与大家所习惯的流程几乎别无二致!

只是更注重了一些细节——防止光线追踪时可能出现恼人的伪影,稍后我会深入讲解。

现在我先谈模型优化。

光线追踪的性能显然也取决于场景的复杂性和模型的复杂性,所以在建模时需要注意——

首先要保持低多边形数量,管理拓扑结构使其干净平衡(这取决于你真正需要的网格细节数量);然后使用平滑组让低多边形的边缘有正确的法线投影;最后,合理分割纹理资源,防止颜色渗出。在需要的情形下,可以通过多纹理叠加来降低纹理尺寸。有了以上要点,再适当使用精细模型,就可以制作出高质量的资源,渲染出完美的画质。

68eda61e-3ac0-11ed-b180-dac502259ad0.png

第二组主题是继续深入研究功能技术实现,比如说动画,特别是摄像机动画,这些动画在光线追踪环境中缓慢移动时效果更好,这是因为光线追踪阴影和光线追踪反射的去噪器有时需要聚合

6929284c-3ac0-11ed-b180-dac502259ad0.png

最后我想谈谈在为(PBR)物理材质生成纹理时需要采取的方法,也是在光线使用方面强度较低的一种。大家可以先看看这个演示视频。正如大家所看到的一样,它大大地改进了移动视频游戏的总体外观。


展示了该功能的外观后,我最后会更为详细地介绍RTGI如何工作,还会向大家展示如何轻松地在现代游戏引擎中实现这一功能。我将在O3DE中实现,这个引擎也用来做演示。6980e078-3ac0-11ed-b180-dac502259ad0.png在了解如何设置和激活该功能之前,我们需要先了解什么是真正的光线追踪全局光照,以及它在现实生活和引擎中如何运行。我首先要说的是全局光照在游戏引擎中并非全新系统,我们经常看到全局光照作为单一的烘焙实例来实现,但是新的游戏引擎的真正创新之处在于:只有通过光线追踪才能做到这一点,那就是实时计算全局光照系统。有了RTGI 这个系统完全动态化,对光的几何形状作出反应,在场景中材质实时发生变化。大家在这段视频中可以看到全局光照在实时适应引擎视窗内的材质变化。


值得一提的是,RTGI旨在再现现实生活中的物理现象,从一个物体上反弹的光线会很自然地动态扩散到附近其他物体上。通过简单的演示,我可以很容易地向大家展示它在现实世界中如何工作。如果我打开手机的手电筒,将手电筒直接对准一个蓝色物体,从该物体扩散出来的光被蓝色色调所覆盖;要是我对准一个红色物体,扩散的光线便是红色色调。我们可以再看一下并注意以下区别:第一个物体和第二个物体所散射的光线之间存在差异。


那游戏引擎又是如何在软件中使用光线追踪技术来实现同样的结果的呢?那便是使用“扩散式探针”。场景中基本上布满了探针的光栅,光线追踪在每个探针周围投下数百条光线,扩散式探针检测光线与附近几何体的相交位置,并根据这些信息产生辐照度纹理,然后把这些信息投射到几何体上,传播光线的强度和颜色。这发生在实时激活探针和取消激活的整个场景中,根据活动几何体的位置达到优化目的。


我们现在来看看这个系统如何帮助增强环境光的真实性。RTGI有几个好处:第一,O3DE中的动态全局光照可以在同一场景中同时考虑到多个光源,对于提供光线追踪的大家来说,它可以实时计算;第二,它也可像普通全局光照一样烘焙;第三,它在活动光线方面非常省钱,不需要很高的预算便能正常工作;第四,还有一个好处是非常容易实现。69b75cfc-3ac0-11ed-b180-dac502259ad0.png那我们如何做到这一点?在开放3D中需要进入关卡添加新的组件,这就是漫反射全局光照。你可以直接设置系统质量,我选择中等。然后可以创建新的实体或对象作为全局光照的容器,我将其重命名为全局光照。随后,你需要在这个实体中添加新的组件。也就是漫反射探针光栅,它将决定环境中探针的光栅。但如果不定义边界就无法工作,所以我将新的立方体作为一个定义,设置立方体的尺寸和立方体在三维空间中的位置,而这实际上已足以开启可视化全局光照了。现在可以激活探针可视化了。也许我们可以开始在环境中更好地分配探针,我将采用1.5米x 1.5米的间距。最后可以设置偏置,可以设置每个探针的光线数量,我选择144条光线来优化这一功能。这基本上是在O3DE等游戏引擎中激活全局光照所需要做的一切。大家现在已经能够理解RTGI的基本功能了,并最终知道如何在新的游戏引擎中实现。


最后,我想提一下光线追踪系统的前景,即我们的下一步探索方向是什么?目前,我们公司的开发者和技术美工都还在充分探索这种支持光线追踪的系统。但幸运的是,我们能更容易地接受这种技术和相关的知识,我们公司正努力让光线追踪技术尽快在移动设备中被大家使用。相信在不久的将来,游戏玩家、技术美工、开发者和工程师能使用和享受这种技术。我们看到移动游戏行业有着光明的未来,或许也可以说是光线追踪有着光明的未来,这让我们满怀期待!

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • imagination
    +关注

    关注

    1

    文章

    571

    浏览量

    61308
  • 光线追踪
    +关注

    关注

    0

    文章

    183

    浏览量

    21471
收藏 人收藏

    评论

    相关推荐

    基于光线追踪实现反射折射效果

    本文翻译自Scratchapixel3.0[1],是一个关于计算机图形学的系统性的学习教程。如果有误,欢迎在评论区讨论。光线追踪的另一个优点是,通过扩展光线传播的思想,我们可以非常容易地「模拟反射
    的头像 发表于 11-09 01:07 169次阅读
    基于<b class='flag-5'>光线</b><b class='flag-5'>追踪</b><b class='flag-5'>实现</b>反射折射效果

    基于光线追踪的渲染算法实现

    我们已经涵盖了所有需要说的内容!我们现在准备写我们的第一个光线追踪器。你现在应该能够猜到光线追踪算法是如何工作的了。首先,注意到自然界中光的传播只是从光源发出无数条射线,反弹直到它们撞
    的头像 发表于 10-30 08:06 234次阅读
    基于<b class='flag-5'>光线</b><b class='flag-5'>追踪</b>的渲染算法<b class='flag-5'>实现</b>

    天玑9400首发端侧AI训练,在手机上就把AI变聪明

    随着AI技术的快速发展,联发科通过天玑9400芯片进一步巩固了其在手机端侧AI市场的领导地位。作为天玑系列最新的旗舰产品,天玑9400不仅具备强大的AI性能,还首次在手机实现了生成式AI功能
    的头像 发表于 10-14 18:25 277次阅读
    天玑9400首发端侧AI训练,<b class='flag-5'>在手机上</b>就把AI变聪明

    无线定位器追踪器跟手机怎么连接

    在手机的蓝牙设置中搜索并选择你的定位器设备。手机会自动搜索附近的蓝牙设备,并列出它们的名称。找到你的定位器追踪器的名称后,点击它,并根据手机的提示完成配对过程。 查看信息 :配对成
    的头像 发表于 09-29 10:01 1290次阅读

    AMD光线追踪专家加盟高通,共筑Adreno GPU性能新高度

    在科技行业日新月异的今天,顶尖人才的流动往往预示着技术创新与突破的新篇章。近日,一则令人瞩目的消息在半导体与图形处理领域引起了广泛关注——AMD前光线追踪技术领域的杰出专家Paritosh
    的头像 发表于 07-11 10:03 567次阅读

    手机上网的5个小秘密,你肯定不知道!

    智能手机时代,我们每天“机不离手”或者“机不离身”,那么对于手机上网过程,大家又了解多少呢?今天文档君就带大家了解几个上网过程的小秘密,赶快小马扎坐好。一、手机能上网到底需要几个身份证
    的头像 发表于 06-27 08:05 333次阅读
    <b class='flag-5'>手机上</b>网的5个小秘密,你肯定不知道!

    ESP32作为蓝牙设备与手机连接时,可以在手机状态栏显示蓝牙设备电量吗?

    想请问一下,ESP32作为蓝牙设备与手机连接时,可以在手机状态栏显示蓝牙设备电量吗?我使用ble的battery service发现无法在手机状态栏显示,还是需要通过第三方软件才能获取。有什么方式可以像蓝牙耳机那样直接
    发表于 06-05 08:00

    解码AI驱动的DLSS 3.5光线重建功能

    神经网络渲染器提高了光线追踪图像质量,使用可在采样光线之间生成更高质量像素的 AI 网络取代需要人工设计的降噪器。
    的头像 发表于 05-11 11:06 504次阅读
    解码AI驱动的DLSS 3.5<b class='flag-5'>光线</b>重建功能

    MediaTek携手望尘科技通过移动端光线追踪技术打造沉浸体育游戏体验

    MediaTek携手望尘科技(GALA Sports),在手游领域实现光线追踪技术的革命性应用。该技术现已成功融入望尘科技旗下的钓鱼与篮球体育游戏中,极大地提升了玩家的视觉沉浸体验,
    的头像 发表于 05-07 11:39 683次阅读

    安卓15将新增功能:智能手表可控制手机媒体输出

    当用户将Android手机与Wear OS手表配对后,需在手机上安装配套应用程序。此应用不仅方便用户在大屏幕上调整手表各项参数,还能同步手机重要信息如通知、电话、短信等。然而,在获取和传输这些数据前,配套应用需获取大量敏感权限。
    的头像 发表于 04-30 15:43 726次阅读

    MediaTek携手望尘科技共同推进移动端光线追踪技术在手游中的应用落地

    MediaTek 与望尘科技(GALA Sports)携手合作,共同推进移动端光线追踪技术在手游中的应用落地,将该技术成功导入了望尘科技旗下的钓鱼和篮球体育在线类游戏,为玩家带来更具沉浸感的逼真游戏画面。
    的头像 发表于 04-18 10:04 381次阅读
    MediaTek携手望尘科技共同推进移动端<b class='flag-5'>光线</b><b class='flag-5'>追踪</b>技术<b class='flag-5'>在手</b>游中的应用落地

    怎么在手机上做电路仿真

    在手机上进行电路仿真,您可以使用一些专业的电路仿真应用。这些应用通常提供丰富的元器件库、强大的仿真功能和直观的图形界面,使得在手机上进行电路设计和仿真变得方便而高效。
    的头像 发表于 03-29 14:25 1850次阅读

    微软:SSD固态硬盘可降低显存占用,提高光线追踪性能

    其专利说明如下:由于光线追踪加速结构常需占用其他数据存储空间(如几何图形和纹理数据),导致系统需大增内存负担,且所需带宽大。本文方法旨在缓解这一问题。
    的头像 发表于 03-25 15:46 546次阅读

    谷歌模型软件怎么用手机下载

    在手机上下载谷歌模型软件,您可以遵循以下步骤。
    的头像 发表于 02-29 18:16 1000次阅读

    晶振在手机上实现了哪些功能呢?

    晶振在手机中扮演着非常重要的角色。它作为一种控制频率元件,在电路模块中提供频率脉冲信号源,被用作手机中各个系统和组件的时间基准,以确保它们能够在正确的时间下同步工作,实现高效且协调的工作。
    的头像 发表于 12-15 17:38 775次阅读