Arm精锐超级分辨率技术解析

作者：Arm 开发者生态系统战略总监 Peter Hodges

近日，Arm 推出了 Arm 精锐超级分辨率技术 (Arm Accuracy Super Resolution, Arm ASR)，这是一款面向移动设备进行优化升级的出色开源超级分辨率（下文简称“超分”）解决方案。本文将为你介绍我们所采用的方法，并欢迎你一同加入我们的技术探索旅程。

制作精良的游戏能够带领玩家踏上一段动人的旅程。游戏开发者套件里有许多工具可以为此增添助力，例如引人入胜的音乐、富有想象力的操控模式和图形效果等。就图形技术而言，手游中图像的精细程度令人震撼。游戏被渲染到包含数百万像素的屏幕上，并以惊人的 60Hz 或更高的刷新率显示呈现。

推动游戏开发更上一层楼是行业永无止境的追求。现代手游通过复杂的光照和着色器，不断突破极限，以实现开发者的愿景。然而代价在于，这不仅加重了 GPU 的负载，还会消耗更多电力。即使是在高端 PC 上，我们也认识到超分技术正是我们所追寻的答案。

Arm 精锐超级分辨率技术

通过超分技术，一帧的内容得以在某些阶段先以较低分辨率渲染，然后应用该技术从低分辨率放大到高分辨率。这一技术并非在帧渲染的每个环节都使用，否则可能会在渲染全屏效果或用户界面时产生不美观的瑕疵。然而，在管线的早期阶段，该技术可以发挥显著作用，并作为流程的一环提供抗锯齿效果。

图：将超分技术集成到帧中

后处理技术示例

基于光照的后处理	基于图像的后处理
屏幕空间反射	胶片颗粒
屏幕空间环境遮挡	色差
去噪器（阴影、反射）	晕影
曝光	色调映射

在众多可用的解决方案中，AMD 超级分辨率锐画技术 2 (FSR 2) 引起了我们的关注。作为 GPUOpen 的一部分，该开源项目始于 2016 年，采用相对宽松的 MIT 许可证，旨在提供可移植的解决方案，以缓解 PC 和游戏主机之间存在的性能差异。这引发了我们的关注和思考：优秀的移动端解决方案应该具备哪些特性？

超分技术的类型

超分技术主要分为空间类和时域类。最先问世和被开发者采用的是空间类技术。

空间类超分会逐帧生成结果，其工作原理理解起来更加简单，对游戏引擎的要求也相对较低，例如 FSR 1 和骁龙游戏超级分辨率 (GSR) 就是这一类的代表。但该技术的缺点在于，开发者在选择渲染分辨率时不能过于激进，否则最终图像可能会出现模糊。不过，这种技术的算力成本相对较低。

而时域类超分则更为复杂，它通过整合多个帧的信息来生成最终结果。通常来说，它能够从较低分辨率生成更高质量的图像。但这对游戏引擎提出了额外的输入要求。例如，必须提供深度和运动矢量信息，并且最好有反应性遮罩，以便处理如粒子效果等缺乏深度或运动信息的元素。

迈向时域类超分技术

我们决定直接选用时域类超分技术，来应对常见的图形性能挑战，并为手游开发者带来优势。我们以 AMD FSR 2 为基础，它能够提供不错的效果，但实现成本相对较高，仅适用于 PC 和高端游戏主机。我们的解决方案源自 FSR 2，因此开发者能够继续使用熟悉的 API 和配置选项。

在研究过程中，我们采用了大家熟悉的小餐馆场景，并且增加了更多的局部重叠光源和主光源衰减，以此模拟实际的计算挑战，大约需要渲染 280 万个三角形。

针对搭载 Arm Immortalis-G720 GPU 和采用 2800x1260 显示分辨率的商用移动设备，我们对收集的结果进行分析后，发现 GPU 性能得到了显著提升。

图：使用 Arm ASR、FSR 2、FSR 1 和 GSR 时的

原生分辨率和提升性能的帧率分析

同样重要的是，这项技术能够稳定保持在相对较低的温度下，渲染出高质量的结果。而以原生分辨率进行渲染时，不可避免地会出现明显的发热升温，这会有损游戏中的用户体验，并缩短游戏时间。

Arm ASR 的性能表现

Arm ASR 的出色性能得益于一系列高效的着色器代码，不仅减轻了 GPU 的负载，也降低了带宽需求。

图：FSR 2 和 Arm ASR 的 GPU 性能分析

性能的提升往往也同样意味着节省能耗，由此可以延长电池续航时间，这对于用户的日常使用是一大利好。在我们与 MediaTek 的协作中，证实了这一推测，在搭载天玑 9300 芯片的手机上进行了测试并得到了以下结果。

图：原生全分辨率 (1080p)、Arm ASR 质量、平衡和性能模式下从 540p 提升到 1080p，以及原生半分辨率 (540p) 的功耗对比

Arm 游戏内容团队一直在努力制作一款虚幻引擎 (Unreal Engine) 演示，以挑战未来移动端 GPU 的性能极限。我们也期待将 Arm ASR 应用于此类内容演示中。

这个演示场景中包含了许多精致入微的细节，这正是因为我们在 Arm ASR 中支持了稳健对比度自适应锐化 (RCAS) 技术，AMD FSR 1 和 FSR 2 也采用了这项技术。效果显而易见。

与开源社区共享成果

我们对这项工作成果深感自豪，并希望基于 MIT 开源许可协议与开发者社区进行成果共享，使得每一位开发者都能亲身感受 Arm ASR 的优势，并在自己的项目中尝试应用。