云游戏仍然处于真正落地前的探索和准备阶段

编者按：Global Market Insights预测全球云游戏市场将从2018年的10亿美元增长到2025年的80亿美元，复合年增长率达到30％（不同的市场报告预测数据略有不同，但都肯定了云游戏市场迅速增长的趋势）。 报告还指出，由于云游戏要求足够高（甚至是非常高）的传输速度，5G架构的引入将有效地处理延迟问题，从而为客户提供无缝的游戏体验。在此期间，平台提供商需要在尽可能多的地区扩展其网络及云游戏节点。 而由于5G基础设施开发计划的增多，亚太地区的云游戏市场将更有可能出现大幅的增长。 金融时报在有关中国5G基建与云游戏的报道中称，与美国和日本不同，中国大多数云游戏可能都将base在手机端（在美国和日本，云游戏将主要基于PC、电视和游戏机）。GSMA的数据显示，到2025年，中国预计将拥有6亿5G移动用户。 但5G仍然处于起步阶段，截至2019年底，全球范围内只有不到1％的智能手机用户的设备支持5G（约为750万部）。而且，5G的毫米波信号距离较短，容易被诸如墙壁之类的障碍物阻挡，而这只是开发者面临的众多技术难点之一。

采访讲师

陈浩，成都云格致力科技有限公司CTO助理，主要负责“胖鱼道炫”云游戏平台相关技术研发。团队目前在研究如何进一步降低整体延迟、对抗网络变化、提升用户云游戏的体验质量。同时陈浩也是LiveVideoStackCon2020首届音视频线上峰会的讲师。

以下由LivevideoStack与陈浩的采访整理而成 云游戏仍然处于真正落地前的探索和准备阶段，而5G将会是云游戏一个很好的风口或者说是借力，同时云游戏也将成为5G的杀手级应用。 随着5G的商业化进程，底层网络的性能演进解决了一部分延迟和带宽的问题，但对于泛在的开放IP网络，需要整体考虑端到端云游戏系统的带宽、延迟、用户体验、成本等因素，进行针对性的云游戏技术革新，实现大规模、高质量、可落地的经济型云游戏服务。总体来说，5G时代的到来使得云游戏进入了发展的快车道。 但就目前来说，云游戏仍然面临着一些技术难点，包括：如何在带宽受限、动态变化、不可靠传输的开放IP网络条件下（以保证用户体验质量为前提），解决云游戏服务本身高分辨率、高帧率、高动态内容带来的大带宽大流量需求、解决云游戏服务本身要求的极低交互延迟需求，以及处理好云游戏视频数据传输可靠性和时延敏感性之间的权衡关系。

端到端的解决方案

1 我所在的团队一直在研究如何提升云游戏用户的体验质量，包括降低启动延迟、交互延迟和卡顿时间、频率，以及提升云游戏视频画质，并据此提出了端到端的整套解决方案： 在视频采集和编码层面，我们通过刷新与采集间隔设置、slice个数设置、GoP长度设置、IPPP低时延编码模式设置、码率控制方法设置等优化采集和编码参数；权衡编码速度与编码质量，设置以上编码参数时联合考虑编码的质量和速度，满足实时编码的同时提升编码质量；应用自研的协同视频处理（Collaborative Video Processing，CVP）技术大幅降低编码和传输码率。 CVP一方面利用人眼注意力空域衰减模型，降低非感兴趣区域视频码率/质量，而不影响整体视觉质量；另一方面，支持视频以低分辨率、低帧率传输，而在中间节点或用户终端实现高质量的视频超分辨率、超帧率重建，进一步降低传输码率。其难点在于如何权衡视频视觉质量、视频码率以及算法处理复杂度、实时性的联合优化。 在编码和传输联合优化层面，由于用户端网络情况多样化，且随时间动态变化，而云游戏场景的实时交互特性决定了我们对将来的视频信息一无所知，我们应用了自研的实时码率自适应（Adaptive Real-time Streaming，ARS）策略系统，通过观察和积累历史云游戏视频的流化经验，学习底层网络特征和传输的视频内容特征，实时预测网络的有效带宽，自适应调整视频编码和发送码率，有效应对网络的动态变化，解决了传统方法针对广泛的网络情况、云游戏实时通信场景难以提供有效自适应码率能力的难题。 我们的云游戏系统，针对1080P@60FPS视频流，在排除网络本身延迟的情况下，端到端平均延迟在15ms左右，带宽要求10mbps就可以保证用户可接受的游戏体验。

通信协议

2 关于弱网对抗，跨网传输，以及如何应对用户网络环境的差异性可能导致的体验不佳的情况等，我们同时提供了多个运营商网络以及分布式的云游戏节点（分布于四川、江苏、河南、广东、江西、安徽等地域，未来会根据需要增加更多节点），针对特定用户的云游戏请求，系统会自动分配到离用户较近的节点，且优先分配对应的运营商网络。

同时，我们设计了WebRTC（基于UDP）和私有协议（基于TCP）两种实时通信协议，并同时提供了UDP和TCP两条线路解决不同用户网络问题。当用户端到云游戏节点延迟较大时，推荐接入WebRTC协议流线路；当在用户端网络不支持UDP流时，推荐接入私有协议流线路。 我们对基于WebRTC的协议，进行了相关改进，包括由原生的P2P结构改进为更适用于云游戏服务的C/S结构、集成更先进的H.265/HEVC编解码器及流协议支持等；优化了发端和收端的缓冲（设置合理的发端和收端的缓冲区，满足基本的视频流传输性能外，更加重视其实时性），使准备好的视频流可以快速传输和播放；另一套基于TCP的轻量级私有协议，实时请求和发送最新的视频数据，有效消除累积延迟。另一方面，当网络丢包或因延迟到达判定的丢包达到一定程度（即出现卡顿时），协议支持立即编码和发送I帧的请求和响应。

游戏画质

3 更高的原始分辨率（如8K）和HDR受限于游戏本身支持不足、服务端视频编码速度的性能不足，并且需要更高的传输码率，进而对网络带宽提出更高的要求，当前难以实现。为此，我们当前通过实时后处理的方式提升云游戏视频的分辨率，在不久的将来，会逐步做到帧率、动态范围的提升。 智能手机的屏幕也许可以显示足够好的游戏流，但在大屏幕的4K电视或其他设备上则会消耗更多的带宽，如何实时地为给定设备提供其所需的最少数量的比特，从而使不同终端的用户都得以获得最佳体验很重要。 云游戏的跨平台实时分享主要通过将原本只传输给某一云游戏用户的实时视频流，同时在服务端传输给其他人进行画面共享实现，就可以避免终端分享的跨平台问题。在技术实现上难度并不大，借助于现有的主流直播方案就可以做到。当然要做到实时的分享，可能需要延迟更低的实时通信方案，这种情况下需要更大的网络带宽支持及成本开销。 一般情况下，云游戏服务端可以知道接入设备的类型设置型号，如移动设备/PC/TV。对于某种设备，我们需要借助图像/视频质量评价相关的学术知识、先验知识、测试经验等预先设置对应的视频分辨率、帧率及量化参数范围，从而使得该设备接入云游戏时可以以较少的比特率获得最佳体验。

游戏类型

4 对于第一人称射击（FPS）游戏， 比如当前流行的PUBG（PUBG四月底也加入了Google的Stadia）、守望先锋等等，专业电竞玩家需要1080P@144Hz（即144帧/秒）的视频才能满足需求；对于沉浸式游戏或者称为角色扮演游戏（RPG），如古墓丽影、刺客信条等，需要2K/4K以上的分辨率才能达到良好的沉浸式效果。

具体解决方案依赖更快、更强的视频采集、编码、传输和播放速度，并需要云游戏节点、客户端更高性能的硬件配置，以及更大的网络带宽支持，我们推出的“胖鱼道炫”云游戏平台已经支持上述类型的云游戏。 我们目前支持265款游戏试玩，其中客户端网游157款、3A大作80款、页游28款，主要针对端游和页游用户。 当前，多人在线游戏一般需要原生游戏本身支持，即多人游戏数据在原生游戏服务器上进行交换（内容版权），而原生游戏的客户端上渲染出的实时游戏场景才通过云游戏视频流形式传输给用户进行观看，所以游戏数据的交互和同步不属于云游戏的技术范畴。 个人觉得，目前云游戏做得比较好的，有Google Stadia、Shadow这几家。在为用户提供更便捷的云游戏接入方式、部署更多离用户较近的云游戏节点、服务端搭建更好的多运营商网络方面，他们提供了一些可供学习的经验，也只有做到这些，才能给到用户更好的云游戏体验。 后记：影响云游戏市场增长的关键因素包括5G的商业化、游戏玩家数量的增加、移动设备上沉浸式和竞争性游戏的兴起以及互联网用户数量的增加。 每年，游戏都变得越来越复杂、分辨率要求也越来越高。这意味着用户必须随时更新PC等设备才能运行最新款的游戏。但借助云游戏，游戏玩家所需要的只是一个良好的互联网连接。 但所谓“良好的互联网连接”也并不总是能够轻易达成，5G似乎近在眼前，伸出手却又够不着。 好在云服务提供商和电信公司仍然孜孜不倦地进行着云游戏及其相关的投资，它们的技术显然非常适合这一新兴的服务模式，云游戏也可以帮助他们开拓眼前迅速扩大的流媒体市场。 咨询公司Niko Partners的分析师表示，随着5G和云服务业务的进一步发展，到2023年，中国将成为最大的云游戏市场。 但是，非传统游戏公司必须在启动云游戏产品之前和之后考虑更多因素，包括确定目标受众和建立、维护有吸引力的内容库，在这里，版权也将是亟需考虑与规束的问题。