腾讯音视频解读直播的前沿技术

去年其实有很多的直播APP成长出来，但是提供低延迟高互动的直播平台并不多，因为这里面涉及到的技术相当多，这里仅仅是列出了所有用到直播技术的冰山一角。在直播通用方案的基础上，我们持续的在垂直行业场景上深耕细作，不断的针对场景特点进行技术上的创新，将细微的体验做到极致，下面会详细讲两个场景的案例。

首先是K歌场景。音乐对音质的要求非常高，正常情况下人的感知损伤，对音乐的感知非常明显。假如是普通的语音通讯，其实60毫秒的丢包基本上人耳有所感知，但是换作音乐场景，20毫秒可能就会听得非常明显。我们会从采集到传输到播放，将整个链路进行优化，降低整个的感知损伤。第二，我们还给音乐信号做了拉伸、压缩的技术，都是为了抗抖动、丢包产生的损伤以后怎么样去弥补。 

另一个是金融直播场景。金融场景的屏幕分享不仅是讲K线图，其实在教育场景用的也比较多，这里有一个技术难点，对屏幕编码的要求非常高，这里面会涉及到对屏幕压缩后怎么样传输，还有CPU怎么样去控制。在屏幕分享的过程中，还涉及到一些问题。比如，从语音、视频到屏幕，三方的流量是完全不一样的，怎么样控制这三方的同步，我们也是花了很长时间去解决。

2016年是直播的元年，也是人工智能和VR的元年，我们在这些技术方面有一些思考和研究。首先是语音识别和自然语言处理，直播加上语音识别，会有很多的玩法。QQ早在今年春节的时候，已经有了这样的尝试。在QQ视频聊天的时候，大家可能会出发一些彩蛋，假如跟对方聊天的时候说恭喜发财，我们的界面上就会飘出一个红包，类似这样的语音命令，在直播的场景下也是非常契合的。

还有实时字幕和翻译，假如一个老外在你的直播平台，他边说自己的家乡话，他下面会有翻译出来的字幕，他作为一个外国的主播，是不是可以和中国的观众进行无缝的交流。实时变声，QQ本身已经实现了很多，可以变为变形金刚的声音或者搞怪的声音。接下来我们会把某一个人的声音，或者你自己的声音，变成某一个明星的声音。在K歌场景，假如你可以把自己变成某一个歌星，在上面唱歌也是挺有意思的一件事情。 

在机器视觉方面，外面展台有我们的直播和绿幕的技术。之前技术只是用作于电影制作，现在这种技术已经可以慢慢地民用。我们同事也在尝试非绿幕的一些算法，通过人工智能怎么样可以进行更好的前景和背景的分割，我相信不远的将来这方面会有一些成绩出来。 

还有手势识别，涉及到人机交互的方向，传统的算法进展不是很大。去年AR的发展，我觉得手势识别技术方向，可能是下一个突破口，因为通过人工智能可以把这方面技术很快突破。有了这样一个全新的进展以后，我们在直播、互动方面，可以让主播和我们的观众进行一个更多花样的互动。

最后我会讲一下VR的方向，虽然VR在整个行业来看不是特别成熟，毕竟会有一个起步的阶段。首先会有一些360度全景的视频，在这个过程中我们在不断地打磨我们的基本算法和能力，比如说一些拼接的能力，怎么样进行一些双目渲染，为我们将来做VR做储备。 

刚才说到很多技术并不是科幻，也不是离我们很远的事情，这些技术很多已经在我们的产品中使用，后面很多都会加入到开放，给更多的合作伙伴提供这样一些能力。我觉得可能从技术来讲，直播的未来可能更多是一种技术创新，不管是AI或者VR，技术创新可能才是直播下一个真正的战场，谢谢大家。

据了解，腾讯在音视频实时通信、音视频直播、图像处理、视频处理和语音处理等技术领域拥有十多年的经验沉淀，技术水平已在业内领先。为行业数百个产品提供了音视频技术支持与服务，如QQ电话/视频电话、腾讯云、QQ空间、全民K歌、快手、斗鱼、虎牙、蘑菇街等。

腾讯在2011年成立了音视频中心，2015年底向行业开放了其自主研发的SPEAR音视频引擎，目前仅QQ音视频每天的通话就高达12亿分钟，2016年成立的腾讯音视频实验室致力于音视频及图像处理技术创新，为更广大的用户和行业客户提供稳定优质的音视频及图像处理服务。