概述音视频通信的技术变革

导语

随着5G和下一代编解码、传输等技术持续演进，音视频通话技术从低延时到超低延时实时通信快速迭代，越来越多应用与服务迁移至线上，越来越真实无损地还原线下体验，新的互动方式和场景不断涌现，从高度数字化到拟真化再到全真互联网时代。本次LiveVideoStackCon 2021上海站我们邀请到了腾讯云副总裁李郁韬来分享音视频的变革趋势、演进以及未来。

演讲 / 李郁韬 大家好，我是腾讯云的李郁韬。作为LVS的老朋友，回想起去年在电脑前用腾讯会议参加LVS线上圆桌讨论，与大家分享“危机之下的音视频技术驱动产品创新”。很高兴能再次与大家相聚在此，面对面地交流音视频在后疫情时代的发展趋势。 个人来讲，我很感谢这个时代，在去年到今年这段困难时期，在座的音视频行业从业者仍然能发挥技术力量，为社会创造价值。

本次分享内容主要围绕后疫情时代展开，重点分享互联网数字化场景应用音视频技术的新案例以及发展趋势。 未来的互联网是全真的，是线上线下结合的，是数字与实体相通的——这样的互联网时代被叫做全真互联网时代。我们团队对全真互联网是什么有很多的思考，总结来说，首先它要有实时互动的能力；其次它要有高清音视频沉浸式体验；然后它要有无处不在的接入能力，例如APP、小程序、H5及硬件终端；最后它要有丰富的内容制作能力，使全真互联网时代充满有意思、能消费的内容产品。

01疫后趋“视”，云上飞驰

三年前，腾讯合作伙伴大会做过预测，两到三年后整个音视频市场会以短视频为主，直播与长视频为辅。2020年的市场中，短视频和直播的活跃度明显居于前列，短视频用户渗透率趋势高达75%。可见短视频已经成为线上数字娱乐内容消费的主要载体。

除了市场的基本载体被短视频、直播覆盖以外，很多行业都出现了大变化。第一是直播领域，电商直播成为所有平台的标配。去年，在整个直播电商市场流量增加了8倍，预计2021年大盘将突破万亿规模，相信在未来两到三年仍然会呈高速增长的趋势。未来每一个直播平台和企业都会拥有电商直播的渠道做数字化营销。

第二是教育场景，头部的在线教育平台运用大量音视频通信技术完成了各类生动教学；许多机构迫于疫情无法线下营业，也不得不选用SaaS工具，将线下教育场景搬至线上，大量OMO机会出现，去年市场的渗透率增长很快，但总体还是处于较低水平。因此，我们预计教育场景在未来两到三年还有很大空间可以挖掘。 第三是国内企业直播以及多媒体服务。自从疫情后，每个企业都在思考如何在线上有更好的门户、渠道、线上业务流程。

多媒体服务和承载能力成为必须面对的工作挑战。从市场报告看，2020年企业直播的同比增速超过100%，预计2021年整个市场规模有望达到50亿以上，并保持高速增长。将来每家企业可能都会有专属的直播频道、视频号、专属短视频媒体库，而音视频技术将会成为社会的基础设施。

02线上数字生活进一步媒体化

腾讯云所有产品线包括视频云、云通信都会为线上数字化生活贡献技术力量和B2B产品，使线上数字生活进一步多媒体化。

2.1 直播带货新常态—技术驱动电商直播，互动体验极致优化

关于直播电商，这里讲一些不一样的。大家也许都知道，所有APP做直播电商都需要SDK，要买CDN服务、点播服务。去年疫情时，很多传统企业无法现做APP，这就导致它们需要选择轻量化入口，快速开发平台支持电商直播转型——小程序成为当仁不让的选择。疫情期间腾讯云观察到电商直播流量涨了4倍多，50多家各类企业或电商平台都基于小程序做了电商直播。腾讯云将音视频体验以及其通信能力做了包装和输出去承接这些需求。

2.2 全民电竞直播不断挑战 技术承载上线

每年的电竞直播都是对音视频、流媒体行业巨大的技术挑战。基于过去三年的数据，每年LPL的决赛在线观看的人数都有30%至40%增长。在全球范围内，友商直播峰值1千多万同时在线来自印度板球的全民观看。我们作为中国的企业，可以很自豪地说每年支撑的电竞直播峰值早就突破2千万，这背后是大量CDN基础设施保障以及降本增效关键技术的沉淀积累，包括腾讯云智能高清极速转码以及P2P降带宽技术。

在每年盛事峰值突发的情况下，社会网络带宽都有极大节省。往年，大家只是在线上看直播，而去年我们通过一些技术手段与赛事主办方、播放平台方做了三方联动，将一键互动能力植入了比赛过程中，使观众在看电竞直播画面的同时，能够实时看见游戏进程数据，同时还能跟现场解说做实时互动。以上尝试点会在未来做进一步挖掘与提炼，让未来电竞比赛观看的互动性更强。

去年，电竞直播过程中需要做到精彩视频的快速生成，且微博、抖音、快手等其他短视频软件都需要大量及时分发，现场的运营人员都可以通过云化在线编辑工具和在线实时生成工具将精彩集锦剪辑，分发至相应平台，形成传播，吸引更多观众加入直播房间。 上述两个特点都是从去年开始大规模运用，预计未来两年将有更多的互动、更快内容的生成与分发会在电竞直播中进一步拓展。

2.3 云游戏迈向全真互动时代

接下来分享的是云游戏，相信大家都不陌生，这也是一个非常火、聊了两年的话题。非常激动的是从去年开始，从腾讯云角度去看云游戏，它的发展速度是飞快的，远远超出了预期。中国整个网络环境与网民终端能力，以及整个技术成熟度完全支持将大量端游和部分手游进行云游化，腾讯云游戏提供的PaaS层可以方便地把一款端游、手游在云端进行实例化，通过串流服务一起给到平台方全套的SDK解决方案，使之实现云游戏的完整上架和接入。

最近发展较好的大平台，包括斗鱼、菜鸡、YY都在云游戏上构建了大量实例，尝试与自己的直播做互动。上图中的案例是菜鸡已经在云游戏中做主播与观众的接力玩法，例如主播正在玩、所有人正在看的时候，玩家可以申请与主播一起玩，可以到云游戏房间解锁主播控制权，甚至与主播在游戏中PK。

其他观众可以观赏他们的游戏过程。整个过程的互动性得到了极大的增强。很多Party类、养成类游戏都非常适合此类玩法。它背后依托的是方便接入、低成本、稳定的云游戏PaaS层，在上面做二次分装就可以方便地实现云游的解决方案。

2.4 在线K歌/语言聊天室，走向高清实时

在线娱乐类比较多的场景是语音聊天室和在线K歌。大家都关注到前段时间北美的Clubhouse比较火，它运用到的技术大家也都不会陌生，很多语音聊天应用早已经这样做了。在线K歌场景从以前的合唱接龙方式到现如今可以实现多人真实实时合唱。通过一些测试和对比，时延已经达到70毫秒以内，在不久的将来，大家就可以在全民K歌APP中体验到全实时合唱能力了。它背后依赖的是RTC技术的极致优化和全球各运营商部署节点的能力，以及业务上配合集成的工作，未来语音聊天和K歌场景会往全实时、更高清的方向发展。

03内容生产：云化的多媒体生产工具

将进一步提升全真互联网的内容供给

接下来我想与大家分享内容生产制作。在线制作数字化进程加速，每天消费内容需求量不断增加，对内容生产方挑战很大，之前MCN的编辑一人需要花很长一段时间去创作，同时需要很多人帮他审核、后期制作以及分发上传到相应的视频平台。随着云化进程和多媒体云端处理能力的加速，未来工作都会移至云端实现，以真正变成全真互联网的内容供给。

3.1 内容消费成为行业主流，编辑的内容生产工具成为刚需

从市场规模来看，2020年MCN市场规模达245亿元，数量达28000家，平均同比增速大于100%。内容消费端，网络广告市场规模超万亿，企业及广告主更愿意为内容营销付费买单，未来在数字化营销以及内容分发和消费上，内容生产是必须解决的问题。

3.2 效率问题——云创多媒体引擎

首先是效率问题，腾讯在这一方面做了两年多云剪，云导播产品。打开腾讯制作云，选择云转推，添加输出地址，可以选择视频号等多个第三方平台，填写推流地址，立即转推，即完成多平台同步直播。视频内容往往涉及多人协作，成员A进行素材拍摄并上传至云媒资，成员B在后台进行素材审核、分类、打标签等操作，这里准备了海量的视频模板，成员C可以使用模板快速制作成视频内容，点击导出完成创作。腾讯制作云支持将视频一键上传至快手、微博、企鹅号。

今年我们已经将整个产品线升级成云创多媒体引擎。其实我们不是一个视频平台方，不做内容生产、内容分发，但我们希望通过我们的技术能力、通过云化的服务使视频开发者和企业主具备生产工具的能力。所以我们将软件升级成云创多媒体引擎，希望以引擎的方式被集成至大家的生产系统，使之具备云化剪辑、云化导播以及云端的媒体管理能力，同时在全流程的生产协作上提供必要的接口，以提供云化生产制作的全流程。

整个云创多媒体引擎特性可以用三个维度阐释。首先是它可以解决生产规模化的问题，以前的生产都需要几个人像生产流水线一样人工操作，随着云化生产工具进一步发展，未来可以有大量云端素材库、模板库帮助活动运营内容制作商在节假日、庆祝活动快速通过模板素材生成一系列短视频。

今年春节期间，我们有幸服务到好几家小程序客户，它们用微剪工具做了少儿春晚推广，效果非常好。我们提供的是小程序音视频剪辑的插件，被植入到小程序中，再做线上的推广，给用户提供线上视频制作，再二次分发与裂变。其次是生产协同化，在线的多媒体制作本质来讲是办公协同场景。我们将所有流水线上的操作都搬至云上，将一体化更智能的能力赋能给这些人。

传统模式下要做较好的短视频需要两天人工，到云创时代，预计整个过程缩短至30分钟以内。最后是一键多平台直播，作为工具的平台方，要帮助做好一键多平台的能力，方便用户对接到新的视频平台和传播渠道上。类似微信视频号这样新兴发展起来的视频平台也可以由我们一键转发。

最后是云创多媒体引擎被另外接入的方式，除了提供SaaS级别的0开发、即买即用方式之外，我们也提供更改域名、更改LOGO定制化的能力和配置，除此之外还提供一系列的API，包括前端Iframe集成，后端一些列视频接口和批量处理接口，用户能够非常容易、方便地接入集成至已有的生产系统中。在这个Case下，B站已经用这个引擎做了面向运营人员的工具，图中看不出是腾讯云提供的，也是希望赋能给各行各业，让大家都拥有云化多媒体生产能力。

04传统行业：音视频通信云成了各产业

升级到全真交互时代无可替代的工具

后疫情时代，很多的工作已经被疫情改变。拿我自己来说，每天的会议，包括招聘的面试都在用腾讯会议进行，这在两年前是不可想象的。传统的各行各业也将线下业务搬至线上，且已经回不到之前的状态了。

4.1 教育行业：1V1、小班课、大班课等 各类在线教育高速发展

现在的在线教育发展已经有了用户习惯的基础，市场上发展火热的教育场景在腾讯云解决方案中有了丰富全面的覆盖。这里值得注意的是腾讯云低延时的产品，它可以非常方便地将大班课CDN相对高时延的服务快速切换至低时延RTC服务。

腾讯云提供的小程序音视频的能力，能方便在线教育创业者在小程序上快速试错，测试用户接受之后再导流到APP中，中间买量和运营成本也将急剧下降。在RTC竞争十分激烈的市场上，相信其他功能每家提供的解决方案趋同，大趋势是几乎所有在线教育平台都会选择多云方案，集成多家RTC的SDK，形成质量保障。

4.2 金融/证券直播：轻量便捷的小程序金融/证券直播更受欢迎

金融领域在这一年内发展非常快。疫情期间受影响最大的，首当其冲的是基金销售领域。过去的模式是基金经理每过一段时间就需要在线下办沙龙和会议销售基金产品。大量基金经理在没有办法线下开展时，都选择用了小程序工具线上完成基金宣传和售卖活动，效果非常好。

据平台观察，去年典型的基金经理可以做几十场直播活动，相对以前场次是20多倍的提升，每场参与人数从100至1000不等。全年累加，好的基金经理可以吸引几十万人的观众和潜在客户。典型的工行、招行客户明星产品非常多。去年股市非常火，基金更火。双重因素刺激下，小程序基金直播非常值得期待。

4.3 银行业：基于互动视频的无界银行，提升后疫情时代银行业务效益

很多线下传统的金融流程完整搬至线上。比较典型的是腾讯云的合作伙伴飞虎互动，用了半年多的时间将多家银行的开户流程搬至线上，以虚拟营业厅的方式使不能出家门的客户有了开户体验。相信未来这种场景会继续渗透进大家生活的方方面面。

4.4 云上展会成为新常态

去年云上广交会，腾讯从接到任务、线上投产到顺利结束，整个周期不到3个月，可以想象在四五年前，音视频技术还没有这么发达的时候，这个项目也根本不可能做得了。去年因为有了比较成熟的云化方案，以及音视频技术的积累，可以通过包括腾讯会议、TRTC的SDK整套综合解决方案来快速支持广交会的商户在云端构建每个商户的线上店铺，用音视频让全球买家与卖家做生意，这是非常大趋势改变，相信在未来全球疫情没有得到很好改变时候，线上展会、与国外做生意的大型企业的直播都会非常依赖音视频与云的技术。

4.5 沉浸式内容+TRTC带看+多触点呼叫中心，构建全真营销能力

在去年疫情期间，腾讯云与贝壳如视一起合作了VR带看的场景。如果有租房买房的同学用过贝壳的话，都能感受到沉浸式的看房体验，随时随地可以发起与经纪人的联系，能够极大诠释看房的全真互联网时代。接下去还会有看车，看博物馆的展览，这些都会加入沉浸式与带看的体验。除了移动端的小程序与APP，我们还推出了TCCC云化呼叫中心产品，它完全基于TRTC去实现纯Web全座席端的呼叫产品，可以通过被集成的方式提供到现有的工单系统、CRM系统中，实现软件化和多触点通信能力。

05开发者有了更多的音视频技术栈的选择

这一部分介绍一些新的技术趋势，以方便大家选择自己的技术栈。 5.1 云原生低码aPaaS涌现

云原生是一个大趋势。云原生可以理解为容器和音视频结合，这里边有非常多的想象空间和可行性。以前要做RTC服务或直播服务，除了购买RTC供应商的服务或CDN之外，还要自己搭建媒体源站和录制服务，以方便做业务逻辑的分装。 现如今云原生时代，可以通过Serverless，无需购买搭建服务，通过函数服务在几行代码中调用Rest API实现之前繁琐的过程。

其带来的好处显而易见：弹性伸缩，按量使用，按需付费，同时可以快速启动，无需管理大服务器的集群，所有的组件都是无服务器化的，无需运维，节省人力成本。

上图中的两个例子，其中一个，以前要做视频文件转直播流往往需要文件解析的源站，调用FFmpeg做转推服务至直播平台，现如今可以使用Serverless运行服务端的SDK解决这些问题；

另一个例子，在线教育用的是全景录制，它的意思是作为学生参与课堂所看见的所有内容互动、PPT和老师的小窗口都需要原封不动地录制下来，这给服务端带来了很大的技术挑战，实验起来很麻烦。现在通过Serverless技术可以在云端构建仿终端的实例，在Serverless组织下做到完全还原录制。

5.2 All in One 音视频终端引擎

腾讯有直播推流的SDK、TRTC互动音视频的SDK、IM即时通信的SDK。在去年年底我们将这些都做了一定程度的统一，用同样的接口风格、同样的格式和接入方式提供给开发者All in One一站式的音视频终端引擎。未来我们会更多投入到音视频终端引擎的开发中，包括前端埋点的上报、全链路的监控和日志的排查等，把整体解决方案提供给开发者。相信未来在兼入到腾讯云终端SDK后，只需要在控制台点选所需要的协议和需要的延时大小等个性化参数，就可以方便地得到想要的SDK形态。

5.3 下一代全球实时传输网络 助力开发者在全球快速上线业务

上图是全球的基础设施。从去年开始，基建就面临着不小的挑战，包括疫情重点地区巴西、印度等建设进度严重受阻，通过不懈努力，以及与合作伙伴的通力合作，现如今腾讯云全球节点已超过2100 个，可以容纳120T的带宽储备应对突发情况。包括腾讯会议海外版、TRTC海外版、IM海外版都已经全面支持GDPR的要求，全面支持主流大洲国家覆盖。所以在选择出海业务时，腾讯云是一个比较好的全家桶选择。

5.4 腾讯云音视频通信

未来两年，我们仍会围绕应用场景、基础设施、PaaS层三个方向发展。目前正式推出统一的基础网络与RT-ONE音视频通信技术网络，旗下有实时音视频通信网络去解决音视频实时通信的问题、有即时通信网络去解决IM消息和业务信令的问题、有流媒体分发网络去解决海量大并发直点播CDN的问题。

在此之上，我们构建的All in One SDK音视频引擎以及云创多媒体生产制作的引擎一起构建出了PaaS与aPaaS的产品家族。再往上，我们会供给给各领域的场景，例如在线教育场景、会议场景、客服场景、泛娱乐场景、金融场景等等，我们都会与合作伙伴推出整体解决方案。

5.5 腾讯云音视频通信开发者资源

上图是对开发者的贡献，去年API个数超过300+，其开发速度满足了各行各业从业者的要求，全年迭代150+版本，整个过程中没有一例重大事故；文档突破2500+，大家在腾讯云上搜索相关产品都能获得全面的文档解释；SDK覆盖了所有的终端，aPaaS方案仍在向上叠加，现如今是10个，相信再过一年是20个，30个……未来各行各业的解决方案都会呈现在产品库中，而且所有产品都标配了私有化部署的能力。在开源社区方面，我们也持续积极投入，现在有13个开源项目面向开发者，每年会有100+场活动与大家共同交流。

06未来技术趋势洞见

接下来聊一下对未来趋势的看法。

6.1 音频-弱网下的音频QoE越来越重要

在音频处理方面，腾讯的多媒体实验室和天籁实验室投入了很多精力和人力去做3A的处理优化，力求将其做到极致。推出的cPLC连续突发丢包补偿方案和cFEC前向纠错编码方案在腾讯会议中也得到了非常多的应用。

6.2 视频向超高清演进

现在我们看见的主流短视频很多是通过软件编解码方式来做的。未来随着云游戏、视频直播的发展，EGL编解码器逐渐替代X86软件编码器，腾讯工程师研发的H.265硬件编码器瑶池V500也在路上了，相信会很快投产。

6.3 各式流媒体协议满足不同业务场景

紧接着我想分析一些趋势。流媒体的协议格式发展速度很快，全球范围上看，所有格式都在其应用场景上发挥着自身的价值，本次我想重点挑几个介绍。SRT以前是传统广电直播领域解决上行直播问题的协议，现在我们将它用在了电竞直播远程技术中心高码率传输的过程中，能够极大地解决以前靠专线和卫星传输带来的成本消耗问题，同时带来了不错的质量；

WebRTC方面，我们投入了非常多的精力去做社区贡献，调整其QoS、QoE，将秒开和卡顿做到极致。基于腾讯自身的RTC，我们还将WebRTC作为接入端，实现多端互通，包括小程序；还要提一下QUIC，它是标准传输协议，在海外很多场景下，用QUIC做CDN的最后一公里加速非常不错。如果接入到腾讯云CDN，就可以天然享受到QUIC协议。

6.4 下一代编码标准工程化加速

关于下一代的编码标准，AV1在海外已经大规模使用，国内长视频平台也已经开始使用AV1。腾讯云在2019年11月开始从云直播、云点播全线产品支持AV1的转码服务，同时也是AOM的第一家中国公司董事会成员。在AV2上，我们也参与了提案，相信在2022年会有定稿部分。腾讯多媒体实验室担任了VVC的联合主编，参与了许多提案。腾讯多媒体实验室、视频云室联合腾讯内部多部门共同研发H.266/VVC编解码器，很多产品都已经得到了客户的验证，最近我们在考虑是否需要更好地与FFmpeg做结合并将其推出给开发者。 6.5 开源的思考

腾讯的音视频团队一直在积极拥抱开源社区，在开源技术的基础上经过加工，有了一些好的特性我们都会积极回馈至社区。拿FFmpeg为例，腾讯在2019~2020期间向社区提交的Patch数目 》 330个，被merge的Patch 》 180 个，是社区前10 的贡献者。相信未来在VMAF、SRT、WebRTC上也会有更多的贡献，希望能营造双向循环的生态，从云计算从开源社区拿到的好东西最终能以云服务的方式提供给开发者，同时将开发者反馈的问题回馈给开源社区，让其他的云计算公司和开发者可以直接从开源社区拿到不错地版本去构建自己的服务。

07腾讯云V加俱乐部

最后想要聊生态合作的部分。腾讯云去年成立了面向音视频行业的V加俱乐部，并启动了招募活动。

已经有非常多的伙伴加入到我们的V加俱乐部，一年收入已超过一个亿，发展空间非常巨大，相信未来我们还是需要和音视频开发者生态合作去服务客户。V加俱乐部的基本思路是提供PaaS层和aPaaS层产品能力与ISV做某个行业的定制开发，继而形成联合产品，借由腾讯的千帆计划和云市场推出给腾讯云客户以及ISV自身的客户，使之了解两者联合产品的特殊价值。

其次，我们用技术生态合作去解决腾讯云很多客户的定制开发问题，让合作商进入项目中做技术开发工作。然后是我们对商机的开放，将我们拿到的不能解决需求的商机贡献给V加俱乐部成员，大家共同服务好客户。

除此之外，今天还想面向开发者宣布一个消息，在演讲前一天，腾讯云官网就已经上线了面向开发者的创新成长快线，希望能够让大家有更多的免费资源，享受到视频通信产品服务。TRTC会提供给符合标准的开发者100万分钟的免费时长，同时还有腾讯云专家团队的技术支持，最高享有10万元云产品代金券，详细活动以腾讯云官网介绍为主。

编辑：jq