0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

媒体传输协议的演进与未来

LiveVideoStack 来源:LiveVideoStack 2023-05-24 15:05 次阅读

音视频应用近年来呈现出迅猛的发展趋势,成为互联网流量的主要载体,其玩法丰富,形态多样,众多繁杂的媒体传输协议也应运而生。LiveVideoStackCon 2022北京站邀请到快手传输算法负责人周超,结合快手在媒体传输上的优化与实践,基于快手KTP、KLP、LAS等协议和标准,为我们介绍了媒体传输协议的演进与面临的挑战;还分享了最新的媒体传输标准CMTP,探索未来更多可能。

-01-

音视频大时代下媒体传输协议的繁华

本次分享会从媒体传输协议的现状、快手在媒体传输协议优化上的实践和对未来的展望三部分展开。

近几年,音视频技术发展迅速,叠加网络AI技术,音视频已无处不在,应用场景涵盖点播、直播、电商、实时互动、游戏、医疗和教育等多个方向。

从用户体验角度来看,音视频应用都需要在延迟、流畅度和清晰度之间寻找一个平衡点,对应到网络传输,本质就是需要在延迟、传输可靠性和带宽利用率之间找到一个平衡点。

8b9ee05a-f8fd-11ed-90ce-dac502259ad0.png

8c0afa1a-f8fd-11ed-90ce-dac502259ad0.png

基于此,音视频应用可以大致划分为三大类,即泛VoD、泛RTC和泛Live。

泛VoD偏重于点播类应用,对延迟不敏感,更注重传输可靠性和带宽利用率。泛RTC应用则对延迟非常敏感,在保证延时的前提下,才会追求传输的可靠性和带宽利用率。泛Live应用介于两者之间,对每个维度都有一定要求,并且不同的Live垂类场景,对三者(可靠性、延迟、带宽利用率)之间的平衡关系也有一定差异。

8c82f81c-f8fd-11ed-90ce-dac502259ad0.png

从架构上来看,泛VoD可以大致分为四个步骤。视频在采集和导入之后,叠加魔法表情等玩法,然后经过转码压缩上传到云端。在服务端进行审核和前处理等大量工作后,一般会进行二次转码,以进一步提高压缩率并生成多个质量的副本。最后,由CDN分发给用户,进行下载、解码、渲染和播放。

在生产端,创作者能否快速成功的发布作品,将直接影响他们的创作热情。

在消费侧,用户则更关注视频的清晰度和流畅度,这两个维度都需要可靠传输以及足够高的带宽利用率。提到可靠传输,最常见的就是HTTP协议和QUIC协议。此外,在消费侧,为了应对海量用户的差异性网络,一般会采用多码率自适应技术,例如DASH、HLS等。

8cafc3a6-f8fd-11ed-90ce-dac502259ad0.png

泛Live应用架构与泛VoD较为类似。主播和观众都希望获得低延迟、高清晰度和高流畅度的体验。但直播流实时产生,对传输的平稳性要求较高,对带宽利用率和延迟方面会做一定的妥协。例如,当网络出现剧烈波动时,允许出现丢帧和丢包。业内直播主要采用RTMP协议,近年来也在尝试QUIC协议,例如RTMP over QUIC的方案。在消费侧,通常也会采用多码率自适应技术。然而,常见的DASH和HLS技术,都是基于分片的架构,在直播场景中会带来较大的延迟。目前,为了降低直播延迟,许多厂商也在尝试基于WebRTC的快直播方案。

8ceed9f6-f8fd-11ed-90ce-dac502259ad0.png

泛RTC场景的目标非常明确,就是要实现超低延迟的互动。在满足低延迟的前提下,再提升清晰度和流畅度。目前使用最多的方案是WebRTC,很多公司也基于WebRTC进行了二次开发,形成自己的方案。

8d186492-f8fd-11ed-90ce-dac502259ad0.png

总体而言,每类应用场景目前都有各自比较成熟的协议,其稳定性高、各厂商支持好,但也存在灵活性差、跨层优化难和业务不感知等问题。

-02-

快手在媒体传输优化上的实践

8d505c30-f8fd-11ed-90ce-dac502259ad0.png

在快手的传输体系中,底层算法是最核心的部分,包括常见的拥塞算法、多码率自适应算法、弱网对抗算法等等。在此基础之上,我们设计了丰富的传输协议,例如KTP、LAS、AAS、KLP等。KTP是快手自研的第一个私有传输协议,用于直播推流、作品发布和RTC等业务场景;LAS是快手自研低延迟直播多码率自适应协议,目前已形成行标,几乎所有云厂商都支持;KLP是快手自研的直播拉流协议,用于提升直播拉流的传输效率;AAS是点播场景下的多码率自适应协议,包含短视频和长视频场景。

8d8aa818-f8fd-11ed-90ce-dac502259ad0.png

KTP在设计之初,就希望一个协议能同时支持支持点播、直播和RTC等多个业务场景,解决协议繁多、维护和优化成本高的问题。在架构上,KTP总体分为两层:底层是传输控制层,通过对协议的设计,支持在传输延时、可靠性和带宽利用率之间取得动态平衡。在其之上是业务感知层,感知业务特性,根据不同业务的特征,采取最佳的策略与算法。

8dbd137a-f8fd-11ed-90ce-dac502259ad0.png

通过实际测试对比发现,在直播推流场景,KTP在60%丢包率时,依然可以保持清晰、流畅的推流体验(左图),而RTMP在15%丢包率时,会发生严重卡顿,处于不可用状态(右图)。

8e2fa48a-f8fd-11ed-90ce-dac502259ad0.png

在作品发布场景上,基于KTP的通用上传服务,已经用户快手各个作品发布/文件传输的场景,并显著提升了作品发布成功率,从最初的70%~80%提升到99%以上。此外,即便在用户网络越来越复杂、作品大小越来越大的情况下,其发布耗时也一直处于下降的状态。

8e734f00-f8fd-11ed-90ce-dac502259ad0.png

最后,在RTC场景,KTP支撑着快手内部所有的RTC业务,例如PK、连麦、会议、StreamLake等等。基于先进的算法与架构,基于KTP的RTC解决方案,在体验和性能等多个维度上,都显著领先竞品。

8eb9ce76-f8fd-11ed-90ce-dac502259ad0.png

此外,在2021年ACM Multimedia的低延迟传输挑战赛中,快手也以巨大的优势取得了第一名的好成绩。

8f809ed4-f8fd-11ed-90ce-dac502259ad0.png

协议是桥梁,支撑各种功能与业务需求,但其传输性能主要取决于底层算法。例如网络领域的核心算法之一的拥塞控制算法,在过去几十年一直是研究的热点与难点,直接影响着协议的传输性能、带宽利用率、弱网抗性等。快手一直持续在算法领域深耕,例如自研的拥塞控制算法IA2C,性能远超BBR;基于强化学习的NNCC,在带宽利用率上取得新的突破;最近正在准备上线的下一代拥塞算法AQDC,在带宽利用率和延迟上,均取得显著收益。

8fc8e482-f8fd-11ed-90ce-dac502259ad0.png

8ff63cc0-f8fd-11ed-90ce-dac502259ad0.png

KTP广泛用于作品发布、直播推流和RTC等场景,并取得了很好的收益。但由于历史原因,在下行链路上,KTP并未很好的做支持和优化。于是,在2020年,我们复用了KTP的底层传输控制,并在此基础上,增加了适用于直播拉流特性的策略与算法,形成了KLP协议。KLP在海外上线的时候,取得了非常好的效果。

90363442-f8fd-11ed-90ce-dac502259ad0.png

909114ca-f8fd-11ed-90ce-dac502259ad0.png

在消费侧,为了应对用户差异性的网络特性,一般会采用多码率自适应技术,来平衡流畅度和清晰度,例如国际标准DASH和HLS,其大致原理为将视频文件转码成多个档位,每个档位进行分片处理,消费侧依据实时网络状况选择不同的分片,最终拼接成一个完整的视频。这两个标准成熟度高,但最初都是为点播设计,直接用于直播场景,会带来较大的延迟。

90c0d0a2-f8fd-11ed-90ce-dac502259ad0.png

在经过充分的调研和讨论后,快手决定自己建立一套低延迟的直播多码率标准,也就是LAS,目前LAS已经正式成为行标,也被业界广泛采用,相关细节可参考官网介绍(https://las-tech.org.cn/#/)。

9111d74a-f8fd-11ed-90ce-dac502259ad0.png

在点播多码率上,我们同时考虑了短视频和长视频之间的差异,形成了快手点播多码率自适应标准——AAS。在协议描述上,参考了MPD和DASH的设计,最核心的是快手自研究的多码率算法,包括传统基于模型的算法、基于深度学习的ABR等,这些算法在不同场景,均取得了非常好的效果。

9157103a-f8fd-11ed-90ce-dac502259ad0.png

此外,在2022年ACM Multimedia的短视频传输挑战赛中,快手也以巨大的优势取得第一名的好成绩。

91bf3746-f8fd-11ed-90ce-dac502259ad0.png

目前,快手的网络传输主要依托于自研的一系列协议,但仍存在一系列问题,例如下行场景覆盖不足、业务耦合、生态封闭、无法赋能行业、三方CDN不能全场景支持等。

-03-

下一代媒体传输协议:CMTP

91f111c6-f8fd-11ed-90ce-dac502259ad0.png

基于之前多个协议成功的经验和算法积累,我们期望设计一套全新的协议CMTP,可适用于所有场景,并能解决覆盖不足、生态封闭等问题。总体而言,CMTP具有以下四个特性:架构通用、全场景、高扩展性和特性丰富。

92658c90-f8fd-11ed-90ce-dac502259ad0.png

在架构上,CMTP分为五层:

UDP/TCP层:底层IO使用的网络协议,默认采用UDP,UDP灵活性高,易扩展,可以支持多种算法与策略,对于UDP Block的情况,则采用TCP。

传输控制层:支持UDP和TCP两种模式。基于UDP规范了协议字段、组包拆包方式、会话管理等,支持ARQ、FEC、拥塞控制、0-RTT、加密、多路复用等功能。基于TCP也规范了协议字段、组包拆包方式等,并支持加密、多路复用等功能。

传输表示层:规范了传输控制层所需要提供的接口和功能,包括媒体会话、媒体流的定义,以及媒体数据、控制信令的表示方式等,同时支持协议优选。

应用感知层:以组件化的方式组织,感知业务的不同需求,并通过对应的组件提供专属优化功能,包含直播组件(Live)、点播组件(VoD)、实时通信组件(RTC)和通用组件。各个组件功能独立,可插拔、替换或新增,从而保证其足够强的扩展性、兼容性和业务适应性。

通用接口层:规范了对外的标准接口和配置,包括客户端和服务端接口,元信息和通用配置的格式等。

92a3ed00-f8fd-11ed-90ce-dac502259ad0.png

目前CMTP已经在快手落地,也取得了显著的收益。此外,很多厂商也已经支持CMTP,并与快手一起推进标准化。未来,希望有更多团队加入我们,共同建设良好的CMTP生态。

审核编辑 :李倩

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • HTTP
    +关注

    关注

    0

    文章

    500

    浏览量

    30993
  • 传输协议
    +关注

    关注

    0

    文章

    77

    浏览量

    11424
  • ai技术
    +关注

    关注

    1

    文章

    1250

    浏览量

    24210

原文标题:媒体传输协议的演进与未来

文章出处:【微信号:livevideostack,微信公众号:LiveVideoStack】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    谷歌与加州达成2.5亿美元媒体支持协议

    谷歌与加利福尼亚州立法者携手开创了全球先河,共同宣布了一项价值2.5亿美元的媒体支持协议。此协议旨在通过直接资金注入和技术创新,为加州的新闻机构提供强有力的支持,同时巧妙地规避了可能给科技公司带来更大经济压力的州级立法。
    的头像 发表于 08-26 16:26 722次阅读

    应用驱动协议演进,拥抱智能创新技术

    日前在温哥华举办的IETF 120会议期间,华为数据通信产品线副总裁吴局业发表了“拥抱智能创新技术”的主题演讲。 吴局业指出,应用驱动着协议演进。在5G时代,IETF已经在SRv6、性能测量、网络
    的头像 发表于 08-20 21:22 843次阅读

    蓝牙传输技术的演进与发展

    蓝牙模块技术,作为无线通信领域的重要一员,自其诞生之初便受到了广泛的关注和应用。随着技术的不断发展和演进,蓝牙模块技术已经从最初的单一功能、有限传输速度发展到现在的多功能、高速率、低功耗,为人
    的头像 发表于 07-05 17:56 1172次阅读

    【RTC程序设计:实时音视频权威指南】信令与媒体协商

    媒体描述有多种格式,例如会话描述协议sdp,在通信中,双方交换完sdp后就可以进行数据传输了。 在传输过程中,可会可能会遇到一些问题,例如带宽的限制会导致发生网络拥堵,在rtc中带
    发表于 04-29 17:24

    网络传输协议有几种?

    网络传输协议是一种规定计算机在网络中进行通信的规则或标准。常见的网络传输协议有以下几种: 1. TCP/IP协议:TCP/IP(
    的头像 发表于 04-02 16:04 1238次阅读

    DTU的多种协议,解锁数据传输的无限可能

    DTU,即数据传输单元,是一种在物联网(IoT)网络中常用的设备,主要用于在传感器和智能设备之间进行数据传输。DTU使用多种协议来实现这一目标,这些协议不仅提高了数据
    的头像 发表于 03-01 11:00 719次阅读
    DTU的多种<b class='flag-5'>协议</b>,解锁数据<b class='flag-5'>传输</b>的无限可能

    音视频解码生成与流媒体传输的结合

    音视频解码生成与流媒体传输是现代数字媒体技术中两个不可或缺的部分,它们的结合为用户提供了高质量、实时性的多媒体体验。 1. 解码生成与流媒体
    的头像 发表于 02-21 14:36 355次阅读

    编解码一体机在流媒体传输中的核心作用

    传输带宽的需求,还能降低存储空间的使用。 实时传输:编解码一体机支持实时传输协议,能够实现音视频流的实时传输,保证流
    的头像 发表于 01-31 14:20 395次阅读
    编解码一体机在流<b class='flag-5'>媒体</b><b class='flag-5'>传输</b>中的核心作用

    WiFi协议技术详解概述

    WiFi协议是一种广泛应用的无线通信技术标准,它通过多个层次和协议实现了高效的无线数据传输、安全管理、移动性支持等功能。随着技术的发展和应用场景的不断扩大,WiFi协议将继续
    的头像 发表于 01-19 17:27 1352次阅读

    蓝牙协议版本解析:不同类型的蓝牙协议及其作用

    蓝牙技术作为一种无线通信技术,随着时间的推移不断发展演进。不同的蓝牙协议版本为各类设备提供了不同的功能和应用特性。本文将深入解析不同类型的蓝牙协议版本,以及它们在各种设备中的作用。 1. 蓝牙1.0
    的头像 发表于 12-28 11:17 1946次阅读

    如何选择传输协议?TCP和UDP的优缺点和适用场合

    如何选择传输协议?TCP和UDP的优缺点和适用场合  传输协议是计算机网络中的重要组成部分,它负责在主机之间传输数据。常见的
    的头像 发表于 12-11 11:42 935次阅读

    TCP传输控制协议知识科普拓展

    传输控制协议(TCP,Transmission Control Protocol)是一种面向连接的、可靠的、基于字节流的传输层通信协议,由IETF的RFC 793定义。
    的头像 发表于 11-27 17:46 905次阅读
    TCP<b class='flag-5'>传输</b>控制<b class='flag-5'>协议</b>知识科普拓展

    串口传输协议

    通信传输协议
    油泼辣子
    发布于 :2023年11月16日 17:18:55

    如何实现MQTT协议数据传输

    如何实现MQTT协议数据传输? 随着物联网技术的不断发展,越来越多的设备和应用需要实现互联互通。而MQTT作为一种轻量级的发布/订阅消息传输协议,在物联网领域应用广泛,成为了许多设备之
    的头像 发表于 11-15 17:23 1087次阅读

    FTP、SFTP、TFTP文件传输协议之间的主要区别

    FTP(File Transfer Protocol,文件传输协议)是用于在计算机网络中传输文件的标准协议
    的头像 发表于 11-15 09:04 6098次阅读
    FTP、SFTP、TFTP文件<b class='flag-5'>传输</b><b class='flag-5'>协议</b>之间的主要区别