本意是统计在网络损伤下,视频编码的I/B/P帧分别的接收和丢失情况。同样由于TCP的重传机制,视频编码的I/B/P帧都是100%传送,不会丢失,统计失去意义。
小结
传统的视频质量分析是基于有损传输的,MOS等指标本意是进行初步的综合的视频质量指示,以便做服务质量对比,再进一步做深入的指标分析,例如分析媒体流损伤情况、网络层丢包、抖动、延时等问题,最终找到影响用户体验的原因,并予以解决。
但由于HTTP ABR的特殊性,不存在图像损伤,网络丢包、抖动、延时等网络问题都无法影响到MOS指标,而HTTP ABR业务中,由于网络损伤而真正影响用户体验的主要问题,缓冲等待时间、等待次数、视频码率降低等都无法反应出来。
那么HTTP ABR业务需要怎样的视频质量测量体系呢?
三、需要怎样的指标体系来测量HTTP ABR业务?
HTTP ABR视频传输质量测量体系分为三个层面,Spirent测试方案对应给出了测试的方法和指标:
用户感知层面
Adaptive Streaming Score
Spirent提供了一个综合评估用户体验的,专门针对HTTP ABR设计的指标Adaptive Streaming (AS) score。AS score指示了有多少比例的用户收到最高速率的码流,并持续播放。AS score的范围是0-100,极端情况下“0” 表示所有用户都在最低码率下, “100”表示所有用户都在服务器能提供的最高码率下。
该指标综合指示了用户实际感知:码率包含了分辨率、帧率、色阶、清晰度等图像细节信息,而持续播放与否也反应了网络和服务器原因导致的延迟、丢包、抖动等传输情况。AS反应了用户在HTTP ABR业务中的 QoE。该指标便于测试者作为测试分析的入口。也便于将不同的测试结果进行对比。
在下图的例子中,视频被编码成多个码率,最低码率是64K,最高码率的1.5M。一开始用户都集中在64K最低码率,随时间推移有更多用户从低码率跳到了高码率的视频,在播放一分钟后,所有用户都在使用1.5Mbps的码率视频,对应的Adaptive Streaming Score也从0一直上升到了100。
图3、Adaptive Streaming Score
媒体服务层面
Adaptive Streaming Buffering Wait Times
在线的HTTP ABR媒体流Buffer等待时间,Buffer等待时间是指在这个时间内视频处于图像静止的Loading状态。
Adaptive Streaming Avg. Fragment Response & Download Time
媒体文件片段平均响应时间(从发出GET到收到第一个数据字节)和下载时间(收到第一个字节数据到最后一个字节数据),统计显示两个时间之和,并检查该文件片段是属于哪个视频码率段的,对该码率段的所有响应和下载时间取均值。该指标是指示在某个码率段中文件片段的响应和下载时间。
Adaptive Streaming Active Video Channels
实时显示在线的HTTP ABR媒体流在各个码率段分布情况
图4、HTTP ABR媒体流的码率分布
Fragment Run Statistic
Abort Fragment Request下载文件片段中断次数
Buffer Underrun Fragment用户等待视频下载才能播放的次数,除了用户刚发起新的视频请求播放的之外,在播放过程中该指标在网络理想情况下应为0,出现额外的Underrun则表示有卡顿。
Pre-Cached Fragment 预下载的文件片段数量
Bitrate Shift
码率向上升速的次数Total Upshifts、码率向下降速的次数Total Downshifts、码率维持不变的次数Total Rate Maintaining
其他统计计数
Sessions、Channels、Http Requests、Manifest Requests、Fragment Requests的计数统计
网络层面
网络流量、TCP连接统计、TCP SYN/ACK时间统计、Round Trip时间统计、TCP重传超时统计、TCP收到第一个数据包的时间统计、估算服务器响应时间统计、TCP Checksum fail、Bad header length、Bad data length、Duplicate、Out of sequence、Timeout统计等等网络参数,以分析网络层面的抖动、时延、丢包、错包等各种问题。
ABR Scores测量体系正在成为IETF标准
Spirent针对HTTP ABR业务所设计的整套ABR测量指标体系是业界领先的测量体系,已成为该业务测量的新标杆,并已提交IETF即将成为IETF标准。
注1:Spirent是The Internet Engineering Task Force (IETF 互联网工程组)的重要成员,先后制定过很多如RFC 2544等测量领域重要的标准文档。
ITU等标准组织现有的测量标准主要针对的是有损传输的应用场景,目前还没有针对HTTP ABR这种OTT Internet业务的已发布标准。
附录A:HTTP ABR传输机制说明
图8、HTTP ABR视频分发机制
评论
查看更多