基于Q-learning的码率控制算法

　　近年来，各界对多媒体内容传输特别是视频流服务越来越重视。在尽力交付的互联网上支持可靠视频流传输，基于HTTP的自适应流（HAS，HTTP　adaptive streaming）已经成为视频业务技术的发展趋势。

　　HAS采用码流切换技术动态调整码率，整个过程由自适应算法负责。可用带宽估算和码率选择是客户端码率自适应算法的2个核心功能。根据媒体片段的TCP平均下载吞吐量估算网络带宽。码率决策从视频码率集中选择低于估算网络可用带宽的最大码率等级。这种码率选择方法易造成视频码率的频繁切换，给观看者带来不舒适的体验，且设定硬编码的码率选择策略灵活性偏低，无法应对变化多样的网络配置和网络带宽。

　　将自适应视频流的传输建模成优化控制问题可以提升码率决策的灵活性。增强学习通过早期离线训练，学习最优的控制策略，然后将策略应用在实时自适应控制中，能够提升客户端码率决策机制的灵活性和自适应性。

　　本文设计基于Q一1eaming的码率决策，设计合适数量的环境状态组成元素，根据可用带宽和实时缓存数据填充量进行环境状态建模；从HTTP视频流服务质量的角度考虑，选择与用户体验质量（OoE）相关的3个方面：视频质量等级高低、视频播放期间切换带来的损失及缓存区数据溢出危险性来构建新的回报函数。实验结果表明，在HAS自适应算法的码率决策部分引入本文提出的Q—le锄ing算法，增强了码率决策的灵活性，视频码率切换的稳定性优于未结合机器学习方法的算法。