基于网格技术的校园VOD系统的研究

基于网格技术的校园VOD系统的研究

摘要：提出了一种基于网格技术的校园VOD系统的实现框架，描述了系统的硬件构成和软件层次体系结构，提出了一种对点播任务的自适应调度算法。

关键词：网格VOD校园VOD网格

目前各个高校都已建立好了自己的校园网络平台。由于校园网络平台硬件设施的不断更新发展，使得校园视频点播服务VOD(Video On Demand)也迅速发展起来。VOD系统利用了网络和视频技术的优势，为广大师生提供了在线的新闻、教学、资料、娱乐等节目的点播和广播服务，并提供了大型会议和活动的直播服务。然而还存在一些具体技术问题的困扰，如流量难以控制，无法保证服务质量，服务器集群如何布局，资源该如何共享等。网格技术就是将各种计算机资源连接起来，以实现真正意思上的资源共享。网格技术的应用可以解决校园V0D系统中所存在的一些问题。

1 网格技术的应用研究
网格是构筑在互联网上的一组新兴技术，是信息社会的一种网络基础设施。将高速互联网、高性能计算机、大型数据库、远程设备等融为一体，可以提供更多的资源，实现真正意义上的资源共享。网格是目前越来越重要的研究领域，被称为是下一代的Internet。随着网格计算研究的深入，人们越来越发现网格体系结构的重要性，提出了一种新型网格体系结构——开放网格体系结构OGSA(Open Grid Services Architecture)。

OGSA是Global Grid forum 4的重要标准，是当前获得广泛支持的一种网络体系结构。OGSA是GT3的设计原型，重点在于把Globus思想和Web service结台起来。在OGSA框架中，可以将一切资源(包括计算资源、存储资源、带宽资源、软件资源、数据资源等)都抽象为服务。利用OGSA，有利于通过统一的标准接口来管理和使用网格。Web Service提供了一种基于服务的框架结构。但是，Web Service面对的一般都是永久服务，而在网格应用环境中，大量的服务是临时性的短暂服务，如一个计算任务的执行等。考虑到网格环境的具体特点，OGSA在原来Web Service服务概念的基础上，提出了网格服务(Grid Service)的概念，用于解决服务发现、动态服务创建、服务生命周期管理等与l临时服务有关的问题。

2 基于网格技术的校园VOD系统
校园VOD系统的服务对象是全体使用校园网的普通用户。由于用户的层次较多．计算机水平各异，因此校园VOD一般采用基于浏览器的Web收看方式。在网络上传输音／视频多媒体信息目前主要采用流式传输方案。这种在Intemet／Intranet中使用流式传输技术的连续时基媒体称为流媒体。然而在现有的大多数VOD系统的点播传输方式中，视频内容仍需经由服务器到客户端的整个端到端的路径。由于视频流传输需要很高的传输带宽，且单个视频的传输时间很长，一般在120min左右，这就要求解决一些技术问题：多种资源的合理调度和协调工作等；一些实时性的要求要尽快解决；对于不断扩大的视频服务的需求还要求解决地理上分布于校园内部的各个孤立的VOD服务系统的统一管理和调度_。网格将突破传统Web的局限性，将校园网内所有资源(包括计算资源、存储资源、带宽资源、软件资源、数据资源、信息资源、知识资源等)连成一个逻辑整体，就像一台超级计算机一样，为用户提供一体化信息和应用服务(计算、存储、访问等)。而虚拟组织在这个虚拟环境下将最终实现资源共享和协同工作，彻底消除资源“孤岛”。这样，人们使用网格上的资源就像用电一样简单，为校园VOD系统提供了更加可靠的保障。

校园VOD网格解决方案的指导思想是采用OGSA。对于系统平台中各个网格服务器之问的数据传输，采用现在国际上公认的符合OGSA规范的Globus的网格计算协议作为数据之间的传输协议。Globus是一个构成网格基础设施的平台，它的作用相当于网格操作系统，担负管理网格资源的重任，但它距离具体应用还相对较远。如果直接基于Globus编写应用程序，则会像直接使用底层API编写windows程序一样麻烦。因此Globus和应用程序间还需有一个桥梁，即Cactus(仙人掌)。有了Caetus的支持，编写应用程序几乎不需要考虑网格的具体问题，甚至以前的应用程序可以不加修改就能使用。Cactus是一种集成的、通用的、开放源码的计算科学与工程问题解决环境。Cactus允许用户将原来在个人计算机上开发的程序(不管它们原来是用C语言、C++写的，还是用Fortran、Java语言编写的)，转换成能够在虚拟的网格计算机上运行的并行程序；Cactus提供了简单、抽象的API调用接口，屏蔽了系统的复杂特性，从而简化了用户界面，获得了很强的可移置性；Cactus能够在不同体系结构的机器上运行，如单处理器、集群计算机和其他体系结构的并行计算机。这样对于那些分散在校园各处．采用不同应用程序的VOD服务器，都可以在caetus的支持下直接使用。

基于网格技术的校园VOD系统主要是利用网格的方法将校园网格内的多个VOD服务及其他相关信息加以整合，为用户提供统一、透明的视图。用户只需选取其喜欢的视频，系统便会自动为用户提供最佳的视频资源供用户使用。而这一切对用户来说都是透明的，用户无需关注到底是哪个VOD主机为其提供视频服务，更不需要关注系统后台复杂的技术实现。

3 关键问题
3．1 系统硬件构成
系统的构建是基于地理上分布于校园网中的以各个VOD服务器为中心的网格VOD子系统的若干资源，如图1所示。这些网格子系统在网络拓扑、软硬件体系结构、安全和认证策略等方面都不尽相同。各个VOD服务器之间利用多个路由器等网络设备通过校园宽带网互联起来，而在网格子系统内的其他一些计算机则作为视频服务器，可以对用户透明。每个视频服务器都挂接着独立的大容量磁盘阵列，还有高速缓存和控制管理单元。另外在系统中至少还要设置一台与所有VOD服务器都连通的网格管理服务器，提供与管理有关的全局动、静态Web Service服务信息，例如，在线的用户数、带宽的占用率、带宽限制、视频所在服务器的地址等。网格管理服务器与用户和VOD服务器之间所传送的只是查询、控制等信息，而没有流媒体数据，带宽要求比较低。
 

网格管理服务器主要承担网格检索信息服务GIIS(Grid Index Informafion Service)，具体讲就是对VOD网格中的一些用户信息(髟视材料)的整理和安全保密等综合信息的索引。而视频服务器主要对媒体数据实现压缩和存储、根据用户的请求读取存储器上的节目、实时地向用户端进行软件传输。此外，每台视频服务器还要启动若干信息提供者负责将播放的一些信息及各硬件资源的负载状况等提交给本地的VOD服务器中的网格资源信息服务GRIS(Grid Resource Information Service)，以便于动态选择负载较轻、响应较快的视频服务器来提供资源。网格路由器的运行机制类似于IP路由器，不同之处在于网格路由器既可以接收或转发资源定位请求，同时也可以存储物理服务到虚拟服务的映射关系。为防止信息泛洪和路由回路，可对资源请求的传播距离——转发跳数规定上限。此外还可以限定资源匹配的数量来减少网格路由器间的通信量，提高资源定位的性能。

3．2 系统软件体系结构
网格VOD系统的软件体系结构主要由三个层次构成，如图2所示。

 

 

(1)网格资源层
这些资源包括VOD系统中的所有数据库、数据仓库及文件目录，各种存储设备，各种计算资源(包括超级计算机、PC)，它们通过校园宽带网络实现物理连接。

 

(2)网格VOD服务层
提供网格VOD系统的一体化管理与处理平台，主要功能是协调多种资源的共享，为综合使用各类资源提供数据存储、组织管理、分发、检索和处理认证等服务。

 

(3)网格VOD应用层
在VOD网格服务层的基础上，提供一个面向应用领域的VOD集成应用环境。面向各个具体应用领域，提供Web服务、用户管理、资源调配、统一调度和流量监视等功能。根据资源信息的使用模式和使用特点提供使用政策和协议、应用软件工具和应用开发平台等，以建立资源信息处理与服务集成环境。

 

整个系统的信息可分为静态信息(如网络拓扑、网络节点的IP地址和软件版本等)和动态实时信息(如系统的负载状况)两类，信息共享，尤其是资源、负载等动态信息的共享和管理是网格系统的主要特征之一，也是一个网格系统顺利调度与运转的基础。

 

3.3 调度程序
在整个网格VOD系统中，应用层的调度程序是最复杂的部分，几乎牵涉到系统中的所有组件系统中所维护管理的信息大都为调度程序的决策暇务。不论是采用面向系统的调度策略(如Condoz-G)，还是采用面向应用的调度策略(如Apples，Nimrod／G，Netsolve)，它们的主要调度对象都是面向科学计算任务的处理器、存储器和网络等“裸”的硬件资源，向用户提供的接口也是主要针对批处理作业设计的接口，调度目标比较单一，主要是宴现结点的负载平衡。当经过安全认证的用户请求提交给调度程序时，调度程序首先根据用户IP、任务的资酥需求、网络配置等静态信息进行初步的过滤，然后收集细节的动态信息。按照一定的策略选定一个视频服务器，进行资源的预留、任务提交并监督任务的执行。其间可能会触发视频服务器文件资源的配置的改变，任务完成后还要清除任务。其调度策略遵循以下两个原则：
 

(1)本地优先原则。当本地网格VOD子系统负载较轻且存储有所要求的节目时，直接在本地进行调度，不必考虑全局情况。该原则出于两个考虑：①跨子网传输的延迟一般较大；②在主干网络上的带宽一般是有限的，而且费用也较高。
 

(2)VOD子系统问负载相对均衡原则。当本地的负载量已达到某个给定的平衡点但还没有达到允许的上限时，就开始考虑在整个网络内使用目标规划的方法选择合适的子系统，这样既避免了负载很轻时做无谓的全局协调，又避免了本地满载时才进行系统间调度有可能造成的被动局面。当本地系统负载达到平衡点时，调度管理模块开始查看是否有必要对该节目增加备份。

基于对网格概念、相关技术的研究和网格应用的探索以及对校园VOD系统的研究和建设经验，本文提出的一种基于网格技术的校园VOD系统的实现方案，主要特点在于它可以构建在各种异构平台之上，具有广泛的适用性和自适应性，支持前所未有的规模和扩张能力。