融合NAS和SAN的存储网络设计

引言
　　

IT技术的发展经历三次浪潮:第一次浪潮以处理技术为中心,以处理器的发展为核心动力,产生了计算机工业,促进了计算机的迅速普及和应用;第二次浪潮以传输技术为中心,以网络的发展为核心动力。这两次浪潮极大地加速了信息数字化进程,使得越来越多的人类信息活动转变为数字形式,从而导致数字化信息爆炸性地增长,进而引发IT技术的第三次发展浪潮:存储技术浪潮。

存储技术浪潮的核心是基于网络的存储技术。目前,流行的网络存储系统主要有两种:附网存储(NAS) 和存储区域网(SAN)。按照存储网络工业协会(SNIA) 的定义:NAS 是可以直接联到网络上向用户提供文件级服务的存储设备,而SAN 是一种利用Fibre Channel 等互联协议连接起来的可以在服务器和存储系统之间直接传送数据的网络。NAS 是一种存储设备,有其自己简化的实时操作系统,它将硬件和软件有效地集成在一起,用以提供文件服务,具有良好的共享性、开放性、可扩展性。SAN 技术的存储设备是用专用网络相连的,这个网络是一个基于光纤通道协议的网络。 由于光纤通道的存储网和LAN 分开,性能就很高。在SAN 中,容量扩展、数据迁移、数据本地备份和远程容灾数据备份都比较方便,整个SAN 成为一个统一管理的存储池( storage pool) 。由于具有这些优异的性能,SAN 已成为企业存储的重要技术。

但在实际应用中NAS 和SAN 也存在很多缺陷,越来越不能满足IT技术的快速发展和数字化信息爆炸性地增长的需求。如NAS 设备存在如下缺陷: (1) 数据的传输速度慢,因为NAS只能提供文件级而不能提供块级的数据传输; (2) 数据备份时性能较低,NAS 在数据备份时要占用其大部分网络带宽,其它I/O 性能受到影响; (3) 只能管理单个NAS ,很难将位于同一局域网中的多个NAS 集中管理。SAN 也存在以下缺陷: (1) 设备的互操作性较差,不同厂家的设备很难互操作; (2) 构建SAN成本高,目前只有实力较大的企业构建自己的SAN; (3) 管理和维护成本高,企业需要花钱培训专门的管理和维护人员;(4) SAN 只能提供存储空间共享而不能提供异构环境下的文件共享。

针对NAS 和SAN 的优缺点,目前出现了多种新的网络存储技术, 如: NAS Gateway (NAS head) 、基于IP 的SAN 技术、对象存储技术。NAS 网关能将SAN 连结到IP 网络,使IP 网络用户能通过NAS 网关直接访问SAN 中的存储设备,所以NAS 网关具有以下优点:能使NAS 和SAN 互连在同一LAN中,突破了FC 拓扑的限制,允许FC 设备在IP 网络使用;减少了光纤设备的访问成本,允许访问未有充分利用的SAN 存储空间。基于IP 的SAN 互连技术主要包括: FCIP( IP tunneling) 、iFCP、iSCSI、Infiniband、mFCP ,其代表技术是iSCSI 技术。iSCSI技术原理是将SCSI 协议映射到TCP/ IP之上,即将主机的SCSI 命令封装成TCP/ IP 数据包,在IP 网络上传输,到达目的节点后,再恢复成封装前的SCSI 命令,从而实现SCSI 命令在IP网络上的直接、透明传输,使访问远程的SCSI 盘可以像本地的硬盘一样方便。 存储对象具有文件和块二者的优点:象数据块一样在存储设备上被直接访问;通过一个对象接口,能象文件一样,在不同操作系统平台上实现数据共享。NAS Gateway 虽实现了NAS 和SAN 在IP 的融合,但不是真正的融合,因为它不能将NAS 设备和SAN 设备融合起来向用户提供统一的存储池,用户也只能以文件I/O的方式访问存储设备。对象存储虽具有NAS 和SAN 的优点,但需要设计专门的对象存储接口,需要对现有的文件系统进行修改,这阻碍了它的进一步普及推广。

本文提出并实现了一种在IP 协议下融合iSCSI、NAS、SAN 的统一存储网络(简称USN) 。在USN 中,NAS 设备、iSCSI设备和SAN 设备并存,用户可以块I/O 的方式访问USN 中的iSCSI 设备和SAN 存储设备,也可以文件I/O 方式访问USN 中的NAS 存储设备和SAN 存储设备,整个USN 是一个统一的存储池。并且,USN 能同时提供服务器通道和附网高速通道向客户机提供数据,减少了服务器瓶颈,提高系统的I/O 速度。USN 既有NAS 的优点(低成本、开放性、文件共享) ,又有SAN 的优点(高性能、高扩展性) 。USN 同NAS Gateway(NAS head) 技术、基于IP 的SAN 技术、对象存储技术相比具有明显的优势。

　USN总体结构
　　

USN 系统的硬件结构如图1 所示。USN 由NAS 设备、iSCSI设备和SAN 设备,以及元数据服务器和应用服务器组成。用户可以文件I/O 的方式访问USN 中的NAS 设备和经过NAS头访问SAN 中的存储设备,也可以块I/O 的方式访问USN 中的iSCSI 设备和SAN 中的存储设备。USN 同时向用户提供服务器通道和附网高速通道,对于元数据和小数据请求都经过服务器通道完成,对于大数据请求则经过附网高速通道完成,这样大大提高整个系统的I/O 速度,减少服务器瓶颈。整个USN 是用基于IP 的技术构建,可以兼容现有的存储系统,添加和删除存储设备都很方便。所以,整个系统的性能、扩展性都很好。USN 真正实现了NAS 和SAN 的统一,即同一存储网络中既有NAS 设备,又有SAN 结构;实现文件I/ O 和块I/O 的统一,即用户可以文件I/O 方式(文件为单位) 也可以块I/O方式(块为单位) 访问USN 中的设备;实现了文件协议和块协议在TCP/ IP 协议上的统一,用户可以NFS(Unix 用户) 和CIFS(Windows 用户) 访问USN ,也可以SCSI(iSCSI 用户) 访问USN。

 

图2 是USN 的软件结构图,其中GMPFS 是全局多协议文件系统,位于USN 系统中的各个应用服务器上,它支持使用CIFS 协议的Windows 用户对USN 的访问,支持使用NFS 协议的UNIX用户对USN 的访问,也支持使用iSCSI 协议的块协议用户对USN 的访问。GMPFS 通过对目前存储系统所使用的元 数据进行扩展,采用启发式的方法,收集用户应用信息,为用户提供统一、方便、快捷的存储访问接口以及合理的数据存储方案。ASA 是自主存储代理模块,它能够自动地发现海量存储系统中存储设备的种类和可利用的各种资源,自主地对这些存储设备和资源进行有效的统一管理和优化。ASA 根据应用的不同和应用的具体需求,安排与应用相适应的存储设备种类、性能以及可靠性和可用性等级等,并为I/ O 请求选择合适的数据通道,使应用得到最优的存储资源分配,从而使整个系统的性能达到最佳。