硬件故障模拟测试 - 设备软件可靠性测试

　　2、硬件故障模拟测试

　　通常，判断软件行为是否正常的先决条件之一是其是否运行在正确的硬件环境之下，因为硬件故障对软件产生的影响往往是致命的和不可预测的。在实际情况中，越是造价昂贵且承担重要任务的硬件系统，其硬件的复杂度越高，故障率也更高。为了提高系统的可靠性，硬件在设计上会使用冗余器件的方式（比如多个电源、多个风扇、多个交换网板、多个主控板），但在很多情况下，硬件替换做不到对软件透明，需要依赖软件检测并采取一系列措施。此外，软件还需要设计足够的容错性去隔离硬件错误的影响范围。在非关键器件停止工作之前，软件需要尽可能保证系统其它功能不受影响。

　　对测试人员而言，了解软件对硬件的依赖，通过制造或模拟硬件器件故障检验软件行为的合理性，是可靠性测试的一个重要环节。硬件故障测试的目标就是观测和评估软件在硬件失效时的反映，找出预期与实际结果之间的差距。在测试有备份硬件系统的产品时，测试人员往往使用硬件拔出槽位，命令重启等方式验证备份机制的有效性。然而，这还远远不够。设备在实际运行条件下器件被拔出只是一种维护行为，很多情况下是在连续运行过程中，器件突然失效。测试人员需要验证这些情况，以确认软件设计的故障检测机制和容错机制的真实有效性。

　　由于硬件系统的具体情况不同，每个器件的故障形式和直接影响不同，是否有规避方案需要具体分析。软件对硬件可用性的依存度往往很高，因此硬件故障测试的结果经常具有很大的争议性。对测试结果的分析和判断比测试设计和执行更为重要。

　　现有的测试手段中，最直接的方式是通过改动硬件线路或干预数字信号制造故障。此外，可以通过软件加入调试命令，对一些关键器件的状态进行修改，设置为非法的状态来模拟故障。

　　3、压力测试

　　任何设备或系统都是在一定的工作负荷下完成其功能。如果外部加入的工作负担超过其最大能力，系统效能会下降甚至是停止工作。这是一种与可用性相背离的特性，却是任何系统的必然属性。很多重要系统是通过增加硬件成本，人为降低承诺指标来缓解这一问题，然而事实上都存在一个能力极限，除非输入子系统进行了硬性限制。

　　为了提高设备的性价比，一般软件系统不会设定承载能力的硬性约束，因此，设备都会面对超负荷工作的场景。软件设计力争减少超负荷运行的负面效应，使系统在合理压力下能够正常运作是可靠性的一个重要考量。虽然用户不会要求设备能在超负荷的工作环境下连续稳定运行，但在真实网络中，负荷波动是无法避免的，短时间的超载运行不应该导致灾难性的后果。

　　事实上，压力除了令系统的计算能力经受考验，也会使系统内的很多资源被软件进程占用；如果压力消除以后，这些资源不能被充分释放和回收，经受过压力的系统将无法完全恢复正常的工作能力。原因。

　　压力测试就是通过制造设备的超载负荷，模拟设备在真实环境下可能遇到的场景。一台网络设备会有很多负载指标，验证各个指标的超载工作能力是一项繁杂的测试工作。除了观测压力下设备的反应，在负荷恢复到承诺指标范围内之后，系统完全达到正常工作状态的能力和恢复时间也是用户关心的指标。这些高负载的测试一般都要依赖专用的测试仪器来模拟。

　　一般在设备规格会写明产品支持的IP路由表容量、最大转发数据流量、ARP或MAC地址容量等指标。测试的工作就是把被测试设备与测试仪器连接，通过仪器构造与规格指标相同或略低的一项负载，再制造一个10%左右的异常波动冲击被测设备，并观察被测设备在加载超载负荷前、负荷中和恢复到初始设定负荷之后的实际表现。。

　　不受压力影响和能快速恢复的设备是可能被制造出来的，但是代价是必然提高硬件和软件成本。因此一个合理的可接受的压力反应和恢复时间，往往需要根据用户的使用场景和可承受成本综合考虑。

　　4、内存耗尽测试

　　与硬件发生故障类似，软件所要面对的另一种是情况是资源枯竭。因为软件要流畅地运行需要依赖很多外部资源，其中包括：内存、定时器、队列、文件句柄、Socket等等。这些资源中最关键的就是内存，因为很多资源不足可以等待，内存短缺会导致立即的操作失败。一个复杂的软件系统内存资源都是动态申请和释放的，在各个处理进程之间动态流转。在突发任务占用大量内存的情况下，其他任务就可能面临资源枯竭。一个良好设计的软件系统需要设定内存门限，一旦内存消耗达到门限会强制一些不重要的任务退出运行而释放资源。而且所有申请内存的任务需要自身设计保护代码，避免没有申请成功时误入歧途。

　　资源耗尽的情况下软件系统必然会产生一些功能受限的反应，只要这种情况能在资源充足后得到恢复就不构成严重问题。确认系统在资源不足时没有异常反映，合理屏蔽了次要功能，同时确保高优先级进程得到应得的资源就是软件测试所要做的工作。

　　测试手段通常是启动一些重要的功能和构造动态的运行负荷，然后用调试命令占用内存或启动一些消耗型任务占用内存，以构造资源耗尽的条件，观察被测系统在内存枯竭后的反应，并继续进行操作。最后再通过释放占用的内存来恢复正常条件，观察系统受影响的功能是否自动恢复。

　　内存耗尽测试的原理非常简单，但是因为动态分配内存的指令无处不在，测试覆盖各种流程分支就要设定各种组合条件，存在很大执行的难度。内存耗尽测试可能发现长期隐藏于软件中的严重问题，彻底解决这些问题，对软件的可靠性有很重要的意义。

　　5、拷机测试

　　由于软件固有的逻辑复杂性和系统测试手段的限制，有些问题只有在实际环境下经过足够长时间运行才会出现。拷机测试就是在实验室模拟设备运行的真实工作场景，通过规定负荷及偶发性过载条件下连续运行，观测被测设备连续无故障运行时间，俘获异常错误的测试。

　　测试所构造的工作场景能否还原真实应用，是能否提早发现问题的关键。由于用户的应用场景千差万别，需要用很多设备搭建组网来还原，而且必须等候足够长的时间，这是一种高成本的测试方式，却又不可替代。测试人员一般会采用频繁触发设备状态变化的手段加速问题出现，这对某些问题有效，却可能隐蔽另外一些问题。

　　H3C的每个产品都要经过严格测试，其中必须进行的一项就是长时间的拷机环境测试。设备被接入一个运行各种拓扑管理协议和有大量背景流量的模拟环境，以验证设备在典型应用环境下7*24小时的稳定运行。即使产品已经在市场正式投入使用，这套拷机环境还会持续运行，并且经常调整流量和业务规划，以期覆盖更多的用户应用环境。

　　6、收敛指标测试

　　对网络设备而言，保证网络通畅是其最重要的功能之一。因此，网络设备除保障自身连续运行外，还专门设计了很多从环境故障中恢复网络连通性的协议。有些则是针对自身发生异常时实现冗余硬件切换，流量路径切换或快速故障恢复的协议。针对这些情况，有一个通用的度量指标，即网络收敛指标，是通过网络中断服务（或故障恢复）时间来考察设备或网络提供的可靠性。

　　任何一种网络路由协议或拓扑管理协议都是为了在动态变化的网络中提供一个可行的流量路径而设计的，所以收敛是一个基本属性。从注入拓扑变化或故障发生的时间开始，网络服务和数据流量受到影响，在拓扑收敛后路径切换到备份网络上，恢复网络服务和流量所经历的时间就是收敛时间。为加速收敛而提出的一。

　　附加技术可以使收敛时间缩短到毫秒级甚至在设备主控发生重启等情况下提供不中断的转发服务。

　　

　　图4IGP路由收敛测试组网图

　　IGP收敛的测试实例。

　　如图4所示，被测试设备首先从B和C端口学习到大量的IGP路由信息，其中B端口的度量值优于C端口。测试仪器用稳定的流量由A端口发送，被测设备转发到B端口。测试仪器通过在B端口模拟拓扑变化，撤销一部分路由信息，受影响的流量开始丢失。被测试设备在完成路由计算后将这些流量重新路由到C端口上。测试仪器通过计算这个过程丢失的数据流量和发送速率折算收敛过程经历的时间。

　　在收敛网络之外来评估收敛时间时，可以使用相同的原则，根据发送流量的速率和被丢失报文数量计算出收敛经历的时间。收敛测试的另一个方向是故障恢复主路径时，对于流量的保护。理想的情况可以做到网络无中断地回切到主路径。然而不同的拓扑管理协议和具体实现技术有一定差别，很多情况下回切过程的流量丢失不能完全避免。

　　常见的收敛指标测试有二层网络STP收敛测试，RPR和RRPP环网收敛，三层路由协议RIP、OSPF、BGP收敛，以及双主控设备的主备倒换测试，VRRP设备倒换测试。为了减少拓扑管理协议在设备重启期间对周边网络的冲击，很多协议开发了GracefulRestart的功能，并通过控制与数据转发分离的Non-StopForwarding技术使流量转发近乎不中断。H3C的IRF2技术也可以将多个物理设备组成一个逻辑设备，以降低对STP、VRRP等慢收敛协议的依赖。所有这些技术的目标都是减少设备故障造成的网络影响，提高组网的可靠性，而评价这些技术的指标都是网络收敛时间。测试执行的步骤几乎是相同的，首先构建正常的网络拓扑，模拟故障发生，监测流量切换的过程和流量丢失的情况，计算切换需要的时间。

　　结束语

　　以上的几种测试类型基本覆盖了软件可靠性相关的测试。在具体的产品开发过程中，协议健壮性测试、硬件故障模拟测试、内存耗尽测试等适合在软件功能组件的开发过程中进行测试，而压力测试、收敛指标测试、拷机测试需要在系统整合并且功能稳定后才能实施，所以一般放在产品开发后期。经过全方位的可靠性测试并解决所有问题之后，软件系统可以应对各种内部外部的复杂情况，为用户提供更高可用性的健壮网络。