CUDA流与Hyper-Q - 众核多计算模式系统的构建

　　1.2 CUDA流与Hyper-Q

　　在统一计算设备架构（Compute Unified Device Ar-chitecture，CUDA）编程模型中，CUDA流（CUDA Stream）表示GPU的一个操作队列，通过CUDA流来管理任务和并行。CUDA 流的使用分为两种：一种是CUDA 在创建上下文时会隐式地创建一个CUDA流，从而命令可以在设备中排队等待执行;另一种是在编程时，在执行配置中显式地指定CUDA 流。不管以何种方式使用CUDA流，所有的操作在CUDA流中都是按照先后顺序排队执行，然后每个操作按其进入队列的顺序离开队列。换言之，队列充当了一个FIFO（先入先出）缓冲区，操作按照它们在设备中的出现顺序离开队列。

　　在GPU 中，有一个CUDA 工作调度器（CUDA WorkDistributor，CWD）的硬件单元，专门负责将计算工作分发到不同的流处理器中。在Fermi架构中，虽然支持16 个内核的同时启动，但由于只有一个硬件工作队列用来连接主机端CPU 和设备端GPU，造成并发的多个CUDA 流中的任务在执行时必须复用同一硬件工作队列，产生了虚假的流内依赖关系，必须等待同一CUDA流中相互依赖的kernel执行结束，另一CUDA流中的ker-nel才能开始执行。而在Kepler GK110架构中，新具有的Hyper-Q特性消除了只有单一硬件工作队列的限制，增加了硬件工作队列的数量，因此，在CUDA 流的数目不超过硬件工作队列数目的前提下，允许每个CUDA流独占一个硬件工作队列，CUDA流内的操作不再阻塞其他CUDA流的操作，多个CUDA流能够并行执行。

　　如图2 所示，当利用Hyper-Q 和CUDA 流一起工作时，虚线上方显示为Fermi模式，流1、流2、流3 复用一个硬件工作队列，而虚线下方为Kepler Hyper-Q 模式，允许每个流使用单独的硬件工作队列同时执行。