众核多计算模式处理框架 - 众核多计算模式系统的构建

　　2 众核多计算模式处理框架

　　为了充分发挥众核处理器的计算能力，众核处理系统面对不同的计算任务的特点，可构建三种计算模式，即单任务并行计算、多任务并行计算、多任务流式计算。

　　2.1 众核多计算模式处理系统结构

　　众核多计算模式处理系统结构如图3 所示。众核处理系统包括数据通信、任务管理、形态管理、资源管理和控制监听模块。

　　

　　数据通信模块：提供接口给主控机，负责接收从主控机发送来的任务命令和任务计算所需的任务数据，并且最终将众核处理机运算完成的计算结果通过该模块返回给主控机。

　　控制监听模块：在众核处理系统运行时，实时获取主控机发送给众核处理机的任务命令，将其传送给任务管理模块，并接收任务管理模块返回的任务命令执行结果。

　　任务管理模块：负责计算任务的加载过程，将控制监听模块发送来的任务命令存于任务队列，当众核计算单元需要加载任务进行计算时，从任务队列中获取任务命令，根据任务命令从任务配置文件中获取任务计算所需的任务信息，该任务信息包含了计算任务运行时所需的存储空间大小、适合于该任务的计算模式、执行函数（即CUDA中的kernel函数）等内容，在计算任务在被加载前，需要通知形态管理模块把众核计算单元切换到指定的计算模式下，并通知资源管理模块分配存储空间，通过数据通信模块获取任务数据，然后读取任务计算库，加载执行函数进行计算。

　　形态管理模块：接收任务管理模块发送来的目标计算模式，切换到该种计算模式。

　　资源管理模块：根据任务管理模块发送的参数分配存储空间，包括众核控制单元的存储空间和众核计算单元的存储空间，众核控制单元的存储空间用于对任务数据进行缓存，然后通过数据传输的API接口把缓存在众核控制单元的数据传送到众核计算单元的存储空间，在计算时由从众核计算单元存储空间加载数据进行计算。

　　2.2 计算模式构建与切换

　　计算模式构建是形态管理模块根据接收到的命令动态构建出被指定的目的计算模式的过程。众核处理系统在初始化时，就已经创建了指定数目的CUDA 流（CUDA流的最大数目取决于GPU中硬件工作队列的数目），并采用空位标记法对创建的CUDA流进行管理，通过标记位的有效性描述CUDA 流的可用性。当目的计算模式为单任务计算时，只需将首位的CUDA流标记设置为有效，其他全部标记为无效，在对计算任务加载时，将计算任务放入该CUDA流中进行计算;当目的计算模式为多任务计算时，需要将指定数目CUDA流的标记位设置为有效，在对计算任务加载时，通过轮询的方式将计算任务放入到相应的CUDA 流中，利用CUDA 流的Hyper-Q特性，同时加载多个计算任务到众核计算单元;当目的计算模式为多任务流式计算时，需要将指定CUDA 流的标记设置为有效，从构建第一个计算步开始，将第一个计算步放入第一个CUDA 流中进行计算，当第一个计算步首次完成计算后，利用二元信号量通知众核控制单元中的任务管理模块开始构建第二个计算步，并重新构建第一个计算步，以此类推，完成对多任务流式计算中每个计算步的动态构建过程。