PCIE总线设计 - 基于双缓冲与单缓冲比较总线设计方案

　　3 双缓冲模式PCIE总线设计

　　3.1 PCIE驱动设计

　　PC端基于Linux（Ubuntu 10.10）操作系统。该操作系统免费开源，安全稳定灵活，适合低成本软件开发。驱动程序包含数据流接口和控制接口。数据流接口用于Linux用户空间和SRSE平台间高速的数据交换；控制接口使用户可以观察和配置SRSE平台寄存器，例如通过控制接口，用户可以在PC端改变SRSE平台的调谐频率等参数。数据流接口是双向独立的，支持双/单工，即可以同时读和写数据。以数据发送（从PC到SRSE）为例，用户空间调用write（）函数将任意数量的数据发送至驱动，驱动整理数据碎片以满足PCIE对数据对齐和传输块数据量的要求。当数据满足4096字节，驱动将数据块发送至Root Complex并保留已发送数据的列表，等待接收来自SRSE平台的写操作中断。PCIE驱动数据接收的原理如图4所示。当用户空间调用read（）函数或者驱动接收到来自PCIE设备的数据时，驱动初始化读操作。驱动程序将保持阻塞（blocking），直到用户空间调用read（）函数，并且已接收到足够的数据包，从而能够填满read（）请求的数据量。碎片整理模块对已接收的数据进行整理，然后将数据块返回至用户空间，并通知其解除驱动阻止。

　　

　　图4 PCIE驱动中的数据接收

　　3.2 PCIE核配置

　　Virtex6 PCIE Endpoint Block集成了传输层（TL）、数据链路层（DLL）和物理层（PL）协议，它完全符合PCIE基本规范，可配置性增加了设计的灵活性，降低了成本。其功能框图与接口如图5所示。其中收发器通过PCIE总线与Root Complex实现数据包的传递，PCIE总线由系统接口和PCIE接口组成；系统接口由复位和时钟信号组成，PCIE接口由8条差分传输和接收对组成（8lane）。TX/RX Block RAM用来存储来自DMA引擎和系统内存的数据，其大小可以通过Xilinx Core Generator配置。传输接口为用户提供了产生和接收TLP的机制；物理层接口使用户能够观测和控制链路的状态；配置接口使用户能够观察和配置PCIE终端的配置空间，即DMA寄存器；中断接口实现DMA与PCIE核之间的中断传输。用户通过这些接口设计符合其需要的DMA引擎。

　　

　　图5 PCIE功能框图与接口

　　本文使用Xilinx CORE Generator生成PCIE核，其主要配置参数如表1所列。

　　

　　表1 PCIE核主要配置参数

　　3.3 总线主控DMA传输

　　参考Xilinx应用实例XAPP1052［5］，本文设计的DMA结构框图如图6所示，各部分功能介绍如下：

　　① 发射引擎。发射引擎产生传输层数据包（TLP）并通过传输接口发送至PCIE核，数据包的数据来自TX_FIFO，头信息来自DMA控制/状态寄存器，也负责驱动对DMA寄存器的读取。

　　② 接收引擎。接收引擎将来自上位机的数据包解码并转存至RX_FIFO中，也接收来自驱动的配置信息并将寄存器值写入DMA控制/状态寄存器中。

　　③ DMA控制/状态寄存器。该模块是DMA的主控制器，控制着DMA复位、读写等操作；内存缓冲区的地址信息和TLP包长度等信息也存储在该寄存器中。

　　④ MSI中断控制器。该模块产生读写中断，然后通过中断接口通知PCIE核，进而通知驱动程序。

　　⑤ TX/RX_FIFO.通过Xilinx Core Generator将FIFO配置为独立时钟异步模式，实现不同时钟域的数据缓冲和位宽转换。本文PCIE时钟为250 MHz、位宽64位，而DSP核时钟为200 MHz、位宽32位。

　　⑥ PCIE核。该模块为例化的PCIE集成块，框图和参数详见图5和表1.

　　⑦ DSP核。该模块为用户设计的算法或者功能模块，例如通过Simulink调用Xilinx库实现某种功能。

　　

　　图6 DMA结构框图

　　3.4 双缓冲PCIE协议

　　以写操作为例，双缓冲PCIE协议如图7所示。初始化时，驱动程序在内存中分配两块缓冲区Buff 1a/2a，然后将Buff 1a的地址信息写入DMA控制/状态寄存器DMA_Reg1（图1）中并开始写操作；DMA引擎将FIFO中的数据以数据包的形式通过PCIE总线发送至缓冲区Buff 1a中，期间驱动程序将Buff 2a的地址信息发送至DMA控制/状态寄存器DMA_Reg2中；当Buff 1a写操作完成时，MSI中断控制器产生MSI中断并通知驱动，此时驱动和DMA控制器同时切换缓冲区，即驱动将缓冲区切换至Buff 2a，DMA控制器将TLP头信息切换至DMA_Reg2，如此继续传输数据。

　　

　　图7 双缓冲PCIE操作协议（写操作）

　　将MSI中断与新缓冲区配置间的时间间隔称为中断延时，如图2和图7所示。双缓冲模式的引入消除了中断延时的影响，使SRSE在中断延时期间仍能传输数据，节约了硬件资源，驱动程序也有更多时间来处理缓冲区的数据。

　　4 PCIE调试与性能

　　提供了Root Port的Test Bench，它可以模拟PC和驱动程序，如初始化DMA引擎、产生下行数据流并发送至PCIE设备，也可以接收来自PCIE设备的上行数据流等，使整个系统（PCIE核+DMA引擎+DSP核）可以在Modelsim SE环境下仿真。这大大缩短了开发周期，提高了开发效率。功能仿真通过后，使用Xilinx ISE 软件完成代码的输入、综合、实现、验证和下载。

　　硬件平台为DELL T3400型PC和Xilinx ML605开发套件。PC端基于Ubuntu 10.10操作系统运行驱动程序，FPGA端DSP核（图6）通过Matlab Simulink调用Xilinx元件库实现。本文DSP核由32位计数器和加法器组成：计数器将值写入TX_FIFO，PC端检测接收数据以验证写操作（SRSE→PC）；同样地，PC端产生+1计数值并将数据写入RX_FIFO，DSP核的加法器用来验证读操作（PC→SRSE）。

　　结语

　　本文设计了基于Xilinx Virtex6 FPGA的通用软件无线电平台，利用C语言开发了基于Linux系统的驱动程序，利用Verilog语言设计基于Xilinx PCIE硬核的双缓冲DMA控制器。双缓冲消除了中断延时的影响，节约了硬件资源，提高了数据传输速度。