量化光照信息 - 使用VHDL语言设计的基于FPGA的实时NPR系统

抽象效果的特点是原始输入图像中的很多细节信息被忽略，大块区域的颜色比较接近或均匀[3]。因此，对图像进行亮度信息量化操作是必要的步骤，以此来实现分块化效果。式（4）是量化的计算公式：

由于此计算公式需要进行正切计算，对FPGA来说复杂度较高，所以本文只是将RGB各颜色分量的低位置1，只保留高3~4位的有效信息，这样也能达到忽略细节信息的目的，让以前颜色基本相同的区域都保持一致。

2 硬件设计

2．1 系统结构

系统的前端采用的是一个Camera Link接口的工业相机，用于视频采集。相机分辨率为767×576，帧率为60 f/s，相机时钟为36.15 MHz。视频数据通过Camera Link线缆传到图像处理平台上，然后由一个接收芯片DS90CR288将收到的差分信号转换成24位RGB图像数据，再将数据传到FPGA中。系统使用的处理器是Xilinx公司V5系列的一款FPGA芯片xc5vlx110t。FPGA利用两片DDR2内存对图像进行缓存、处理，最后控制DVI芯片CH7301C进行实时显示。系统的整体架构如图2所示。

FPGA内部首先由图像采集模块将图像传到图像采集FIFO中，然后由乒乓操作模块将图像采集FIFO中的数据进行乒乓操作暂存到DDR2里面，实现前后速度的匹配，再将数据输出到图像处理FIFO。NPR模块读取图像处理FIFO中的数据进行处理后输出到图像显示FIFO，最后DVI显示模块读取图像显示FIFO中的数据进行显示，FPGA内部模块及其数据流向如图3所示。

2．2 NPR模块

经过DDR2乒乓缓存过后的24位RGB图像数据输出后会通过NPR模块。在NPR模块中，图像数据分成两路：一路数据进行边缘检测，首先通过亮度提取模块进行亮度提取，然后进入一个行缓冲模块，进行三行完整图像的缓存，最后进入边缘检测模块，进行水平和垂直方向的边缘检测。另一路数据主要进行色彩滤波和光照强度量化，以及为了达到时序匹配而做的延时。最后由选择器进行选择输出，若是边缘则输出黑色，否则输出另一路处理过后的图像数据。NPR模块整体结构如图4所示。

2.2.1 亮度分量提取

通常情况下，边缘检测是对灰度图像进行的，由于相机采集到的图像是RGB图像，所以必须进行彩色图像到灰度图像的变换，即提取亮度分量。亮度分量Y和RGB的转换公式是：

Y=0.229×red+0.587×green+0.114×blue（5）

考虑到FPGA中更适合于做加减及移位运算，所以将式（5）做如下的近似变形，这样用简单的移位运算就可以轻松地实现亮度分量的提取：

这样既能获得较好的提取效果，又能将浮点运算和乘法运算转化为简单的移位运算。最后的硬件结构如图5所示。

2.2.2 边缘检测

用Prewitt方法进行边缘检测，本质上就是将上面介绍的Prewitt算子分别与灰度图像做卷积，然后用梯度计算公式计算该点的梯度值。要实现图像与模板的卷积，必须同时获得三行图像的数据，为了达到这个目的，本系统使用一个三行移位寄存器组，用来存储前一步得到的亮度信息，效果如图6所示。

每次将这三行的前三个点组成的一个3×3矩阵分别与模板作卷积，就能分别得到垂直与水平方向的梯度。为了避免开方运算，直接将垂直与水平方向的梯度与门限做比较，只要任一方向的梯度高于门限值，就认定这个点是边缘点，上述操作虽然要求得到梯度值的绝对值，但与典型开方近似运算JPL算法相比，减少了3个时钟周期并且降低了算法复杂度。经过多次实验对比验证，本系统最后选定了一个固定的门限值30。其垂直与水平方向的边缘检测硬件结构图分别如图7（a）和（b）所示。

2.2.3 扩散滤波

视频中的图像帧通常带有时域和空域的噪声，因此，首先需要对其进行平滑去噪处理。通常情况下使用的是双边滤波，双边滤波是结合图像的空间临近度和像素值相似度的一种折中方法，离得较远的点不会对边缘上的像素值造成太大影响，具有简单、非迭代、局部的特点，可以实现边缘保存，而维纳滤波和高斯滤波都会有明显的模糊边缘。本文采用一种和双边滤波的局部特点相似的方法，将图像分成2×2的小块，同时进行时域和空域的均值滤波。

首先进行时间域滤波。这个模块会把当前像素点的值与过去该点的值做平均计算，其中过去的值存储在一个FPGA上的block ram模块里面，因为系统最后会把低位全部置为1，所以低位并没有必要做处理，因此每个像素点只存RGB的高4位。本文决定使用4帧图像来做平均值计算，因为这样系统只需要将当前值的1/4与过去值的3/4相加即可，而过去值的3/4可以表示为1减去1/4，这有利于FPGA实现，将除法运算变成了简单的移位运算。公式如下所示：

硬件实现如图8所示。

然后进行空间域的均值滤波。本文将图像划分为2×2的小块，每次滤波都以这种小块为基础，这个特点类似于双边滤波器的局部特性，有利于做到边缘保持。具体做法是：先设计两个计数器，用来模拟图像的行计数Y与列计数X，然后将X与Y方向坐标的最低位移除以产生block ram模块的地址，这样就使相邻的4个点都参考block ram模块的同一个点。使用此方法可以减少FPGA上实现block ram模块的资源大小，节约资源。由于block ram模块的读和写各需要一个时钟周期，如果要做滤波，每个时钟周期都需要从block ram模块里面读出一个旧值，同时还要存入前一个时钟变化后的值，这就导致了一定的时序问题，但是由于系统是以2×2的块进行滤波，相邻的四个点参考同一个点，因此系统就可以用一个时钟读出block ram模块里的数据并做处理，处理后的数据暂存在寄存器中，第二个时钟周期到来的时候就可以将刚才寄存器中的数据拿来参加计算而不必重新从block ram模块中读出数据。与此同时，利用列计数X的最低位来控制将变化后的数据存进block ram模块，以达到时序的匹配。至此，滤波结束。整个流程的硬件结构如图9所示。

2.2.4 量化光照信息

由于量化光照信息算法复杂度较高，不利于在FPGA上实现，本文只简单地将红绿蓝通道低位全部置1。而人眼对绿色分量变化敏感，所以对绿色通道保留高4位的有效信息，红和蓝通道只保留高3位的信息，这样做可以忽略色彩变化不明显的区域，达到量化光照信息的目的。

3 实验结果

、

由于相机分辨率限制，本文只对分辨率为640×480、帧率为60 f/s的视频进行验证。由于NPR模块需要缓存三行数据，处理时钟为64.8 MHz，所以总延时t可由式（8）计算得30 ?滋s，达到了实时处理的效果。由前面的算法分析知本系统采用流水线结构，时延小，完全可以对分辨率更高、帧率更高的视频做实时NPR渲染。本系统在ISE下综合之后的资源利用率如表1所示，系统仅消耗了整个FPGA slice资源的5%。但是由于要在FPGA上暂存1/4帧的图像以及三行完整的图像数据，所以消耗了39%的Block RAM资源。如果图像更大，可以考虑在FPGA外围加上SRAM芯片，这样可以避免占用太多FPGA片上的Block RAM资源。

4 结论

非真实感渲染技术越来越多地被应用到各个领域中。本文使用VHDL语言设计了基于FPGA的实时NPR系统，该系统在自行研发的以Virtex-5 FPGA为核心的高速图像处理平台上得到了实现，并且具体分析了NPR算法的硬件实现流程及方法。由实验结果可知，该系统实时性好、体积小、便于携带，具有较强的工程应用价值。