FPGA图像编码 - 基于FPGA图像处理教程

FPGA的逻辑架构主要包括平台部分和HEVC编码器IP部分，其中FPGA平台主要包括PCIE DMA以及DDR总线相关逻辑，这部分逻辑主要实现和host CPU的数据通信以及和FPGA板卡上的DDR通信。如图7所示，FPGA架构上实例化了4个HEVC core（具体几个是和FPGA资源有关），每一个HEVC core完成HEVC编码算法的完整处理，这里4核心并行工作，也就是同一时刻，4个编码任务可以并行工作，同时输出4条HEVC码流。

图7. FPGA内部逻辑架构

FPGA内部逻辑主要包括：

HEVC CORE 0-3:H265编码器IP，实现HEVC的编码算法；

PCIE/DMA:实现和host CPU进行通信；

REGISTER RW/INT:寄存器读写以及中断处理；

HEVC RW ARBITER:总线读写仲裁模块；

AXI INTERCONNECT/DDRC/DDRY: 总线控制访问DDR逻辑；

FPGA图像编码流程

FPGA HEVC core内部算法处理流程如图8所示：分为当前图像载入，intra预测初选，intra预测精选，CABAC编码，码流输出。

图8. HEVC core内部算法处理流程

那么如何设计HEVC core实现算法功能呢？这里，编码器模块流水线设计成四级流水，如图9所示，四级流水CURLD/PINTRA/SEL/CABAC处理性能设计接近，并行起来后，平均处理每个LCU需要8400个周期，如果按照1080p图片一共510个LCU计算，单核理论上编码可以达到编46 帧/s (FPGA电路实现频率200M)，这样4核并行能达到184帧/s。

具体来说，CURLD完成当前图像的载入逻辑，PINTRA完成intra预测初选35种模式的遍历，得到最优的预测模式，这级流水算法上做了优化，预测参考像素没有像传统方式选择重构像素，而是选择当前像素做参考像素，这样优化，使得intra预测初选可以单独划分为一级流水，和intra预测精选分开，使得编码器整体处理性能增加一倍。SEL完成帧内预测模式精选以及RDO模式选择，预测块大小支持32/16/8，由于涉及到变换量化等运算量大的逻辑，这一级流水是整个编码器的资源消耗大户，设计上在算法上以及逻辑资源消耗上做了权衡；CABAC模块完成头信息的码流生成以及每个LCU的语法元素和残差的编码，并完成码流的打包输出，这一级流水的主要问题在于CABAC的性能是否足够快，从而应对QP比较小编码更多bin的处理及时。

图9. 运算模块流水线

性能和收益

用FPGA完成JPEG格式图片转成HEVC格式图片，图片分辨率大小为1920x1080，FPGA处理延时相比CPU降低7倍，FPGA处理性能是CPU机器的10倍，FPGA机型单位性能成本是CPU机型的1/3(参见图10)。

图10.图片转码FPGA和CPU对比

总之，图片算法的FPGA实现，如果不考虑FPGA资源、硬件实现架构和处理性能，CPU图像压缩算法可以完全在FPGA进行“复制”实现，FPGA算法压缩性能可以完全等同CPU。但是现实没那么理想，FPGA算法实现要统一考虑FPGA性能，资源，算法实现复杂度等要素，只有联合设计才能设计出最优秀的方案，为了发挥FPGA硬件实现的速度优势，算法进行优化是必须要做的，综合考虑各方面，我们在实际应用中，往往FPGA的算法实现要做一些“让步”。另外，某种型号的FPGA一旦被选定，它的运算以及布线资源往往有个理论值，算法的实现同时要考虑FPGA资源的利用情况，如何能在相同的FPGA资源上实现最好的压缩算法成为设计的难点。我们用FPGA进行算法实现的目标-----实现算法性能尽量接近CPU，图片处理吞吐量，以及处理延迟让CPU望其项背。

参考文献：

[1]. KPCB：玛丽·米克尔“互联网女皇”-2016年互联网趋势报告
[2]. G. J. Sullivan, J. R. Ohm, W. J. Han and T. Wiegand, "Overview of the High Efficiency Video Coding (HEVC) Standard," in IEEE Transactions on Circuits and Systems for Video Technology, vol. 22, no. 12, pp. 1649-1668, Dec. 2012.
[3].G. Pastuszak and A. Abramowski, "Algorithm and Architecture Design of the H.265/HEVC Intra Encoder," in IEEE Transactions on Circuits and Systems for Video Technology, vol. 26, no. 1, pp. 210-222, Jan. 2016.
[4].D. Zhou, J. Zhou, W. Fei and S. Goto, "Ultra-High-Throughput VLSI Architecture of H.265/HEVC CABAC Encoder for UHDTV Applications," in IEEE Transactions on Circuits and Systems for Video Technology, vol. 25, no. 3, pp. 497-507, March 2015.