柱面投影 - 基于Zynq-7000的图像拼接技术的系统设计构架与实现效果

柱面投影主要涉及数学公式计算以及存储器访问操作，基于硬件描述语言的FPGA设计对基于复杂总线的数据通信及数学计算编程实现较为复杂。Vivado HLS(High Level Synthesis，高级综合)工具将C/C++等高级语言通过高层次功能综合，快速实现IP核设计与开发，软件提供了基于高级语言的图像处理、数学函数、标准通信协议接口，得以使开发人员更加专注于功能设计，同时能够获得不错的硬件加速性能。

按照高级语言程序功能函数设计，需要明确入口参数。实现柱面投影所需的关键参数如表1所示。

 

设计完成的功能函数通过C仿真以验证程序设计逻辑正确性。通过程序逻辑测试后，进行高级语言向RTL（Register Transfer Level，寄存器传输级）IP综合。柱面投影IP核通过总线获取参数及访存。参数列表中两个存储器地址用于内存数据访问，故采用支持高带宽的数据通信以及突发传输的AXI总线挂接，其他参数使用AXI4-Lite控制总线进行配置。初步完成端口配置与综合后，会针对选定平台提供详细的资源统计报告，如表2所示，产生的RTL电路同样需要C/RTL协同仿真以验证时序逻辑正确性，完成仿真之后软件会提供测试报告及信号时序图。通过设计验证后，即可进行IP核的打包并导入FPGA系统。

 

3.4 接缝融合与全景拼接

相邻图像重叠区域使用加权融合方式处理。实际拼接区域范围较小，故采用软件计算的方式实现，加权融合通过缓慢改变权重系数，使拼接图像顺滑过渡。加权融合原理示意如图6所示。

 

设两幅待拼接图像F(x，y)和G(x，y)，其对应的权重函数分别为ω1和ω2，其数学表达式为：

 

3.5 多通道传输

多通道传输是指完成处理的宽幅图像，通过本地端HDMI显示以及远程客户端请求摄录两种呈现方式。

应用程序设计与实现主要分为两个功能模块：视频拼接处理和定制化网络分发。借助双核处理器的优势多线程编程调度来提升系统的整体执行效率。系统服务软件运行流程如图7所示，服务程序开始运行后，主线程申请绑定第一处理器核心运行，启动系统设备初始化工作，之后创建子线程，并使其运行在第二核心上。基于核心绑定的多线程设计，有利于手动进行负载均衡。主线程主要负责图像处理服务，循环控制整个视频拼接的四个阶段，而子线程主要负责网络请求的监听与定制化的分发服务。由于两者都需要访问全景视频缓冲区，所以需要进行缓冲区读写访问控制。

 

4 系统测试与效果

系统服务程序HDMI显示接口实时查看拼接效果，如图8所示。远程客户端进行定制化分发摄录，如图9所示。嵌入式服务端实时形成的宽幅视频画面如图10所示，画面接缝部位拼接较为均匀且完整。经过实验测试及数据统计，视频处理系统在720 p模式下，宽幅分辨率为3 360×640，帧率5~10 f/s，480 p模式下分辨率为2 240×420，帧率15~18 f/s，基本实现了设计目标。

 

 

 

随着机器视觉、模式识别领域的飞速发展，基于宽幅实时视频为基础的自动识别与检测应用在交通、安防等领域将会有更广阔的发展前景。