事件和普通图像如何精准对齐？试下分光镜吧！

大家经常会问到的一个问题是，如何实现普通图像和事件的对齐？在产品层面，DAVIS240和346能够同时输出event和frame，CeleX5的不同模式也能输出两种数据但并不是同时，除此之外似乎并无他法。
实则不然，在论文中看到过采用分光镜（Beam Splitter，准确翻译应为“分束镜”，但我认为这里称作“分光”更合适，因此下文统称“分光镜”）的方案。但是这些论文只是一句“我们用分光镜啦”，但并没有说很多细节即背后可能遇到的问题。作者前后经过小半年时间进行了搭建，遇到了很多棘手的问题也踩了一些坑，在此分享。

分光镜基本原理

分光镜基本原理如下图：一束光线射入后，可以分成两束，这玩意在光学实验中用得很多。分出的两束光可以是偏振的、能量不同的，也可以是完全相同的。

但是相机使用，会有哪些问题？本人咨询过厂商和做光学的同学，他们表示想象不出来相机拍摄会有什么问题，而搞相机镜头的人也不清楚这玩意怎么和镜头搭配。于是只能自己硬着头皮踩坑。

参考方案

最初，我是看到了这篇论文[1]的图片关注到的分光镜，通过图片上面的名牌参数，搜到了产品并研究原理。可以看出，下图中分光镜后方有两个相机分别是事件相机和普通相机。也就是说，这种方案是，首先把场景光分出两部分，然后分别由镜头接收。我们这里称作“方案1”。

后来，又看到了这篇论文[2]的方案2如下图，用了两个分光镜，因此可以由3个相机进行接收。但问题是，图中还出现了一个Relay Lens，而且分光镜和相机之间并没有连接镜头（上图中方案1可以明显看到镜头的光圈、对焦环等）。

那么，这个Relay Lens是什么？于是我又问了一些搞光学的同学，同学们表示：“你到底在搞什么？”。后面找到了下面这幅图解释中继镜原理。（由于我不搞光学，解释原理可能不准确，但认为不影响理解；如有原理性错误，请批评指正）。物镜对焦后，光心到焦平面的距离是很短的，但有时我们实际的感光芯片很远，因此需要一步“中继”。比如，一些内窥镜就是在经过镜头后再过中继镜传到了末端。

因此了解原理后再看平台搭建图。方案2在经过中继镜聚焦后再经过的分光镜，因此需要中继镜到所有相机感光芯片的距离一致，否则会对不上焦。也就是说，下图中红绿黄三个箭头的长度必须是一样的！

方案选择与实际制作

那么这两种方案应该选哪一种呢？对比之下，我选了方案1。原因有2：

中继镜这玩意，我找了半天没有找到合适的厂商提供（不清楚这玩意到底什么领域用的多），怕有坑；

2. 自己没有精密的光学器件，怕不好控制中继镜到后面3个相机距离相等。

但方案1还是有缺陷的，那就是镜头的视角FoV不能太大，因为分光镜尺寸限制，FoV太大会无法完全被分光镜覆盖。例如，采用2.5立方厘米的分束立方，12mm镜头，拍视频如下，可以发现存在一个严重的对焦问题：对焦中心区域时，分束立方侧面反光但是失焦的产生弥散圆，会对区域的成像造成影响。如果是经过2次分光，FoV会更小（因此方案2采用了前端加中继镜，那样的FoV是中继镜或其前方物镜的FoV）。

（12mm镜头拍摄经过分光镜后的图像）

上面提到了分束立方，如左下图，上面两篇论文用的都是这玩意；还有一种东西叫“分光平面”，右下图。

（图：分光立方和分光平面）

二者都可以进行分光，但有一些区别。

分束立方，只有一个分光面（45°对角线处），因此成像质量较好，但每个侧面会出现镜像反射（上面解释的），同时价格较高；体积一般在2-2.5立方厘米左右，限制了镜头的FoV不能太大（实测18mm焦距镜头怼到分束立方后面才基本ok）；

分光平面，在光入射和出射都会发生一次反射有可能会造成虚影（但一般一侧镀膜降低这种影响），价格低且尺寸更大（淘宝能轻易买到5平方厘米的），而且不会发生立方的侧面发光问题。

买回来以后，具体的安装固定，可以参考上面两篇论文，采用做光学的整套设备，但这种成本太高。也可以采用[3]这篇论文的方法，直接3D打印固定，如下图：

在安装时，有些注意事项或提醒：

自测采用3D打印件安装分光镜和相机，精度也ok；

分光镜除入射和出射方向外，其他面尽量全部遮挡不透光，避免其他光线干扰；

分光平面尽量保证45°安装，后续相机对准；

经过一步简单的光学校准消除细微误差：放一个棋盘格，计算两个相机拍摄图像的单应性矩阵，然后对齐；

分光立方、分光平面都有偏振/非偏振等多种型号，选择非偏振；

淘宝上最便宜的分光平面精度就够（小几百），不需要买很贵的。

审核编辑 ：李倩