助力移动机器人下游任务！Mobile-Seed用于联合语义分割和边界检测

摘要

精确、快速地划定清晰的边界和鲁棒的语义对于许多下游机器人任务至关重要，例如机器人抓取和操作、实时语义建图以及在边缘计算单元上执行的在线传感器校准。虽然边界检测和语义分割是相辅相成的任务，但大多数研究都集中在语义分割的轻量级模型上，而忽略了边界检测的关键作用。在这项工作中，我们引入了一个轻量级的双任务框架Mobile - Seed，用于同时进行语义分割和边界检测。我们的框架具有双流编码器，主动融合解码器( AFD )和双任务正则化方法。编码器分为两个通道：一个通道捕获类别感知的语义信息，另一个通道从多尺度特征中辨别边界。AFD模块通过学习通道间的关系来动态适应语义和边界信息的融合，允许对每个通道进行精确的权重分配。此外，我们引入正则化损失来缓解双任务学习和深度多样性监督中的冲突。与现有方法相比，提出的Mobile - Seed提供了一个轻量级的框架，可以同时提高语义分割性能和精确定位对象边界。在Cityscapes数据集上的实验表明，在1024 × 2048分辨率输入下，Mobile - Seed在mIoU和mF - score上分别比SOTA基线提升了2.2个百分点( pp )和4.2个百分点( pp )，同时在RTX 2080 Ti GPU上保持了23.9帧每秒( FPS )的在线推理速度。在CamVid和PASCAL Context数据集上的额外实验证实了我们方法的可推广性。

效果展示

Mobile - Seed算法能够实时地同时推理出2D RGB图像的边界图和语义图。( a )展示了我们的Mobile - Seed的动机，它可以为下游任务提供强有力的约束，例如实例分割，语义SLAM和传感器校准。( b )和( c )表明Mobile - Seed的核心思想是将语义分割流和边界检测流集成在一个共享的框架中，并以相互促进的方式进行学习，同时保持实时效率。

主要贡献

（1）提出了一个轻量级的移动机器人联合语义分割和边界检测框架，该框架可以同时学习边界掩码和语义掩码。

（2)提出了AFD用于学习语义特征和边界特征之间的通道关系。与固定权重方法(融合权重与输入无关)相比，AFD在为语义特征和边界特征分配合适的权重方面更加灵活。

（3）引入双任务正则化损失来有效缓解DDS产生的冲突，使得语义分割和边界检测任务互相促进。

具体原理是什么？

Mobile - Seed的工作流，其中语义流S和边界流B分别提取语义和边界特征。AFD估计每个通道的语义特征Fs和边界特征Fb的相对权重。在语义流中应用一个辅助分类头，用于训练过程中的直接监督。分别对语义预测s、融合语义预测sf和边界预测b进行监督，并依此进行监督。正则化损失Lreg减轻了由双任务学习引起的分歧。

和其他SOTA方法的对比

语义分割的定性结果对比。

边缘检测的定性结果对比。

总结

这篇文章提出了一种新颖的轻量级框架Mobile - Seed用于联合语义分割和边界检测。该方法由双流编码器和主动融合解码器( AFD )组成，其中编码器分别提取语义和边界特征，AFD为两种特征分配动态融合权重。此外，引入正则化损失来缓解双任务学习中的发散问题。Mobile - Seed可以部署在轻量级机器人平台上，服务于语义SLAM、机器人操作等下游任务。

审核编辑：刘清