0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

CentripetalNet:更合理的角点匹配,多方面改进CornerNet

深度学习实战 来源:晓飞的算法工程笔记 作者:晓飞的算法工程笔 2021-03-03 16:02 次阅读

CentripetalNet的核心在于新的角点匹配方式,额外学习一个向心偏移值,偏移值足够小的角点即为匹配,相对于embedding向量的匹配方式,这种方法更为鲁棒,解释性更好。另外论文提出的十字星变形卷积也很好地贴合角点目标检测的场景,增强角点特征

论文: CentripetalNet: Pursuing High-quality Keypoint Pairs for Object Detection

论文地址:https://arxiv.org/abs/2003.09119

论文代码:https://github.com/KiveeDong/CentripetalNet

Introduction

CornerNet打开了目标检测的新方式,通过检测角点进行目标的定位,在角点的匹配上,增加了额外embedding向量,向量距离较小的角点即为匹配。而论文认为,这种方法不仅难以训练,而且仅通过物体表面进行预测,缺乏目标的位置信息。对于相似物体,embedding向量很难进行特定的表达,如图1所示,相似的物体会造成错框现象。

  为此,论文提出了CentripetalNet,核心在于提出了新的角点匹配方式,额外学习一个向心偏移值,偏移值足够小的角点即为匹配。相对于embedding向量,这种方法更为鲁棒,解释性更好。另外,论文还提出十字星变形卷积,针对角点预测的场景,在特征提取时能够准确地采样关键位置的特征。最后还增加了实例分割分支,能够将网络拓展到实例分割任务中。

CentripetalNet

如图2所示,CentripetalNet包含四个模块,分别为:

角点预测模块(Corner Prediction Module):用于产生候选角点,这部分跟CornerNet一样。

向心偏移模块(Centripetal Shift Module):预测角点的向心偏移,并根据偏移结果将相近的角点成组。

十字星变形卷积(Cross-star Deformable Convolution):针对角点场景的变形卷积,能够高效地增强角点位置的特征。

实例分割分支(Instance Mask Head):类似MaskRCNN增加实例分割分支,能够提升目标检测的性能以及增加实例分割能力。

Centripetal Shift Module

Centripetal Shift

对于,几何中心为,定义左上角点和右下角点的向心偏移为:

fc3b0d52-778b-11eb-8b86-12bb97331649.png

函数用来减少向心偏移的数值范围,让训练更容易。在训练时,由于非GT角点需要结合角点偏移计算向心偏移,比较复杂,如图a所示,所以仅对GT角点使用smooth L1损失进行向心偏移训练:

fc78eee2-778b-11eb-8b86-12bb97331649.png

Corner Matching

fcc48104-778b-11eb-8b86-12bb97331649.png

属于同一组的角点应该有足够近的中心点,所以在得到向心偏移和角点偏移后,可根据角点对应的中心点判断两个角点是否对应。首先将满足几何关系的角点组合成预测框,每个预测框的置信度为角点置信度的均值。接着,如图c所示,定义每个预测框的中心区域:

fd0c3c2e-778b-11eb-8b86-12bb97331649.png

的角点计算为:

fd42c424-778b-11eb-8b86-12bb97331649.png

为中心区域对应预测框边长的比例,根据向心偏移计算出左上角点的中心点和右下角点的中心点,计算满足中心区域关系的预测框的权值:

fd924dd2-778b-11eb-8b86-12bb97331649.png

从公式5可以看出,角点对应的中心点的距离越近,预测框的权值越高,对于不满足中心点几何关系的预测框,权值直接设为0,最后,使用权值对置信度进行加权输出。

Cross-star Deformable Convolution

为了让角点感知目标的位置信息,coner pooling使用max和sum来进行目标信息的水平和垂直传递,导致输出的特征图存在十字星现象,如图4a所示,十字星的边界包含了丰富的上下文信息。为了进一步提取十字星边界的特征,不仅需要更大的感受域,还需要适应其特殊的几何结构,所以论文提出了十字星变形卷积。

但并不是所有的边界特征都是有用的,对于左上角点而言,由于十字星的左上部边界特征在目标的外部,所以其对左上角点是相对无用的,所以论文使用偏移引导(guiding shift)来显示引导偏移值(offset field)的学习,偏移引导如图b所示。偏移值共通过三个卷积层获得,前两个卷积层转化corner pooling的输出,通过下面的损失函数有监督学习:

ff5c6dfa-778b-11eb-8b86-12bb97331649.png

为偏移引导,定义为:

ffd71c30-778b-11eb-8b86-12bb97331649.png

第三层卷积将特征映射为最终偏移值,内涵了目标的上下文信息和几何信息。

论文对不同的采样方法进行了可视化,可以看到论文提出的十字星变形卷积的效果符合预期,左上角点对应的采样点均为十字星的右下部边界。

Instance Mask Head

为了获取实例分割的结果,论文取soft-NMS前的检测结果作为候选框,使用全卷积网络进行mask预测。为了保证检测模块能够提供有效的候选框,先对CentripetalNet预训练几轮,然后取top-k候选框进行RoIAlign得到特征,使用连续四个卷积层提取特征,最后使用反卷积层进行上采样,训练时对每个候选框进行交叉熵损失:

00a9ac86-778c-11eb-8b86-12bb97331649.png

Experiment

完整的损失函数为:

00eb78f0-778c-11eb-8b86-12bb97331649.png

和跟CornerNet定义的一样,为预测框损失和角点偏移损失,设置为0.005。

目标检测性能对比。

实例分割性能对比。

CornerNet/CenterNet/CentripetalNet可视化对比。

Conclusion

CentripetalNet的核心在于新的角点匹配方式,额外学习一个向心偏移值,偏移值足够小的角点即为匹配,相对于embedding向量的匹配方式,这种方法更为鲁棒,解释性更好。另外论文提出的十字星变形卷积也很好地贴合角点目标检测的场景,增强角点特征。

责任编辑:lq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 模块
    +关注

    关注

    7

    文章

    2697

    浏览量

    47440
  • 检测
    +关注

    关注

    5

    文章

    4484

    浏览量

    91451
  • 向量
    +关注

    关注

    0

    文章

    55

    浏览量

    11662

原文标题:CentripetalNet:更合理的角点匹配,多方面改进CornerNet | CVPR 2020

文章出处:【微信号:gh_a204797f977b,微信公众号:深度学习实战】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    中国电研拟投12亿建设长三总部项目

    一期投资约为3亿元。而二期的具体计划将根据一期的运营情况、市场及产业需求等多方面因素综合考量后,再行审议决定。 为确保项目的顺利实施,中国电研董事会已授权公司经理层全权负责项目的具体组织工作。这包括但不限于签署、
    的头像 发表于 12-17 10:34 159次阅读

    浅谈水温测量型消费电子如何选择NTC温度传感器

    如何选择合适NTC温度传感器对于消费电子产品性能至关重要。在选型过程中,需要了解多个关键因素,包括产品应用原理、结构组成、材质类型、尺寸匹配、产品参数等多方面,详细了解清楚才能匹配到合适产品。接下来
    发表于 12-11 10:23

    如何选择合适的海外IP代理以提升网络体验

    选择合适的海外IP代理以提升网络体验是一个涉及多方面因素的过程。
    的头像 发表于 11-20 08:55 188次阅读

    构建便捷海外IP代理池:策略与实践

    构建便捷海外IP代理池是一个涉及多方面策略与实践的过程。
    的头像 发表于 11-14 07:34 133次阅读

    如何选择和配置海外静态IP,提升网络性能

    选择和配置海外静态IP以提升网络性能是一个涉及多方面因素的过程。
    的头像 发表于 11-13 07:07 211次阅读

    使用语义线索增强局部特征匹配

    视觉匹配是关键计算机视觉任务中的关键步骤,包括摄像机定位、图像配准和运动结构。目前最有效的匹配关键的技术包括使用经过学习的稀疏或密集匹配器,这需要成对的图像。这些神经网络对两幅图像的
    的头像 发表于 10-28 09:57 221次阅读
    使用语义线索增强局部特征<b class='flag-5'>匹配</b>

    工业一体机对生产企业的好处是什么

    工业一体机对生产企业带来了多方面的好处,这些好处主要体现在以下几个方面
    的头像 发表于 09-14 17:31 329次阅读

    凯茉锐电子 索尼FCB-CV7520一体化摄像机在电力巡检方面有何帮助

    索尼FCB-CV7520一体化摄像机在电力巡检方面提供了多方面的帮助,主要体现在以下几个方面
    的头像 发表于 09-04 09:33 227次阅读

    振荡器的频率选择有什么技巧

    振荡器的频率选择是一个涉及多方面因素的复杂过程,它直接影响到振荡器的性能和应用效果。以下是一些关于振荡器频率选择的技巧,旨在帮助读者更好地理解并做出合理的选择。
    的头像 发表于 09-03 10:57 594次阅读
    振荡器的频率选择有什么技巧

    VCA如果要和50欧的电源阻抗进行匹配,且Vin接地,应该怎么匹配

    如果要和50欧的电源阻抗进行匹配,且Vin接地,应该怎么匹配?某推荐的图上,是正负输入信号端都用了20欧姆的电阻接地,这样匹配合理吗?
    发表于 08-23 07:38

    放大器增益调节有哪些优缺点

    放大器增益调节的优缺点是多方面的,这些方面涉及到放大器的性能、应用、设计以及实际使用中的挑战。
    的头像 发表于 08-16 17:14 820次阅读

    SOLIDWORKS 2024多方面优势

    在工程设计领域,SOLIDWORKS始终以其优越的功能和不断创新的技术,带领着行业的发展方向。随着SOLIDWORKS 2024版本的发布,这款三维设计软件再次展现了其多方面的显著优势,为设计师和工程师们提供了更加智能、便捷的工作平台。
    的头像 发表于 07-10 16:48 422次阅读
    SOLIDWORKS 2024<b class='flag-5'>多方面</b>优势

    变频器与电机应该如何匹配

    在工业自动化领域中,变频器与电机的匹配问题至关重要。合理匹配能够确保电机的稳定运行,提高生产效率,同时降低能耗和故障率。本文将详细探讨变频器与电机匹配的原则、方法、注意事项及实际应用
    的头像 发表于 05-31 15:20 5238次阅读

    SD-WAN组网的多方面解析

    在数字化转型的浪潮下,企业对网络的需求日益复杂和多样化。面对分支机构间的协作需求和不断增长的网络流量,企业亟需一种更加高效、灵活且成本可控的组网方案。SD-WAN(软件定义广域网络)正是在这样的背景下应运而生,成为企业网络布局的新宠。本文将带您全面了解SD-WAN的核心优势及其对企业网络改造的深远影响。 1. SD-WAN的定义与特点   SD-WAN是一种创新的网络架构,它将软件定义网络(SDN)的理念应用于广域网(WAN)的管理中。通过集中式
    的头像 发表于 02-28 10:59 562次阅读

    瞬态抑制二极管与压敏电阻从多方面来看有什么区别不同

    瞬态抑制二极管与压敏电阻从多方面来看有什么区别不同 瞬态抑制二极管(简称TVS二极管)与压敏电阻(Varistor)都是用于抑制电路中过电压问题的电子元件,但它们在结构、工作原理、特性及应用方面
    的头像 发表于 01-03 11:09 1379次阅读