0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

基于层级图网络的图卷积,用点云完成3D目标检测

电子设计 来源:电子设计 作者:电子设计 2020-12-24 15:25 660次阅读

论文:A Hierarchical Graph Network for 3D Object Detection on Point Clouds

由于大多数现有的点云对象检测方法不能充分适应点云的特征(例如稀疏性),所以一些关键的语义信息(如物体形状)不能被很好的捕捉到。本文提出了一种基于层级图网络(HGNet)的图卷积(GConv),可以直接将点云作为输入来预测 3D 的边界框。形状注意图卷积(SA-GConv)可以通过剑魔点的位置星系来描述物体形状,基于 SA-GConv 的 U 形网络可以通过改进的 voting 模块获取多层级的特征进而生成候选,然后一个基于图卷积的候选推理模块考虑全局的场景语义来对边界框进行预测。该框架在两个大规模点云数据上的表现超过了目前最先进的模型。

论文背景

由于点云的稀疏性,一些已有的为网格形式数据设计的方法(如CNN)在点云上的表现并不好,为解决这一问题,最近有一些对点云数据的方法被提出,例如基于投影的方法、基于体卷积的方法和基于 PointNet 的方法。前两种试图将点云数据严格转换为网格结构数据,而后一种则在不明确考虑点的几何位置的情况下聚合特征。

与其他方法相比,PointNet++ 可以保留点的稀疏特点,因此被广泛作为框架的骨架。当目前仍有一些未能很好解决的挑战,首先由于没有考虑点的相对几何位置,因此使用 PointNet++ 作为主干忽略了一些局部形状信息。其次,框架的结构没有充分利用多级语义,这可能会忽略一些有助于目标检测的信息。

本文提出了一个基于图卷积(GCONV)的层级图网络(HGNet)用于基于点云的 3D 目标检测。HGNet 包含三部分:一个基于图卷积的 U 形网络(GUnet)、一个候选生成器以及一个候选推理模块(ProRe Module)。基于层级图网络(HGNet)的图卷积

整个 HGNet 以端到端的方式进行培训。在本文的框架中,点云的局部形状信息、多级语义和全局场景信息(候选的特征)已被层级图模型充分捕获、聚合和合并,充分考虑了点云数据的特征。

本文的主要贡献如下:

(A)开发了一种新的层级图网络(HGNet),用于在点云上进行 3D 对象检测,其表现好于已有方法。

(B)提出了一种新颖的 SA-(De)GConv,它可以有效地聚合特征并捕获点云中对象的形状信息。

(C)构建了一个新的 GU-net,用于生成多级特征,这对于 3D 对象检测至关重要。

(D)利用全局信息,ProRe 模块通过对候选进行推理来提高效果。

论文模型

融合采样

3D 目标检测有基于点和基于体素两种框架,前者更加耗时,由候选生成与预测细化两个阶段组成。

在第一个阶段,SA 用于降采样以获得更高的效率以及扩大感受野,FP 用来为降采样过程中丢掉的点传播特征。在第二阶段,一个优化模块最优化 RPN 的结果以获得更准确的预测。SA 对于提取点的特征是必需的。但 FP 和优化模块会限制效率。

形状注意图卷积

点云通常不能清楚地表示出物体的形状,可以使用其相邻点的相对几何位置来描述点周围的局部形状。本文介绍了一种新颖的形状注意图卷积,它通过对点的几何位置建模来捕获对象形状。

对于一个点集 X,其中每一个点由其集合位置 p_i 以及 D 维的特征 f_i 组成,我们想要生成一个 X’,本文设计了图卷积用于聚合从 X 到 X’ 的特征。与 PointNet++的采样层相类似,本文首先从 n 个点中采样 n’ 个点,通常 K 最近邻(KNN)被用来在采样中保留局部信息将其作为中心点特征。

其中 g 表示 i 和 j 的相对位置,通过一个卷积将三维变为一维,f 是 mlp,然后二者的乘积就是中心点的 knn,其中最大的作为 i 的特征。形状注意操作不同于简单的基于 mlp 的操作主要就是因为这个 g 函数。虽然形式上没有 attention 中的 softmax 这样的归一化,但是 g 的输出就和 attention一样,每个点的 weights,然后对应的乘以特征。

审核编辑:符乾江


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 目标检测
    +关注

    关注

    0

    文章

    209

    浏览量

    15623
  • 点云
    +关注

    关注

    0

    文章

    58

    浏览量

    3804
收藏 人收藏

    相关推荐

    C#通过Halcon实现3D重绘

    C# 通过 Halcon 实现 3D 重绘
    发表于 01-05 09:16 0次下载

    采用华为 Flexus 服务器 X 实例部署 YOLOv3 算法完成目标检测

    一、前言 1.1 开发需求 这篇文章讲解: 采用华为最新推出的 Flexus 服务器 X 实例部署 YOLOv3 算法,完成图像分析、目标
    的头像 发表于 01-02 12:00 45次阅读
    采用华为<b class='flag-5'>云</b> Flexus <b class='flag-5'>云</b>服务器 X 实例部署 YOLOv<b class='flag-5'>3</b> 算法<b class='flag-5'>完成</b><b class='flag-5'>目标</b><b class='flag-5'>检测</b>

    AI模型部署边缘设备的奇妙之旅:目标检测模型

    的是百度的Picodet模型,它是一种基于深度卷积网络(DNN)的轻量级目标检测模型,具有非常高的检测精度,可以在低算力设备进行实时的端到端
    发表于 12-19 14:33

    一种基于因果路径的层次图卷积注意力网络

    机电系统中的故障检测对其可维护性和安全性至关重要。然而,系统监测变量往往具有复杂的联系,很难表征它们的关系并提取有效的特征。本文开发了一种基于因果路径的层次图卷积注意力网络(HGCAN),以提高复杂
    的头像 发表于 11-12 09:52 300次阅读
    一种基于因果路径的层次<b class='flag-5'>图卷积</b>注意力<b class='flag-5'>网络</b>

    安宝特产品 安宝特3D Analyzer:智能的3D CAD高级分析工具

    安宝特3D Analyzer包含多种实用的3D CAD高级分析工具,包括自动比对模型、碰撞检测、间隙检查、壁厚检查,以及拔模和底切分析,能够有效提升3D CAD模型
    的头像 发表于 08-07 10:13 391次阅读
    安宝特产品  安宝特<b class='flag-5'>3D</b> Analyzer:智能的<b class='flag-5'>3D</b> CAD高级分析工具

    卷积神经网络共包括哪些层级

    变换等复杂计算处理,从原始数据中提取并学习特征,最终完成分类、回归等任务。下面将详细阐述卷积神经网络所包含的层级
    的头像 发表于 07-11 15:58 1359次阅读

    基于深度学习的小目标检测

    在计算机视觉领域,目标检测一直是研究的热点和难点之一。特别是在小目标检测方面,由于小目标在图像中所占比例小、特征不明显,使得
    的头像 发表于 07-04 17:25 923次阅读

    卷积神经网络分类方法有哪些

    卷积神经网络(Convolutional Neural Networks,CNN)是一种深度学习模型,广泛应用于图像分类、目标检测、语义分割等计算机视觉任务。本文将详细介绍
    的头像 发表于 07-03 09:40 484次阅读

    cnn卷积神经网络分类有哪些

    卷积神经网络(CNN)是一种深度学习模型,广泛应用于图像分类、目标检测、语义分割等领域。本文将详细介绍CNN在分类任务中的应用,包括基本结构、关键技术、常见
    的头像 发表于 07-03 09:28 641次阅读

    苏州吴中区多色PCB板元器件3D视觉检测技术

    3D视觉检测相较于2D视觉检测,有其独特的优势,不受产品表面对比度影响,精确检出产品形状,可以测出高度(厚度)、体积、平整度等。在实际应用中可以与2
    的头像 发表于 06-14 15:02 425次阅读
    苏州吴中区多色PCB板元器件<b class='flag-5'>3D</b>视觉<b class='flag-5'>检测</b>技术

    机器人3D视觉引导系统框架介绍

    通过自主开发的3D扫描仪可获准确并且快速地获取场景的云图像,通过3D识别算法,可实现在对云图中的多种目标物体进行识别和位姿估计。
    发表于 04-29 09:31 345次阅读
    机器人<b class='flag-5'>3D</b>视觉引导系统框架介绍

    Nullmax提出多相机3D目标检测新方法QAF2D

    今天上午,计算机视觉领域顶会CVPR公布了最终的论文接收结果,Nullmax感知部门的3D目标检测研究《Enhancing 3D Object Detection with 2
    的头像 发表于 02-27 16:38 1157次阅读
    Nullmax提出多相机<b class='flag-5'>3D</b><b class='flag-5'>目标</b><b class='flag-5'>检测</b>新方法QAF2<b class='flag-5'>D</b>

    基于深度学习的方法在处理3D进行缺陷分类应用

    背景部分介绍了3D应用领域中公开可访问的数据集的重要性,这些数据集对于分析和比较各种模型至关重要。研究人员专门设计了各种数据集,包括用于3D形状分类、
    的头像 发表于 02-22 16:16 1210次阅读
    基于深度学习的方法在处理<b class='flag-5'>3D</b><b class='flag-5'>点</b><b class='flag-5'>云</b>进行缺陷分类应用

    标注神器!AAAI&apos;24最新:第一个交互式3D目标检测器!

    考虑到3D的稀疏性质,iDet3D设计了负点击模拟 (NCS),通过减少误报预测来提高准确性。还结合了两种点击传播技术来充分利用用户交互:(1) 密集点击引导 (DCG),用于在整
    的头像 发表于 01-16 16:08 559次阅读
    标注神器!AAAI&apos;24最新:第一个交互式<b class='flag-5'>3D</b><b class='flag-5'>目标</b><b class='flag-5'>检测</b>器!

    友思特C系列3D相机:实时3D云图像

    3D相机
    虹科光电
    发布于 :2024年01月10日 17:39:25