0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

基于摄像技术的点云配准

新机器视觉 来源:新机器视觉 作者:新机器视觉 2022-10-19 16:53 次阅读

一、点云配准基础知识

1.入门知识及背景

1)点云概念

点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合,在获取物体表面每个采样点的空间坐标后,得到的是点的集合,称之为“点云”(Point Cloud)。

2)点云图像是最基础也是最常见的三维图像。

那什么是三维图像呢?三维图像是一种特殊的图像信息表达形式。相比较于常见的二维图像,其最大的特征是表达了空间中三个维度(长度宽度和深度)的数据。

3)三维图像的表现形式

深度图(以灰度表达物体与相机的距离),几何模型(由CAD软件建立),点云模型(所有逆向工程设备都将物体采样成点云)。

4)点云根据测量原理主要分为两种

根据激光测量原理得到的点云,包括三维坐标(XYZ)和激光反射强度(Intensity)。强度信息与目标的表面材质、粗糙度、入射角方向,以及仪器的发射能量,激光波长有关。

根据摄影测量原理得到的点云,包括三维坐标(XYZ)和颜色信息(RGB)。

当然也有把激光和摄影相结合在一起的(多传感器融合技术),这种结合激光测量和摄影测量原理得到点云,包括三维坐标(XYZ)、激光反射强度(Intensity)和颜色信息(RGB)。

本次的文章主要讲的是基于摄像技术的点云配准。

5)点云的获取设备

RGBD设备(深度摄像机)是可以获取点云的设备。比如PrimeSense公司的PrimeSensor、微软的Kinect、华硕的XTionPRO。

6)点云的属性

空间分辨率、点位精度、表面法向量等。

7)点云存储格式

.pts;.asc ; *.dat; .stl ; [1] .imw;.xyz;.las。

8)点云的数据类型

(1)pcl::PointXYZ

PointXYZ 成员:float x,y,z;表示了xyz3D信息,可以通过points[i].data[0]或points[i].x访问点X的坐标值

(2)pcl::PointXYZI

PointXYZI成员:float x, y, z, intensity; 表示XYZ信息加上强度信息的类型。

(3)pcl::PointXYZRGB

PointXYZRGB 成员:float x,y,z,rgb; 表示XYZ信息加上RGB信息,RGB存储为一个float。

(4)pcl::PointXYZRGBA

PointXYZRGBA 成员:float x , y, z; uint32_t rgba; 表示XYZ信息加上RGBA信息,RGBA用32bit的int型存储的。

(5) PointXY 成员:float x,y;简单的二维x-y点结构

(6)Normal结构体:

表示给定点所在样本曲面上的法线方向,以及对应曲率的测量值,用第四个元素来占位,兼容SSE和高效计算

9)点云处理的三个层次

一般将图像处理分为三个层次,低层次包括图像强化,滤波,关键点/边缘检测等基本操作。中层次包括连通域标记(label),图像分割等操作。高层次包括物体识别,场景分析等操作。工程中的任务往往需要用到多个层次的图像处理手段。

PCL官网对点云处理方法给出了较为明晰的层次划分:

ee5f7e06-4bca-11ed-a3b6-dac502259ad0.jpg

低层次处理方法

①滤波方法:双边滤波、高斯滤波、条件滤波、直通滤波、随机采样一致性滤波。②关键点:ISS3D、Harris3D、NARF,SIFT3D

中层次处理方法

①特征描述:法线和曲率的计算、特征值分析、SHOT、PFH、FPFH、3D Shape Context、Spin Image

②分割与分类:

分割:区域生长、Ransac线面提取、全局优化平面提取

K-Means、Normalize Cut(Context based)

3D Hough Transform(线、面提取)、连通分析

分类:基于点的分类,基于分割的分类,基于深度学习的分类(PointNet,OctNet)

高层次处理方法

①配准

点云配准分为粗配准(Coarse Registration)和精配准(Fine Registration)两个阶段。

精配准的目的是在粗配准的基础上让点云之间的空间位置差别最小化。应用最为广泛的精配准算法应该是ICP以及ICP的各种变种(稳健ICP、point to plane ICP、Point to line ICP、MBICP、GICP、NICP)。

粗配准是指在点云相对位姿完全未知的情况下对点云进行配准,可以为精配准提供良好的初始值。当前较为普遍的点云自动粗配准算法包括基于穷举搜索的配准算法和基于特征匹配的配准算法。

基于穷举搜索的配准算法:

遍历整个变换空间以选取使误差函数最小化的变换关系或者列举出使最多点对满足的变换关系。如RANSAC配准算法、四点一致集配准算法(4-Point Congruent Set, 4PCS)、Super4PCS算法等……

基于特征匹配的配准算法:

通过被测物体本身所具备的形态特性构建点云间的匹配对应,然后采用相关算法对变换关系进行估计。如基于点FPFH特征的SAC-IA、FGR等算法、基于点SHOT特征的AO算法以及基于线特征的ICL等…

②SLAM图优化

Ceres(Google的最小二乘优化库,很强大), g2o、LUM、ELCH、Toro、SPA

SLAM方法:ICP、MBICP、IDC、likehood Field、NDT

③三维重建

泊松重建、 Delaunay triangulations、表面重建,人体重建,建筑物重建,树木重建。结构化重建:不是简单的构建一个Mesh网格,而是为场景进行分割,为场景结构赋予语义信息。场景结构有层次之分,在几何层次就是点线面。实时重建:重建植被或者农作物的4D(3D+时间)生长态势;人体姿势识别;表情识别;

④点云数据管理

点云压缩,点云索引(KD、Octree),点云LOD(金字塔),海量点云的渲染。

参考博客:blog.csdn.net/hongju_ta

ee81a896-4bca-11ed-a3b6-dac502259ad0.png

10)点云配准在三维重建中的应用

以上是关于点云配准的最最基础的知识,其他专业的知识请参见一下其他博客。

1. 关于三维计算机视觉的研究内容

cnblogs.com/yhlx125/p/4

2. 关于点云数据处理方法

(三维计算机视觉中点云数据处理面对的问题,主要方法和技术,概述其特点。)

blog.csdn.net/pdw521/ar

二、书籍和文献

书籍

由于纯粹的点云配准技术发展的并不是很成熟,所以关于点云配准的书籍目前很少,我了解的书籍只有一本国防工业出版社的《点云数据配准及曲面细分技术》讲解了点云配准的相关技术,但主要内容稍显过时,适合没有基础的小白看看,参考意义不多。

笔者主要还是从博客和硕士博士论文中学习

文献

朱琛琛. 基于ICP算法的点云配准研究[D]. 2019.(注:基于摄像技术的点云配准)

点云配准若干问题研究[D].2018. (注:基于雷达激光的点云配准)

Besl P J , Mckay H D . A method for registration of 3-D shapes[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1992, 14(2):0-256.

Aiger D , Mitra N J , Cohen-Or D . 4-points congruent sets for robust pairwise surface registration[J]. ACM Transactions on Graphics, 2008, 27(3):1.

Automatic registration of large-scale urban scene point clouds based on semantic feature points[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2016, 113:43-58.

三、课程与博客

1)点云配准算法的说明与流程介绍:

blog.csdn.net/Ha_ku/art

2)几种点云配准算法的方法的介绍与比较:

blog.csdn.net/weixin_43

3)三维点云用机器学习的方法进行处理:

blog.csdn.net/u01463624

4)以一个例子详细介绍了点云配准的过程:

zhihu.com/question/3417

四、数据集

The Stanford 3D Scanning Repository(斯坦福大学的3d扫描存储库)

链接:graphics.stanford.edu/d

这应该是做点云数据最初大家用最多的数据集,其中包含最开始做配准的Bunny、Happy Buddha、Dragon等模型。

Shapenet

ShapeNet是一个丰富标注的大规模点云数据集,其中包含了55中常见的物品类别和513000个三维模型。

The KITTI Vision Benchmark Suite

链接:cvlibs.net/datasets/kit

这个数据集来自德国卡尔斯鲁厄理工学院的一个项目,其中包含了利用KIT的无人车平台采集的大量城市环境的点云数据集(KITTI),这个数据集不仅有雷达、图像、GPS、INS的数据,而且有经过人工标记的分割跟踪结果,可以用来客观的评价大范围三维建模和精细分类的效果和性能。

Robotic 3D Scan Repository

链接:kos.informatik.uni-osnabrueck.de

这个数据集比较适合做SLAM研究,包含了大量的Riegl和Velodyne雷达数据

佐治亚理工大型几何模型数据集

链接:cc.gatech.edu/projects/

PASCAL3D+

链接:cvgl.stanford.edu/proje

包含了12中刚体分类,每一类超过了3000个实例。并且包含了对应的imageNet中每一类的图像。

其他总结

链接:github.com/timzhang642/

五、开源工具

MeshLab

简介:是一款开源、可移植和可扩展的三维几何处理系统。主要用于处理和编辑3D三角网格,它提供了一组用于编辑、清理、修复、检查、渲染、纹理化和转换网格的工具。提供了处理由3D数字化工具/设备生成的原始数据以及3D打印功能,功能全面而且丰富。MeshLab支持多数市面上常见的操作系统,包括Windows、Linux及Mac OS X,支持输入/输出的文件格式有:STL 、OBJ 、 VRML2.0、U3D、X3D、COLLADA MeshLab可用于各种学术和研究环境,如微生物学、文化遗产及表面重建等。

审核编辑:彭静
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 3D
    3D
    +关注

    关注

    9

    文章

    2875

    浏览量

    107489
  • 相机
    +关注

    关注

    4

    文章

    1350

    浏览量

    53585
  • 摄像技术
    +关注

    关注

    0

    文章

    16

    浏览量

    7420
  • 点云配准
    +关注

    关注

    0

    文章

    4

    浏览量

    796

原文标题:该如何学习三维点云配准的相关知识?

文章出处:【微信号:vision263com,微信公众号:新机器视觉】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    基于深度学习的三维方法

    基于深度学习的三维方法成为研究的主流,并随之诞生了DeepVCP、DGR、Predator等著名的方法。
    发表于 11-29 11:41 1819次阅读

    一种快速的三维自动方法

    采用主成分分析方法(PCA)定义了简单的数学模型和轴向确定方法等来实现。大量实验证明,算法能够快速实现任意形状、大小及位置的两片
    发表于 09-23 17:59 25次下载

    基于特征精度提纯的图像改进算法

    基于特征精度提纯的图像改进算法_刘珊珊
    发表于 01-07 18:39 0次下载

    具有SIFT描述的多尺度角图像

    含有丰富的图像结构信息,在图像中是广泛应用的图像特征。Harris算法是经典的角提取算法,Harris角对图像旋转具有不变性,但
    发表于 11-17 15:26 15次下载
    具有SIFT描述的多尺度角<b class='flag-5'>点</b>图像<b class='flag-5'>配</b><b class='flag-5'>准</b>

    基于平移域估计的全局算法

    针对迭代最近(ICP)算法需要两幅具有良好的初始位置,否则易陷入局部最优的问题,提出了一种基于平移域估计的全局
    发表于 12-18 13:50 0次下载
    基于平移域估计的<b class='flag-5'>点</b><b class='flag-5'>云</b>全局<b class='flag-5'>配</b><b class='flag-5'>准</b>算法

    基于GPU加速的医学图像技术

    针对目前医学图像技术无法满足临床实时性需求问题,对基于图形处理器( GPU)加速的医学图像技术
    发表于 01-03 11:08 1次下载
    基于GPU加速的医学图像<b class='flag-5'>配</b><b class='flag-5'>准</b><b class='flag-5'>技术</b>

    使用PCL进行数据粗算法的研究资料分析

    传统ICP算法精度受点初始位姿影响较大,收敛速度慢,不能满足精细化建模的要求。基于此问题,通过基于快速特征直方图的采样一致性
    发表于 03-01 09:34 14次下载
    使用PCL进行<b class='flag-5'>点</b><b class='flag-5'>云</b>数据粗<b class='flag-5'>配</b><b class='flag-5'>准</b>算法的研究资料分析

    一种多幅数据与纹理序列自动方法

    为对激光扫描仪与数码相机中的数据进行有效,提岀一种基于中心投影的多幅数据与纹理序列自动
    发表于 03-18 10:42 5次下载
    一种多幅<b class='flag-5'>点</b><b class='flag-5'>云</b>数据与纹理序列自动<b class='flag-5'>配</b><b class='flag-5'>准</b>方法

    基于机械臂的车辆轮廓扫描定位及数据

    车辆轮廓的三维模型在汽车智能化制造及维保过程中具有重要作用。为提高点的精度和效率,以汽车维保机器人为研究对象,提出一种基于
    发表于 05-26 15:56 6次下载

    自动驾驶圈黑话:常用的方法以及未来发展方向

    深度学习在自动驾驶领域可谓无往不利,领域也不例外。基于深度学习的
    发表于 11-11 14:18 2074次阅读

    三维的相关知识学习技巧

    过程就是求一个两个之间的旋转平移矩阵(rigid transform or eucl
    的头像 发表于 12-02 09:40 1921次阅读

    自动驾驶领域的工作原理与技术方法

    RANSAC算法被引入三维领域,其本质就是不断的对源点进行随机样本采样并求出对应的变换模型,接着对每一次随机变换模型进行测试,并不
    发表于 03-24 09:58 758次阅读

    SDMNet:大规模激光雷达的稀疏到稠密匹配网络

    为了处理上述的问题,我们提出了SDMNet,一种新的由稀疏到密集的针对大规模室外方法。稀疏到稠密匹配方案如图1(c)所示。具体而言,我们将
    的头像 发表于 05-24 15:53 1201次阅读
    SDMNet:大规模激光雷达<b class='flag-5'>点</b><b class='flag-5'>云</b><b class='flag-5'>配</b><b class='flag-5'>准</b>的稀疏到稠密匹配网络

    三维过程详解:算法原理及推导

    就是再两个还差得十万八千里、完全不清楚两个的相对位置关系的情况下,找到一个这两个
    的头像 发表于 09-21 17:20 1046次阅读

    三维算法原理及推导

    就是再两个还差得十万八千里、完全不清楚两个的相对位置关系的情况下,找到一个这两个
    的头像 发表于 09-25 11:31 973次阅读