0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

多相机视觉系统的坐标系统标定与统一及其应用案例

jt_rfid5 来源:机器视觉沙龙 2023-02-03 15:41 次阅读

导语:

随着机器视觉应用的日益广泛,大幅面 多相机 视觉系统的需求越来越多,主要应用方向为大幅面高精度的定位与测量和场景拼接等。

多相机视觉系统的难点在于多相机坐标系的统一。 可以分为两类,一是相机视野间无重叠部分,二是相机视野间有重叠部分。

相机间无重叠部分的情况主要用于大幅面多相机高精度的定位和测量,相机间有重叠部分的情况主要用于场景的拼接等。

一。 相机间无重叠部分,介绍两种典型方法。

1. 使用大标定板统一坐标

方案简介:

此方法采用一块大标定板来统一各个相机的坐标,每个大标定板中有若干小标定板,各个小标定板间的位置关系都是已知的,各个相机都能拍摄到一个小标定板。通过各个小标定板可以标定每个相机的内部参数和外部参数,每个相机的坐标都可以转换到各个小标定板的坐标系上,从而统一各个相机的坐标。

系统结构:

ef5ea2ba-a376-11ed-bfe3-dac502259ad0.png

常用的标定板形式:

ef76595a-a376-11ed-bfe3-dac502259ad0.png

上图所示为单个标定板图像,大标定板由若干单个标定板组成,标定板的大小和数量根据实际测量情况而定。

多个标定板组合示意图:

ef836e7e-a376-11ed-bfe3-dac502259ad0.png

案例分析:

(1) 检测目标分析

测量产品需要若干个测量指标。如下图所示。

ef927dce-a376-11ed-bfe3-dac502259ad0.png

(2)图像获取

采用4只相机来完成所有项目的测量,分别拍到的照片如下图所示。

efa9b228-a376-11ed-bfe3-dac502259ad0.png

(3)检测流程

先分别利用每张图的两条垂直边计算出它们的交点,那么得到的4个交点就可以算出L1和L2的值,如下图所示(以右下角相机为例)。

efbe9076-a376-11ed-bfe3-dac502259ad0.png

注意事项:

此种方法需要将多只相机的坐标统一到一个坐标系中,并且单一相机还要做自己的校准,保证精度。 根据检测要求,设置取多少个点作为参考,但是这影响测试的时间,需酌情考虑。

应用领域:

手机和平板电脑面板尺寸的检测。

2. 使用相对运动统一坐标

方案简介:

此方法采用相机和被测物之间的相对运动来统一相机的坐标,相机和被测物只要一方运动即可,记录各个位置的坐标,然后通过数学运算来统一坐标。通常情况下是相机位置固定,被测物通过机械手等运动装置进行移动,然后把相机坐标系统一到机械手等运动装置的原点。

总体结构:

efcd97c4-a376-11ed-bfe3-dac502259ad0.png

方法介绍:

通过相机拍摄的图像对Mark点进行定位,从而计算出被测物相对于标准位置的偏差,包含角度偏差和位移偏差,最终确定机械装置需要旋转的角度和平移的距离。选用手机触摸屏和手机外壳的定位系统来介绍算法原理。

手机触摸屏和手机外壳的定位系统,使用多支相机代替一支相机的方法进行定位,使手机触摸屏和手机外壳精确组装。相机分为两组,每组两支相机,一组拍摄手机外壳(组1),一组拍摄触摸屏(组2),两组相机标定方法相同,下面只介绍拍摄手机外壳的两支相机的标定。相机固定,机械手吸住手机外壳移动,两支相机分别拍摄手机外壳的两个定位孔,使用模板匹配的方法对两个定位孔进行识别,如下图所示:

efe8bf2c-a376-11ed-bfe3-dac502259ad0.png

(1) 通过机械手的移动获取标定所用坐标 (三点线性标定法)

组1相机1:

把Mark点移动到相机视野中,定相机的初始位置,得到初始Mark点的中心坐标Point11(cRow11, cColumn11),机械手沿X方向移动一定距离(5mm)后得到Mark点的中心坐标Point12 (cRow12, cColumn12),机械手沿Y方向移动一定距离(6mm)后得到Mark点的中心坐标Point13(cRow13, cColumn13),同时可以得到在上述三个位置机械手的空间坐标Robot11(X1[0],Y1[0])、 Robot12(X1[1],Y1[1]) 、Robot13(X1[2],Y1[2])。

组1相机2:

同上,把相同Mark点移动到相机视野中,通过相同的操作得到坐标:Point21 (cRow21, cColumn21)、Point22 (cRow22, cColumn22)、Point23 (cRow23, cColumn23)、Robot21 (X2[0],Y2[0])、 Robot22(X2[1],Y2[1])、Robot23(X2[2],Y2[2])。

(2) 图像距离和实际距离之间转换比例关系的确定:

通过数学运算可计算得到比例关系。

(3) 旋转中心的确定

依据三个点就可以确定一个圆的原理,让机械手在初始位置旋转三次,得到Robot31,Robot32和Robot33三个相对于机械手坐标系的坐标点,三个点的坐标就可以求出旋转圆心的坐标。

(4) 标准线斜率求取:

需要在两个相机的视野中各选取一点作为标准线的起始点和终点,然后求取此标准线在机械手坐标系中的斜率。调整机械手到合适位置,确定此处为标准位置,此时组1的两支相机分别拍摄初始位置的两个不同的Mark点的图像。通过模板匹配方法找到两个相机初始位置视野中两个Mark点的中心坐标Point10(Row10,Column10)和Point20(Row20,Column20),Point10和Point20确定为标准线的起始点和终点。求取Point10在机械手中的坐标如下图所示,下图中XOY是机械手坐标系,X1O1Y1是组1相机1的图像坐标。

eff69e6c-a376-11ed-bfe3-dac502259ad0.png

通过点到直线的距离运算可以得到d14,d15和d16的实际长度,由于在移动过程中使用的是同一个mark点,d1,d2,d3在相机1和相机2的视野中的值是一样的。从而可以得到Point10在机械手坐标系中的实际坐标为:

Point10X=X1[1]+d16+d2,Point10Y=Y1[1]+(d1-d15)。

同样可以得到Point20在机械手坐标系中的实际坐标:

Point20X=X2[1]+d26+d2,Point20Y=Y2[1]+(d1-d25)。

求取该标准线斜率;

K = (Point20Y-Point10Y) / (Ponit20X-Point20X)

= (Y2[1]-Y1[1]-d25+d15) / (X2[1]-X1[1]+d26-d16)

之后在每次定位时需要和此标准线的斜率进行比较,从而得到和标准线的夹角,最后进行旋转校正。

注意:由于Point10和Point20会落在不同的位置,在计算Point10和Point20的实际坐标时上述公式会有所变化,但原理相同。

定位校准

以后在每次进行检测时,得到的结果都和标准线进行比较,可以得到和标准线的夹角和相对于标准位置的位置偏差,根据得到的角度和位置偏差进行校正。在校正过程中需要先旋转后平移,做一个闭环反馈系统实时校正。

应用领域:

手机或平板电脑触摸屏和外壳的装配定位。

f0087358-a376-11ed-bfe3-dac502259ad0.png

============================

二。 相机间有重叠部分,介绍两种典型方法。

1. 标定方法拼接图像

方案简介:

对于有些大幅面物体 ,可以通过拍摄多幅图像,每幅图像覆盖物体的不同的部分。如果摄像机经过标定并且它们与一个共有的世界坐标系之间的相对关系已知,就可以通过不同的图像进行精确测量。 甚至可以将多幅图像拼接为一副覆盖整个物体的大图,这个可以通过将每幅图像都校正到同一个测量平面上实现。在结果图像上,可以直接在世界坐标系中进行测量。 图像拼接示意图:

f01b3d3a-a376-11ed-bfe3-dac502259ad0.png

安装:

两个摄像机或多个摄像机必须安装在一个稳定的平台上,并且每幅图像覆盖整个场景的一部分。摄像机的方位可以随意,也就是说不需要它们看起来平行或垂直于物体表面。调整摄像机焦距、灯光以及交迭区域,使用一个大的可以覆盖整个视野的参照物。为了保证可以将多幅图像拼接为一副大图,它们之间必须存在一个小的交迭区域。交迭区域可以很小,因为这个交迭区域只是为了保证在拼接的结果图像中没有缝隙,下图为交叠区域示意图。

f035a8e6-a376-11ed-bfe3-dac502259ad0.png

标定:

图像的标定可以分为两个步骤。

确定每个摄像机的内参。可以分别对每个摄像机进行标定求取摄像机的内参。

确定所有摄像机的外参。因为最后要将所有的图像转换到某一个世界坐标系中,所以需要使用一个大的标定物,这个标定物可以出现在所有的图像中,它可以由多个标定板组合而成,标定板的数量和使用摄像机的数量一致。下图为两个相机分别拍摄到的标定图像。

注意:为了确定摄像机的外参,每个摄像机只需要拍摄一副标定图像就已经足够。标定物在多个摄像机分别进行拍摄标定图像的过程中不可以移动。理想情况下,这些标定图像应该同时获取。

f05d3ff0-a376-11ed-bfe3-dac502259ad0.png

将单个图像拼接为一个大图:

首先,每幅图像都必须进行校正,将这些图像转换到一个共有的坐标系中,它们之间就会正确匹配。在得到所有进行校正图像需要的映射图后,使用两个摄像机拍摄的每个图像对都可以进行校正并且高效的拼接。拼接的结果图由两幅校正后的图像组成,每个校正后的图像占图像的一个部分,下图为校正后的图像和拼接结果。

f06c2632-a376-11ed-bfe3-dac502259ad0.png

应用领域:

液晶面板表面质量的检测

2. 非标定方法拼接图像

简介:

此种方法和前三种方法相比精度较低,适用于不需要实现高精度拼接的应用场合。这种拼接方法的优点是不需要进行摄像机标定,并且每幅单独的图像可以自动进行排列。

拍摄单幅图像规则:

在拍摄每幅图像时需要遵循下面这些规则:

(1) 相邻的图像之间必须有交迭

(2) 图像之间的交迭区域必须有比较明显的特征,这样就可以保证比较精确的自动匹配过程。如果在某些交迭区域内的特征不明显那么可以通过定义合适的图像对来克服。如果整个物体的特征都不是特别明显,那么交迭区域就应该更大一些。

(3) 交迭的图像的缩放比例必须大约相等。一般情况下,缩放比例的不同不能超过 5-10%

(4) 这些图像的亮度应该相似,至少在交迭区域部分的亮度相似。否则,如果亮度区别非常明显的话,图像之间的接缝在结果图像中就非常明显,如下图所示。

f086a868-a376-11ed-bfe3-dac502259ad0.png

定义交叠图像对:

需要定义一些交迭图像对,通过匹配确定这些图像对之间的转换关系。匹配的过程只会应用在这些交迭图像对上。

f0e20618-a376-11ed-bfe3-dac502259ad0.png

如果需要拼接的图像比较多,或者交迭图像每行图像比较多,此时合理彻底地安排图像对的配置十分重要。否则就可能有些图像不能实现精确匹配。这主要是因为噪声造成点坐标的一些误差导致不能准确计算图像之间的转换关系,这些误差会由一个图像传到下一幅图像上。

提取图像中的特征点:

提取出的特征点的数量影响运行时间以及匹配的结果。特征点的数量越多,匹配的过程就越慢。但是太少的特征点将增大产生错误结果的可能性。

在交迭的区域中匹配特征点并且确定图像之间转换关系:

在进行图像拼接过程中最重要的任务就是图像对之间的匹配过程。匹配的图像对可以有任意的平移和旋转,唯一的要求就是图像应该有大约相同的缩放比例。如果图像之间平移和旋转的信息可用,它就可以用来限定寻找区域,这样就可以加速匹配过程并且使算法更加健壮。匹配特征点过程如下图所示。

f0ef5070-a376-11ed-bfe3-dac502259ad0.png

生成拼接图像

知道了图像对之间的转换关系,就可以调用函数进行图像拼接,下图为拼接好的图像。

f0fff9f2-a376-11ed-bfe3-dac502259ad0.png

注意:

需要注意球面拼接的情况,上述方法只适用于摄像机绕光心旋转或缩放。如果摄像机的移动包含平移或不是严格绕光心的旋转,使用这种方法得到的拼接结果将不准确也就不能够用在精确测量的场合。

应用领域:

(1) 街景的拼接。

(2) 电子地图的制作。

(3) 医学影像的拼接。

审核编辑 :李倩

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 视觉系统
    +关注

    关注

    3

    文章

    329

    浏览量

    30668

原文标题:【光电智造】多相机视觉系统的坐标系统标定与统一及其应用

文章出处:【微信号:今日光电,微信公众号:今日光电】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    abb机器人工具坐标系问题

    各位大佬请教下,abb机器人工具坐标系用四点法,六点法,手动输入等方式标定出的工具坐标系的Z方向与实际工具的长度不符,实际工具长度越长坐标系
    发表于 08-07 11:11

    CCD机器视觉系统的工作原理和特性

    详细阐述CCD机器视觉系统的定义、工作原理及其特性,并通过参考文章中的相关数字和信息,为读者提供全面而深入的了解。
    的头像 发表于 06-06 16:27 1110次阅读

    机器视觉系统与运动控制系统的区别

      在工业自动化和智能制造的浪潮中,机器视觉系统和运动控制系统作为两大关键技术,各自扮演着不可或缺的角色。它们虽然都是为了实现更高效、更精确的自动化操作,但在技术原理、功能定位、应用领域等方面却存在显著的区别。本文将从多个维度出发,详细探讨机器
    的头像 发表于 06-06 14:10 665次阅读

    机器视觉系统五个模块介绍

    典型的机器视觉系统由五个主要模块组成:照明、镜头、相机、图像采集和视觉处理器。让我们看下这五个结构的目的、特征和工作原理。机器视觉系统:照
    的头像 发表于 05-09 17:13 733次阅读
    机器<b class='flag-5'>视觉系统</b>五个模块介绍

    机器视觉系统的组成部分

    般来说,个完整的机器视觉系统由光学系统(光源、镜头、工业相机)、图像采集单元、图像处理单元、执行器和人机界面等模块组成。各功能模块缺
    的头像 发表于 04-29 14:51 1054次阅读
    机器<b class='flag-5'>视觉系统</b>的组成部分

    机器视觉定位及引导系统的方案

    手眼标定是机器视觉与机器人结合应用的核心,它解决了相机(眼)与机械手(手)之间的坐标转换关系。
    发表于 04-22 12:34 835次阅读
    机器<b class='flag-5'>视觉</b>定位及引导<b class='flag-5'>系统</b>的方案

    视觉系统所使用的相机种类介绍

    视觉系统所使用的 CCD 拍摄元件是以格子状排列的较小像素的集合体。在作为标准型经常使用的 31 万像素 CCD 中,存在称为高像素型的 200 至 2100 万像素 CCD。
    发表于 03-18 09:50 503次阅读
    <b class='flag-5'>视觉系统</b>所使用的<b class='flag-5'>相机</b>种类介绍

    机器人手眼标定技术你真的懂吗?

    相机知道的是像素坐标,机械手是空间坐标系,所以手眼标定就是得到像素坐标系和空间机械手坐标系
    发表于 03-18 09:44 915次阅读
    机器人手眼<b class='flag-5'>标定</b>技术你真的懂吗?

    机器视觉之Halcon入门学习

    视觉定位应用主要是找到物体的位置,那么怎么找?在这里个重要的步骤就是标定标定是把相机的像素坐标系
    发表于 01-08 15:43 1823次阅读
    机器<b class='flag-5'>视觉</b>之Halcon入门学习

    应用卫星通信领域的坐标转换过程—机体坐标系与ENU坐标系的转换

    今天我们要讲的是应用于卫星通信领域的坐标转换过程——机体坐标系与ENU坐标系的转换。
    的头像 发表于 12-27 09:30 3651次阅读
    应用卫星通信领域的<b class='flag-5'>一</b>个<b class='flag-5'>坐标</b>转换过程—机体<b class='flag-5'>坐标系</b>与ENU<b class='flag-5'>坐标系</b>的转换

    相机标定中的坐标变换原理难点分析

    相机标定中的基本坐标系有:像素坐标系、图像坐标系相机坐标系
    发表于 12-19 10:42 1139次阅读
    <b class='flag-5'>相机</b><b class='flag-5'>标定</b>中的<b class='flag-5'>坐标</b>变换原理难点分析

    机器人中都有哪些坐标系

    坐标系是我们非常熟悉的个概念,也是机器人学中的重要基础,在个完整的机器人系统中,会存在很多坐标系,这些
    的头像 发表于 11-22 17:20 1383次阅读
    机器人中都有哪些<b class='flag-5'>坐标系</b>

    深度剖析机器人的四大坐标系

    大地坐标系:大地坐标系是以大地作为参考的直角坐标系。在多个机器人联动的和带有外轴的机器人会用到,90%的大地坐标系与基坐标系是重合的。但是在
    发表于 11-13 11:24 1652次阅读
    深度剖析机器人的四大<b class='flag-5'>坐标系</b>

    工业现场相机坐标系和机械手坐标系标定

    其中r是毫米像素比、(mm/pixel)就是个毫米有几个像素,theta为两个坐标系之间的夹角,(x0,y0)为图像坐标原点到机械坐标原点的距离。
    的头像 发表于 11-12 09:42 1468次阅读
    工业现场<b class='flag-5'>相机</b><b class='flag-5'>坐标系</b>和机械手<b class='flag-5'>坐标系</b>的<b class='flag-5'>标定</b>

    立体视觉系统的设计方案

    电子发烧友网站提供《立体视觉系统的设计方案.pdf》资料免费下载
    发表于 11-06 10:17 0次下载
    立体<b class='flag-5'>视觉系统</b>的设计方案