0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

机器人视觉处理的四个阶段战略

新机器视觉 来源:新机器视觉 作者:新机器视觉 2020-11-27 09:40 次阅读

第一代机器人,如第一批消费级机器人吸尘器,相对来说比较简单,自我导航和执行任务的能力有限。这些机器人通过红外发射器等探测障碍物,使用震动传感器检测碰撞。但是,这些都已成为历史。

随着人工智能AI)、机器学习(ML)和计算机视觉(CV)等融合技术的进步,现在,机器人可以看到周围的环境,分析动态场景或变化的条件,并做出决定。而硬件创新进一步推动了这些功能的完善,比如越来越强大的移动平台、更复杂的传感器和高分辨率图像捕获。

有了这些资源,开发者可以专注于开发更少依赖外部硬件(如GPS)的更自主的智能机器人,机器人的工作环境也得到大大的拓展(如,在室内、在弱光下等),并且可以处理不断变化的环境和移动物体。为零售、汽车、农业、工业物联网IoT)、健康和企业等领域的新型机器人应用铺平了道路。

为实现上述目标,机器人开发者应努力克服机器人视觉三大挑战:

• 确定对象的方向:不仅要识别周围环境中的对象,还必须确定它们在3D空间中的方向,以便机器人与这些对象交互和/或回避这些对象。

• 处理移动对象:给定环境中的对象可能不是静态的。机器人需要在空间和时间上检测、识别和跟踪对象。

• 导航:要使机器人具有自主性,还需要相应的算法,允许其在变化的环境中进行移动。

四阶段战略

开发者可以根据要求,通过采用四阶段策略来克服这些挑战:

1. 预处理:从现实世界(如,传感器和相机)收集数据并转换,使数据更加方便使用。

2. 特征检测:从预处理数据中提取诸如角落、边缘等特征。

3. 对象检测和分类:从特征检测对象,并且可以根据已知的特征图对对象进行分类。

4. 对象跟踪和导航:跟踪已识别对象,包括对象和在机器人导航时改变环境的视点。

然后,这些阶段生成的数据可用于控制伺服、制定决策以及执行其他高级机器人任务。

听起来好像工作量很大,事实上也可能如此,但幸运的是,现在有相应的框架和硬件,帮助您解决这个问题。Qualcomm Technologies, Inc.最近发布了 Qualcomm机器人RB3平台(RB3)(基于QualcommSDA845 SoC(SDA845))及相关的Qualcomm RoboticsRB3开发套件。该套件为开发者提供了移动硬件功能和丰富的工具支持,助力您解决上述挑战。

本系列文章共两篇,在第一篇中,我们将介绍该策略的前两个阶段:预处理和特征检测,以及如何使用功能丰富的开发工具包(如Qualcomm Robotics RB3开发套件。

预处理

机器人使用一个或多个摄像头和/或其他传感器从现实世界收集数据。但是,这些原始数据可能不适合于满足既定目标所需的准确计算和预测。此时,可以使用数字信号处理(DSP)等方法,“清理”数据,使其方便使用。比如,可以采用多种方式清理图像数据,包括调整大小、伽马校正和对比度增强;而传感器数据,如来自Qualcomm Robotics RB3开发套件上的惯性测量单元(IMU)、加速度计、气压计和/或麦克风的传感器数据,可以进行融合、内推和/或过滤。

在处理图像数据时,必须规划好收集数量和速度。Qualcomm Robotics RB3开发套件支持两个(立体)图像,这意味着系统必须同时处理两个平面。此外,还可以支持16-32万像素的分辨率和30-60 fps的帧速率。同样,可以使用Qualcomm SDA845上的高速和低速连接器以及您采用的传感器类型,以各种频率和比特率收集传感器数据。

为减少处理这些数据的开销,一般希望使用最低采样率和分辨率,满足应用程序所需的数据量即可。此外,还应尽可能将处理流程卸载到合适的处理器。Qualcomm SDA845与专用硬件兼容,包括Qualcomm Hexagon 685 DSP和Qualcomm Spectra 280 ISP,以及更通用的Qualcomm Kryo385 CPU和面向图形的Qualcomm Adreno 630 GPU

在API方面,开发者可以使用Qualcomm计算机视觉库,该库包含许多用于图像预处理的硬件加速API。也可以使用Qualcomm神经处理引擎SDK,其中包含图像预处理API,用于处理神经网络中的图像。另外,还可以选择使用Qualcomm骁龙异构计算SDK,进一步控制计算操作的执行方式。

特征检测

通过提供干净的数据,可以提取功能。对于可视化数据,计算机视觉开发者希望的四种常用特性包括:

• 角落:具有局部2D结构的点状特征

• 边缘:两个区域之间的一组点

• Blob:感兴趣的区域

• 脊:具有脊点的曲线

这篇维基百科文章提供了有关这些特性的更多信息,并列出了许多特性检测器算法以及以检测的特性类型。下图显示了从可视数据中检测到的特性:

特征检测算法需要大量处理能力,但通常逐个像素运行,因此,很适合在Qualcomm SDA845不同处理器上并行执行。开发者可以使用计算机视觉库中的特性检测API,其中包括Harris角检测器、FAST、Hough Transform和其他检测器,以及基于最大稳定极值区(MSER)的对象检测API。

结论

前两个阶段为机器人视觉处理打下了坚实的基础。预处理将数据转换为可用形式,而特征检测则是了解数据的过程。在以后的文章中,我们将继续探讨最后两个阶段:对象检测和分类、对象跟踪和导航,为机器人提供导航和与周围环境交互所需的数据。(来源于Qualcomm)

责任编辑:xj

原文标题:机器人视觉处理四阶段策略

文章出处:【微信公众号:新机器视觉】欢迎添加关注!文章转载请注明出处。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 机器人
    +关注

    关注

    210

    文章

    28205

    浏览量

    206528
  • 机器视觉
    +关注

    关注

    161

    文章

    4345

    浏览量

    120111
  • CV
    CV
    +关注

    关注

    0

    文章

    52

    浏览量

    16853

原文标题:机器人视觉处理四阶段策略

文章出处:【微信号:vision263com,微信公众号:新机器视觉】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    【书籍评测活动NO.51】具身智能机器人系统 | 了解AI的下一浪潮!

    的。 这种理论强调,智能行为源于智能体的物理存在和行为能力,智能体必须具备感知环境并在其中执行任务的能力。 具身智能的实现涵盖了机器学习、人工智能、机器人学、计算机视觉、自然语言处理
    发表于 11-11 10:20

    七腾机器人:防爆轮式机器人-轮八驱全新上线

    今日,七腾机器人有限公司(以下简称“七腾机器人”)推出全新产品:防爆轮式机器人-轮八驱。该款产品是七腾轮式巡检机器人产品系列的最新成员,防
    的头像 发表于 10-21 16:32 146次阅读
    七腾<b class='flag-5'>机器人</b>:防爆轮式<b class='flag-5'>机器人</b>-<b class='flag-5'>四</b>轮八驱全新上线

    解锁机器人视觉与人工智能的潜力,从“盲人机器”改造成有视觉能力的机器人(上)

    正如人类依赖眼睛和大脑来解读世界,机器人也需要自己的视觉系统来有效运作。没有视觉机器人就如同蒙上双眼的人类,仅能执行预编程的命令,容易碰撞障碍物,并犯下代价高昂的错误。这正是
    的头像 发表于 10-12 09:56 328次阅读
    解锁<b class='flag-5'>机器人</b><b class='flag-5'>视觉</b>与人工智能的潜力,从“盲人<b class='flag-5'>机器</b>”改造成有<b class='flag-5'>视觉</b>能力的<b class='flag-5'>机器人</b>(上)

    机器人视觉与计算机视觉的区别与联系

    机器人视觉与计算机视觉是两密切相关但又有所区别的领域。 1. 引言 在当今科技迅猛发展的时代,机器人和计算机
    的头像 发表于 07-09 09:27 585次阅读

    机器人视觉技术中图像分割方法有哪些

    机器人视觉技术是人工智能领域的一重要分支,它涉及到图像处理、模式识别、机器学习等多个学科。图像分割是
    的头像 发表于 07-04 11:34 777次阅读

    机器人视觉的应用范围

    机器人视觉是一种将计算机视觉技术应用于机器人领域的技术,它使得机器人能够感知和理解周围环境,实现自主决策和执行任务。随着人工智能、
    的头像 发表于 07-04 11:33 520次阅读

    机器人视觉的结构及工作原理

    机器人视觉是一种利用计算机视觉技术实现机器人对环境的感知和理解的技术。它涉及到图像采集、图像处理、特征提取、目标识别、场景理解等多个环节。
    的头像 发表于 07-04 11:27 927次阅读

    机器人视觉的作用是什么

    的应用越来越广泛,成为推动机器人技术发展的重要力量。 二、机器人视觉的基本原理 视觉感知:机器人视觉
    的头像 发表于 07-04 11:24 599次阅读

    机器人视觉可以分为哪三部分?

    机器人视觉机器人技术中的一重要分支,它涉及到图像处理、计算机视觉
    的头像 发表于 07-04 11:17 547次阅读

    基于FPGA EtherCAT的六自由度机器人视觉伺服控制设计

    概述 中国制造 2025 是中国政府实施制造强国战略的第一十年行动纲领,是全面提升中国制造业发展质量和水平的重大战略部署,其中明确指出了围绕工业机器人创新技术的重要地位。目
    发表于 05-29 16:17

    视觉机器人焊接的研究现状

    视觉机器人焊接技术是将计算机视觉机器人技术相结合,实现自动焊接过程中的实时检测、跟踪和控制。这一领域的研究一直处于不断发展之中,吸引了众多研究人员和工程师的关注。本文将就
    的头像 发表于 04-02 15:34 488次阅读
    <b class='flag-5'>视觉</b><b class='flag-5'>机器人</b>焊接的研究现状

    SMT丝印技术的历史发展的四个阶段,你知道吗?

    SMT丝印技术的历史发展的四个阶段,你知道吗?
    的头像 发表于 12-27 10:15 861次阅读

    机器视觉大核心功能

    通过计算机软件进行处理和分析。机器视觉在工业、医疗、农业、交通、安防等领域都有广泛的应用。 机器视觉的核心功能可以归纳为
    的头像 发表于 12-25 11:15 936次阅读

    选对机器人集成商四个关键

    与具有专业知识和经验丰富的机器人集成商合作,同时采用高性能的机器人和先进的外围设备,有助于制造企业更高效地实现机器人自动化。
    的头像 发表于 12-20 11:18 852次阅读

    中国人形机器人产业拆解分析

    人形机器人全球专利申请主要经历了四个发展阶段,其中,21世纪是人形机器人高集成和高动态的发展阶段,国际范围内众多科技公司在这一
    发表于 12-12 09:47 291次阅读