0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

全感知AI物流系统RoboView的视觉应用

移动机器人产业联盟 来源:新战略机器人 作者:新战略机器人 2021-03-22 16:34 次阅读

RoboView 能够将库位管理更“智慧”地融合到系统中,比如 AGV 的调度系统等,不仅使自动化物流系统更流程化,还降低了管理成本,提高了管理效率。

随着智能制造的不断升级和落地,工厂内的智能搬运和智慧物流也越来越被关注,将AI技术引入到机器人和 AMR 部署的工厂内各种场景逐步成为新趋势。现阶段如何将视觉技术更方便、实用、安全、稳定地部署到应用中,将成为 AI 结合机器人应用的关键点。而仙工智能(SEER)全感知 AI 物流系统 RoboView 在解决这些关键点,具有自己的“见解”。

全感知 AI 物流系统 RoboView 的视觉应用

由于工业场景的复杂性,将前沿的视觉技术引入作业场景中并非易事,最关键的一点是如何将前沿的视觉技术方便地落实到实际应用中,并让客户快速掌握使用技能。尤其是在 3D 视觉应用中,要求精准定位并评估 3D 场景下的物体,但现阶段因较高的研发和部署难度,它的应用往往不如 2D 技术普遍,可随着科技技术的发展,3D 技术终将成为未来的趋势,得到更多的应用。如下图 RoboView 在一个典型的3D应用中的流程。

3D视觉在3D抓取任务中,需要识别目标的位姿比如说,在AGV物流仓储中,为了对货物进行有效的管理,需要借助3D视觉技术来完成搬运、堆叠任务,但由于实际工厂环境差异大(光照条件差异),场景变化多,货物本身的尺寸差异大(从几百到几千毫米)以及对搬运、堆叠任务的精度要求差异大(毫米级到厘米级)等原因,便需针对具体的客户场景制定相对应的方案,这给研发和部署都带来较大难度。 为使这类应用的部署更简单、高效,仙工智能(SEER)将自己开发的视觉算法库、相机库和机器人库融合到一整个视觉应用平台中,这样在部署时即可灵活地选择与应用相对应的相机和方案。比如,从十几家厂家中的上百种甚至更多种类中选择真正符合应用的相机,并直接选择对应的算法和机器人,真正做到“量体裁衣”。 这个视觉应用平台就是仙工智能(SEER)全感知 AI 物流系统 RoboView,在其强大的算法能力支撑下,通过一键部署,不仅可降低成本,还极大提高了部署效率。

RoboView 应用库我们都知道,视觉技术的出现就是为了解决实际问题而存在。就目前的车间或工厂而言,遇到最大的问题是库位管理效率低,而 RoboView 能够将库位管理更“智慧”地融合到系统中,比如 AGV 的调度系统等,不仅使自动化物流系统更流程化,还降低了管理成本,提高了管理效率。 实际上,RoboView 实现的库位管理系统,只需要在需要进行库位管理的仓库里部署几台相机和一台视觉服务器并运行 RoboView,即可完成库位管理。此时 RoboView 将负责库位管理的全部任务,并和调度系统对接,在“悄无声息”间完成库位管理任务,如库满/空、出/入库、错误入库及其他丰富的管理能力。


RoboView 实现的库位管理系统示意图另外,在一些密集仓储的区域,即使在自动叉车上安装再多的传感器也无法避免一些危险情形,比如下图的情形:

密集仓储的区域,可能遇到的一些危险情形由上图可以看到,在人员和自动叉车、AMR混用的场景中,在一些现场的设备、人员、货物统一管理的难题,RoboView 便可为客户解决这些难题。更多详情邀您亲临 2021 ITES 深圳工业展 21-H41 展位,文末免费索票,轻松参展。全感知 AI 物流系统 RoboView 的诞生RoboView 的灵感来源于 RoboCup 小型组足球机器人比赛,作为 RoboCup 中最强调团队协作和对抗的组别,小型组采用了外部的视觉服务作为了机器人位置的主要感知方式,其典型场景如下:

RoboCup小型组足球机器人位置的主要感知方式示意图通过外部视觉感知和统一的大脑对场景内的机器人进行统一管理,从而实现各种复杂的协作与对抗。

世界小型机器人足球比赛 Robocup 比赛现场由此出发,仙工智能(SEER)在基于 SLAM 导航的体系外,创新性地提出全感知 AI 物流系统 RoboView。1、RoboView架构RoboView 由感知平台和感知节点共同构成,其中感知平台作为系统的核心是提供所有的视觉服务、为智能工厂及物流系统提供必要信息(包括库位管理信息、车队跟踪信息、设备运行状态等)、小车作业视觉服务请求响应、系统安全监控信息等四大部分;感知节点包括固定或移动式的图像(2D)/点云(3D)采集设备及编组。 感知平台为独立运行的视觉服务器,其主要提供视觉 AI 感知能力,通过 2D/3D 视觉的技术实现对感知区域内的目标进行识别、定位和检测。感知平台只需要一份输入,以及一个输出定义(DOO, Definition Of Output),即可完成一次感知服务,因此它是多任务的,相互独立的信息感知平台。 感知节点是分布式部署的,分为固定节点和移动节点。固定节点是指固定安装的图像(2D)/点云(3D)采集设备,如普通的监控摄像头、ToF 相机、3D 激光雷达等都可以作为感知节点接入;移动节点指这些安装在移动机器人上的各类视觉图像(2D)/点云(3D)采集设备,通过仙工智能(SEER)的 SRC 核心控制器可以实现与 RoboView 的无缝对接。 感知节点可以通过 Roboshop 一站式布署软件加入 SLAM 地图中,并配置相应的工作流,从而实现节点的快速设置布署。同时,全感知 AI 物流系统 RoboView 与仙工智能企业数字化中台 SEED 配合,可以实现对场所内的各个系统的部署、规划和监控,并实现对 AMR 及无人叉车的安全监控及作业规划。

仙工智能(SEER)全感知物流系统解决方案2、AI 全感知技术AI 全感知平台融合了多项关键技术,为物流管理系统提供了丰富的信息。 【增强显示】通过数个固定感知节点全方位“观察”,结合多点视觉的配准、拼接、融合技术,将整个仓库的实时状态尽收眼底,在原有监控视频的基础上加入了 AR 增强信息,让现场人员对设备状态更加直观清晰。【车辆监控】结合车辆自身信息,对场景内的每一辆 AMR 及自动叉车进行实时定位和追踪,捕获并预测车辆的运行轨迹,结合仙工智能企业数字化中台 SEED,对偏离作业任务的车辆及时发出调整指令并向平台发出警告。【目标识别定位】RoboView 不仅仅包含常规的视觉感知算法,还包含了先进的深度学习算法,大大地提高了系统的抗干扰性。目标检测技术,能够实时从视频流中检测出目标物体,如小车或人;3D 点云的分割技术,能够直接从点云中提取目标物体,并给出尺寸、位置等重要信息,使算法更加稳定、可靠。另外,通过图像语义分割技术,还可以为仓库的管制标记、道路标识和作业车等进行一次性分割、提取,为控制平台提供了另一项重要信息。【库位管理】通过部署在场景中的多台固定感知节点,感知平台能够实时获取场景里的所有库位信息,并通过 2D 识别技术,识别&定位出库位的有效信息,包括但不限于有无货物、有无小车、有无异物侵入等信息,并将这些信息发布出去(根据物流系统的配置,可能发送给物流系统和小车),物流系统或小车能够根据这些信息做有效的决策,大大提升了仓库管理效率。【安全监控】主要涉及场景内的所有状态实时监控,其内容包括:外来异物(非作业人员、作业人员进入非安全区域、小车脱离预设任务轨迹、非作业小车等)侵入监控、货物状态监控、小车路线障碍物检测、其他联动设备的监控(如大型货架,升降电梯等)。

机器人在场景内的所有状态实时监控新的智能化时代已经到来,如何打造高度智能化、数字化的制造平台,以标准化产品支撑非标应用,敬请关注仙工智能(SEER),2021 年 03 月 30 日至 04 月 02 日,在 2021 ITES 深圳工业展 12-H41 展位,期待仙工智能(SEER)带来的惊喜。

责任编辑:lq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 机器人
    +关注

    关注

    210

    文章

    28095

    浏览量

    205801
  • AI
    AI
    +关注

    关注

    87

    文章

    29765

    浏览量

    268048
  • 物流系统
    +关注

    关注

    0

    文章

    25

    浏览量

    10687

原文标题:看 ↓↓↓ 仙工智能(SEER)如何利用视觉技术解锁车厂协同新模式

文章出处:【微信号:robotinside2014,微信公众号:移动机器人产业联盟】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    洛微科技重磅亮相CeMAT ASIA 2024,以3D视觉赋能智慧物流

    系统集成与解决方案、机器视觉及工控产品等多个领域的知名企业、行业专家,共同分享行业前沿技术与实践案例。杭州洛微科技有限公司携D系列全线产品及视觉感知解决方案重磅亮相
    的头像 发表于 11-08 10:50 43次阅读
    洛微科技重磅亮相CeMAT ASIA 2024,以3D<b class='flag-5'>视觉</b>赋能智慧<b class='flag-5'>物流</b>

    AI学堂首播丨一节课详解AI检测系统开发流程

    还是IT工程师,只要对AI视觉检测感兴趣,皆可报名。(点击「预约」按钮,立即预约)课程介绍课程将带您快速掌握AI检测系统开发流程,涵盖需求
    的头像 发表于 11-06 08:03 50次阅读
    <b class='flag-5'>AI</b>学堂首播丨一节课详解<b class='flag-5'>AI</b>检测<b class='flag-5'>系统</b>开发<b class='flag-5'>全</b>流程

    人形机器人感知系统的特点:多模态感知、高精度、实时性

    优必选、小米科技、宇树科技等。   人形机器人感知系统包括哪些传感器和算法   人形机器人感知系统包括各种传感器,如视觉传感器:通过模拟人类
    的头像 发表于 07-30 01:05 4170次阅读

    计算机视觉与智能感知是干嘛的

    引言 计算机视觉(Computer Vision)是一门研究如何使计算机能够理解和解释视觉信息的学科。它涉及到图像处理、模式识别、机器学习等多个领域,是人工智能的重要组成部分。智能感知
    的头像 发表于 07-09 09:23 646次阅读

    清华大学类脑视觉芯片“天眸芯”突破传统视觉感知芯片性能瓶颈

    据介绍,传统视觉感知芯片因受到“功耗墙”与“带宽墙”的制约,在处理突发意外情况时易出现失真、失效或高延迟等问题,从而影响系统的稳定性和安全性。
    的头像 发表于 05-30 10:16 1197次阅读

    AI视觉检测系统在多方面实现技术创新

    电子发烧友网报道(文/李弯弯)AI视觉检测系统是一种基于AI技术的视觉分析系统,它通过模拟人类
    的头像 发表于 05-24 00:16 3218次阅读

    未来已来,多传感器融合感知是自动驾驶破局的关键

    驾驶的关键的是具备人类的感知能力,多传感器融合感知正是自动驾驶破局的关键。昱感微的雷视一体多传感器融合方案就好像一双比人眼更敏锐的眼睛,可以为自动驾驶系统提供更丰富更精准的视觉语言——
    发表于 04-11 10:26

    银牛微电子3D视觉感知方案赋能小米CyberDog系列仿生四足机器人

    2024年3月21日,合肥银牛微电子宣布小米CyberDog系列仿生四足机器人的AI多模态融合感知决策系统正式采用银牛的双目立体视觉产品解决方案。
    的头像 发表于 03-21 13:55 736次阅读

    浅析自动驾驶行业的视觉感知主流框架设计

    视觉感知系统主要以摄像头作为传感器输入,经过一系列的计算和处理,对自车周围的环境信息做精确感知。目的在于为融合模块提供准确丰富的信息,包括被检测物体的类别、距离信息、速度信息、朝向信息
    发表于 01-26 11:25 587次阅读
    浅析自动驾驶行业的<b class='flag-5'>视觉</b><b class='flag-5'>感知</b>主流框架设计

    AI语音与机器视觉开发应用系统

    一、简介 AI语音与机器视觉开发应用系统是一款集成AI语音、机器视觉、深度学习基础、嵌入式Linux于一体的高端教学科研实验平台。 整个教学
    的头像 发表于 01-26 11:24 350次阅读
    <b class='flag-5'>AI</b>语音与机器<b class='flag-5'>视觉</b>开发应用<b class='flag-5'>系统</b>

    智慧物流系统——智慧物流有哪些基本功能?

    智慧物流以信息技术为支撑,将各个物流阶段系统感知,实现迅速、灵活、准确地了解物流问题。智能物流
    的头像 发表于 01-23 16:40 1152次阅读
    智慧<b class='flag-5'>物流</b><b class='flag-5'>系统</b>——智慧<b class='flag-5'>物流</b>有哪些基本功能?

    志算力驱动, AI生态合作共赢

    — “我们通过多元化产品布局,以智能大视频为基础构建智能应用平台,通过AI 面赋能,与多家行业标杆客户建立战略合作关系,并配合客户在算力、算法、产品、服务等方面进行整合,聚焦AI语音、AI
    的头像 发表于 12-08 18:40 891次阅读
    <b class='flag-5'>全</b>志算力驱动, <b class='flag-5'>AI</b>生态合作共赢

    tms物流运输管理系统:助力物流行业升级

    tms物流运输管理系统,作为一项创新性的数字化解决方案,正在以其高效、智能的特点迅速赢得物流行业的青睐。它不仅为物流企业提供了全方位的管理和监控能力,还为客户提供了更便捷、可靠的
    的头像 发表于 12-06 21:16 865次阅读
    tms<b class='flag-5'>物流</b>运输管理<b class='flag-5'>系统</b>:助力<b class='flag-5'>物流</b>行业升级

    志科技V系列解决方案:“视觉+AI”深度融合,为智慧视觉赋能

    代替人眼可以在多种场景下实现多种功能。 为了更好地实现‘视觉+AI’的融合,志科技多年前便布局智慧视觉领域,打造了V系列解决方案,为人们的工作和生活提供专业
    的头像 发表于 11-28 18:15 767次阅读

    AI视觉识别有哪些工业应用

    AI视觉识别涵盖多种应用,如人脸识别、目标检测和识别、图像分割、行为识别、视频分析等。本篇就简单介绍一下AI视觉识别的应用场景。
    的头像 发表于 11-27 18:05 1141次阅读
    <b class='flag-5'>AI</b><b class='flag-5'>视觉</b>识别有哪些工业应用