机器视觉和机器人的关系 机器视觉+机器人的结合应用

机器视觉和自动化的进步，正在帮助制造企业更好地利用自主移动机器人、深度学习等技术的发展，改善其物流和仓储运营。

根据2021年Pitney Bowes包裹运输指数显示，2020年全球共运输了1310亿个包裹。全球疫情和不断增长的电子商务行业加速了这一趋势，预计到2026年这一数字将增加一倍以上。随着在线零售量的大幅增加，自动化物流、仓库和运输过程的需求已成为当务之急。

包装测量、质量检查、条形码读取、光学字符识别/光学字符验证（OCR/OCV）和材料处理优化（目前许多公司都是手动进行的），是运输业价值链的关键部分，有助于实现自动化。

“物流、仓储和航运组织正在努力加快运营速度。但提速意味着准确性和精确性至关重要，因为没有时间来处理错误。此外还有人员配置问题。”斑马技术公司供应链解决方案总监Mark Wheeler表示，“当你把这三样东西放在一起时，你得到的是一个非常开放的市场，可以以创新的方式结合现有技术和新技术来尝试新事物。”这些创新大多围绕机器视觉展开。

01

视觉引导机器人

在仓库或配送中心，托盘装载通常标志着仓储过程的开始和结束。进入设施后，托盘货物要么卸下托盘，装入单独的箱子，要么作为完整的托盘储存。卸载托盘已经从主要由人工完成，转变为依赖视觉引导机器人。在机器人将一个物品放置到输送机上时，机器视觉定位下一个需要拾取的包裹，从而加速这一过程。

“大多数包裹以托盘装载的形式到达和离开仓库，在现代化仓库中这是大多数机器视觉应用的核心。”易福门公司的业务开发、机器人感知部门的Garrett Place表示。

康耐视公司的物流视觉产品高级经理Ben Carey表示， “在物流应用中，机器视觉涉及四个环节：测量、检查、引导和识别。从接收、分拣到离开检查点，都会经历这四个环节。”

02

自主移动机器人

向机器视觉解决方案的开发人员询问，如何才能为用例实现可重复性方法，他们可能会说一些关于限制变量数量的问题。但是，大多数仓储和物流操作所移动的包裹可能是任何颜色、大小、形状和材料。这些可变性使得技术选择和解决方案的创建变得极其困难。

Place介绍道，“在过去几年，亚马逊的Pick挑战就是一个完美的例子。这也是在物流领域中大多数机器视觉的应用案例使用多摄像头和多模式的主要原因。一个摄像头和一种技术不足以管理这类应用的可变性。”

Zivid产品营销经理John Leonard对此表示赞同。他解释道：“主要的应用是对进入和离开设施的箱子进行拆垛和码垛。在这些进/出操作之间，主要是单件拣货操作和订单拣货以完成订单。有很多不同的方法可以实现这些任务。”

这些方法包括由机载3D视觉引导的自主移动机器人（AMR）。例如，AMR可以自主移动到箱柜，以查找和选择物品。机器人还可以拾取由输送机输送的物品。其它移动机器人则可以将物品运送到视觉站，以便检查货物的类型和数量。

03

自动导引车辆

或者，对于满载托盘的存储，许多仓库部署自动引导车辆（AGV）来拾取和存储托盘以供检索。在行驶过程中，AGV依靠机器视觉进行托盘姿态和障碍物检测。在整个过程中，机器视觉代码读取并跟踪托盘和箱子负载。

当满载托盘准备离开设施时，AGV管理移动，同时机器人手臂将箱子货物转换为满载托盘。在进入卡车之前，对这些准备装运的托盘进行称重和测量，使托盘尺寸成为物流机器视觉的另一个强大用例。

LMI Technologies公司美洲区域开发经理Daniel Howe表示：“该行业已经发生变化，从严格按重量评估运费转向按尺寸重量收费，这使得准确的尺寸测量比以往任何时候都更重要。智能3D传感器是包装和物流过程自动化的关键驱动因素，包括体积尺寸、规格、分类和表面缺陷检测。”

许多AMR和AGV依靠易福门O3R平台进行机器人感知。它由小型摄像机头（VGA摄像机和运行时间传感器）和带有NVIDIA Jetson TX2的视觉处理单元（VPU）组成，用于评估数据。最多可以将6个摄像头连接到基于Linux的设备，包括来自其它公司的传感器。

04

对提高速度和吞吐量的需求

虽然在物流和仓储应用中存在许多挑战，但对更高速度和更高吞吐量的需求是不变的。挑战包括装在透明塑料袋中的物品，由于其会反射光线，这些物品会带来成像挑战。其它工件拾取操作可能需要将颜色作为物料检测过程的一部分，这可能需要支持识别图像颜色信息的3D视觉。

所有3D相机的校准都是一个巨大的挑战，因为它们的设计工作范围为微米，但工业环境中常见的敲击声、温度波动和振动很容易影响校准，从而影响3D相机的精度。Leonard表示，“有些相机（如Zivid 3D相机）是专门为工业环境设计和制造的，防护等级为IP65，具有自动校准功能。这意味着，如果由于大型卷帘门的打开和关闭而导致温度变化5度（这在物流仓库中很常见），那么摄像头就会进行调整，以保持完美校准。”

05

箱体体积尺寸和空隙填充

LMI开发了超宽视野（FOV）Gocator 2490传感器，旨在为传输提供快速准确的包裹尺寸测量。例如，它可以用于测量箱体，以提供用于确定尺寸重量的精确体积。箱子可能以2 m/s的速度在输送机上移动。据Howe介绍，单个宽视场Gocator 2490智能传感器，可以以800Hz的速率扫描和测量扫描区域内1米x 1米的完整盒子尺寸，并在所有三个维度（X、Y、Z）上提供2.5mm的分辨率。

“竞争对手基于摄像头的系统，通常在X、Y和Z轴上只能提供3到5毫米的分辨率。然而，每个传感器的测量范围和分辨率都不同，因此必须为您的应用选择合适的传感器。”Howe说。Gocator 2490具有足够高的分辨率，不仅可以测量各种规格的尺寸，甚至可以检测包装中的细微缺陷。如果检测到有缺陷的包裹，这种在线检查功能可以触发通过/失败决定。

Gocator 2490还为解决更先进的包装应用提供了机会，如空隙填充，这涉及扫描打开的包装中的物品，并确定需要多少包装材料来填充空白空间。对于该应用，双摄像头配置有助于避免盒子或手提箱内的遮挡。

06

边缘深度学习

由于应用的复杂性不断增加，机器视觉在物流领域也面临挑战。例如，试图在高速输送机上随机检测不同类型和不同规格的物体。在这种情况下，传统基于规则的机器视觉检测/检查将举步维艰。

然而，嵌入式平台中易于使用的机器学习（ML）和深度学习（DL）正在出现，以帮助用户解决以前具有挑战性的应用。例如，康耐视最近推出了具有边缘学习功能的In-Sight 2800视觉系统，无需编程即可轻松设置。根据Carey的说法，In-Sight 2800可以对从箱子、手提包到塑料袋的所有物品进行快速准确的分类，这一切都是在智能相机上完成的。

通过引入边缘学习等先进技术，In-Sight 2800提高了包裹检测率，减少了人工返工，并通过更先进的材料处理自动化，更精确的处理订单。“我们的客户正受益于处理速度的提高和更少的人工交互，使这些公司能够应对劳动力缺乏，在不改变员工人数的情况下管理波动需求。” Carey表示。

07

机器视觉的民主化

现代仓库中部署的大多数技术，包括2D和3D相机以及增强的计算能力，都是先前方法的迭代。即使有些不同，也是将所有这些技术应用于具有强大处理能力的多帧、多模式策略中，并结合ML来管理应用。

“过去，我们常常在仓库中看到单一供应商的解决方案。”Place解释道：“现在则是多个供应商和技术的结合，通过其各自优势共同部署以解决这一挑战。这种方法将继续解锁以前未被机器视觉触及的用例。可以把它看作是仓储和物流中机器视觉的民主化。”

很难说有哪一项技术进步为仓储和物流中的机器视觉开启了新的用例。当然，相机正在提供更好、更可重复的数据，计算速度也更快，但并没有改变游戏规则。最大的进步，可能是在多技术方法中，组件在解决仓库问题中使用起来更容易。

“物流正朝着机器人技术发展，将其作为管理行业大规模增长的主要方法。”Place总结道：“机器人是一个集成问题。机器视觉及其所有的复杂性，正从单一的摄像头，转向减少现代仓库所需的组件集成问题。这种方法将我们带入下一段旅程。”

关键概念： 

■ 制造商正在加强自动化，以满足激增的需求并应对日益严重的劳动力短缺。

■ AMR和AGV使用机器视觉和传感技术来自由移动。

■ 嵌入式平台中的机器学习和深度学习正被用来解决曾经非常具有挑战性的应用。

编辑：黄飞