机器视觉基本介绍
机器视觉系统是集光学、机械、电子、计算、软件等技术为一体的工业应用系统,它通过对电磁辐射的时空模式进行探测及感知,可以自动获取一幅或多幅目标物体图像,对所获取图像的各种特征量进行处理、分析和测量,根据测量结果做出定性分析和定量解释,从而得到有关目标物体的某种认识并作出相应决策,执行可直接创造经济价值或社会价值的功能活动。我国机器视觉行业属于技术更新较快、受市场主导型产业,行业内企业竞争程度较高。
机器视觉是一个“光、机、电、算、软”等技术高度集成的系统,通常来讲,机器视觉核心部件主要包括工业相机、图像采集卡、光源、镜头和机器视觉算法软件等。其中,工业相机和图像采集卡作为机器视觉系统的关键核心部件,对机器视觉系统的整体性能起着非常重要的作用。机器视觉主要起步于基础科学和工程技术水平领先的美国、欧洲、日韩和加拿大等工业发达国家和地区,这些国家或地区的机器视觉系统相关企业具备从部件、设备到系统的全产业链的研发及生产能力。长期以来,我国机器视觉设备厂商使用的工业相机和图像采集卡,特别是高速高分辨率相机和高速图像采集卡,主要依赖进口,国产化率很低。
1、工业相机
工业相机是机器视觉系统的核心部件,其本质是一个光电转换器件,主要功能是将收到的光信号转变成有序的电信号,然后再通过模数转换并送到处理器以合成图像,并进一步进行处理、识别和分析。相比于普通的民用单反相机而言,工业相机具备更好的图像质量、更高的工作稳定性、更强的抗干扰能力以及更高效可靠的数据传输等特点。工业相机的选型是机器视觉系统设计中的重要环节,直接决定系统的工作效率以及所获取到的数据质量,同时也关系到系统的工作模式、配套选择等。目前市面上的工业相机主要有工业线扫描相机、工业面扫描相机、3D相机以及智能相机等类型。
(1)工业线扫描相机
工业线扫描相机,或叫线阵相机、线扫描相机,以“线”为单位进行图像采集。早期线扫描相机的图像传感器通常只有一行感光像素,随着检测速度不断的提高,相机的曝光时间被不断缩短,发展出的多线TDI(时间延时积分)线扫描相机也逐渐被推广应用。当前线扫描相机的水平分辨率从2K到16K不等,大部分线扫描相机的行频都非常高,因此在检测或测量幅宽比较宽、检测效率要求比较高的场景中线扫描相机具备独特的优势。现阶段,工业线扫描相机被大量应用于工业制造、生物医药、科学研究、轨道交通、农产品分选等领域的图像采集与处理,典型的场景为具备连续运动能力的材料类产品检测与测量,例如金属膜材、金属板材、塑料薄膜、纤维制品的表面检测:被检测的物体通常匀速运动,利用一台或多台相机对其逐行连续扫描,以实现对其整个表面图像的完整采集;此外在生产线上跟随产线运动的产品表面检查也非常适合线扫描成像,如高密度PCB、玻璃基板、显示模组、光伏组件等。线扫描相机非常适合宽幅的测量场合,这主要归功于传感器的超高分辨率,同时线扫描相机也有其应用的不足:由于需要运动控制与反馈系统支持,系统相对复杂,成本也会较高一些;此外线扫描成像系统一般都要求被检测物体能够接近匀速运动,否则采集的图像精度可能受扫描运动精度的影响而降低,这增加了系统的不确定性,最终影响检测和测量的精度;此外,高分辨率的线扫描系统,对镜头和光源的要求也相对比较高,这些因素都增加了系统开发的难度和成本。
(2)工业面扫描相机
工业面扫描相机,或叫面阵相机、面扫描相机,通常以“面”为单位进行图像采集,与线扫描相机不同之处在于其图像传感器是一个二维的阵列,单次拍照输出一幅二维图像,展示目标物信号强度在空间水平和竖直两个方向上的分布。
工业面扫描相机在进行图像采集时往往使用电子快门进行曝光控制,常见的电子快门包括全局快门和卷帘式快门两类。全局快门下,相机所有像素一次性完成曝光动作,比较适合用来采集快速运动的物体信号;卷帘式快门下,相机内所有像素不是同时完成曝光操作,一般每次只完成单行像素的曝光,启动图像采集后从第一行开始,依次曝光所有行,最终完成所有像素的曝光。卷帘式快门的这种非同时曝光的特性在拍摄运动物体时会导致图像拖影,引起图像失真,所以卷帘式快门相机一般只用于拍摄静止的物体。此外,全局快门相机由于在设计时需要更多的控制信号,导致其成本往往更高,同时读出噪声也更大。
由于工业面扫描相机一次性获取二维图像信息,不需要外部运动机构配合,系统相对简单,因此被广泛的应用于在非流水线的工业场景中,用于采集目标物的形状、尺寸、面积、温度等信息,执行定位、测量、检测、识别等诸多任务。
工业面扫描相机图像传感器像素数量远大于线扫描相机,受半导体制造工艺限制往往存在坏像素点,无法保证全部像素输出有效;同等价格水平相机的水平分辨率一般也较线扫描相机低,导致部分场景下很难达到应用对检测视场的需求;同时帧率也常常受到限制。
2、图像采集卡
图像采集卡,是构建完整的机器视觉系统的一个重要部件,其功能是建立和前端相机中的连接,管理相机控制信号,从相机中获取数据,并将其转换成计算机能处理的信息。图像采集卡对外接口包括面向相机端的图像信号接口,面向计算机端的数据接口,以及控制信号接口。工业相机的图像接口规格很多,目前机器视觉系统中较常见的包括CameraLink和CoaXPress接口,其相关协议标准分别由AIA(美国自动化图像协会)和JIIA(日本工业成像协会)发起;采集卡到计算机端的接口一般为通用的PCI、PCIe、USB以及网络接口等数据接口。图像采集卡依据CameraLink等协议标准收取前端工业相机数据,在板载内存中进行处理,然后通过PCIe等接口写入计算机内存,计算机中的图像处理程序通过采集卡底层驱动加载图像数据后进行信息分析。图像采集卡控制信号接口主要功能为接收外部各种图像采集控制触发信号输入,以及输出相机同步信号以控制光源等外部设备,辅助完成机器视觉系统的工作流程。
机器视觉系统的主要功能
机器视觉在智能制造领域应用广泛,按功能主要分为四大类:定位、识别、测量、检测,不同的应用场景侧重不同的功能运用。
定位功能:定位是工业机器视觉技术的基础功能。机器视觉应用的第一步是根据一定的模板在相机视野中找到相对应的对象或特征,关注对象的定位是否符合相应标准。如模式匹配软件工具无法精确定位图像中的零件,则无法进行识别、引导、检测或测量。定位功能主要应用于加工设备工具端的路径引导,是工业机器人重要的辅助性功能。根据赛迪研究院《中国工业机器视觉产业发展白皮书》报告,机器视觉定位功能在工业应用场景中约占16%。
识别功能:识别是工业机器视觉技术最根本的功能。机器视觉技术可以字母、数字、字符等标识及符号。首先,光学字符识别(OCR)系统通过工业相机扫描对象或特征,传输至PC主机;然后,由字符验证(OCV)系统确认相对应的字符串是否存在。此外,机器视觉系统还可以通过定位具体图案来识别零件种类或根据颜色、形状识别物品。在工业应用场景中,物流标签读取和字符识别是识别功能最直接的服务对象。根据赛迪研究院《中国工业机器视觉产业发展白皮书》报告,机器视觉识别功能在工业应用场景中约占24%。
测量功能:测量是工业机器视觉技术应用的重要支撑。测量距离和位置以评估是否符合规格。测量应用中的机器视觉系统可以计算并测量对象上两个点、多个点甚至几何位置之间的距离以确定这些测量是否符合规格。如不符合标准,视觉系统向机器控制器发送失败信号,触发拒绝机制,并将对象从生产线上弹出。在工业应用场景中,测量功能主要应用于对目标物体的高速、高精测量,特别适合复杂形态测量。根据赛迪研究院《中国工业机器视觉产业发展白皮书》报告,机器视觉测量功能在工业应用场景中约占10%。
检测功能:检测是对识别、测量、定位功能的集成和深度应用。检测功能主要表现为通过使用机器视觉技术对目标物体进行缺陷检测,在产品质量一致性控制和成本控制上发挥着重要作用。机器视觉检测设备是工业机器视觉技术最重要载体。根据赛迪研究院《中国工业机器视觉产业发展白皮书》报告,机器视觉检测功能在工业应用场景中约占50%。
机器视觉产业链及上、下游行业之间的关联性
机器视觉产业链中相关企业主要分为三类:上游的机器视觉部件提供商、中游的相关装备制造商及机器视觉系统商、下游的机器视觉产品的终端应用商。机器视觉的产业链分布如下:
机器视觉行业内上游企业专注于与机器视觉相关的软硬部件的生产与研发。其中,硬件包括光源、镜头、工业相机、图像采集卡以及控制器及配件等;软件包括图像处理软件以及底层算法平台等构成的机器视觉软件及算法。根据开源证券《工业机器视觉之“眼”——机器视觉》报告,在目前的整个机器视觉系统成本构成上,核心零部件大约占比45%、软件开发大约占比35%、组装集成大约占比15%、维护服务大约占比5%,核心零部件和软件开发是产业链中绝对的核心环节。
机器视觉行业内中游企业为机器视觉装备制造商与机器视觉系统商。其中,机器视觉系统包含独立完整的成像单元(光源、镜头、相机)和相应的算法软件,集图像采集、处理与通信功能于一身,可以灵活的进行配置和控制。而机器视觉装备则以机器视觉系统的感知能力和分析决策能力为核心,在系统的基础上赋予了设备自动化和智能化的功能,将其应用在下游实际的生产运作之中,可实现多种功能。
机器视觉行业下游主要为机器视觉设备的终端应用场景。具体来说,由于机器视觉具有定位、识别、测量、检测四大功能,通常下游应用企业会将相关设备配置应用在产品生产制造过程中的检测、筛查等重要环节,从而达到提高良品率、提升生产效率、减少对人工的依赖以及节约成本等目的。因此,工业相机、图像采集卡作为机器视觉设备的核心部件之一,将被广泛应用于生产生活的各个领域。此外,未来随着工业智能制造的不断升级,机器视觉设备在各个行业的渗透率将进一步提高,相关核心部件的市场需求有望迎来新一轮的爆发增长。
行业发展历程
从全球范围来看,机器视觉行业起源于20世纪70年代,发展至今,行业已经历五个发展阶段。
第一阶段,1969-1979年,在成像传感器诞生的驱动下,机器视觉进入产业萌芽期。1969年美国贝尔实验室成功研制出CCD传感器,可以直接把图像转换为数字信号并存储到电脑中参与计算和分析,从而为机器视觉的产生奠定了基础;
第二阶段,1980-1989年,在需求应用的驱动下,机器视觉进入起步期。机器视觉概念首次在产业界被提及,加拿大的TeledyneDalsa、英国的E2V以及美国的Cognex(康耐视)等相关知名企业诞生;
第三阶段,1990-1999年,随着需求端应用的不断发展,机器视觉行业进入成长波动期。其中,1990年半导体产业的发展为机器视觉行业提供了较大的发展潜力,但受限于成像技术和算法算力尚不成熟,无法有效满足行业的应用需求,难以全面推广;
第四阶段,2000-2009年,在应用和算力的共同驱动下,机器视觉进入产业发展早期。在CPU算力大幅提升,FPD平板显示制造、PCB检测和汽车制造等行业陆续对机器视觉技术应用表现出强烈需求的双重因素影响下,产业需求和技术进步共同促进了机器视觉行业的快速发展与繁荣。我国机器视觉产业也在这个阶段加入了全球阵营;
第五阶段,2010-2020年,AI算法的兴起推动机器视觉进入发展中期。2016年以来AI迅速发展,随着人工智能赋能的机器视觉开始在智能制造应用中的加速普及,相关产业得到了进一步发展。
相较而言,我国机器视觉行业虽起步较晚,但发展速度较快,行业已经历三个发展阶段。
第一阶段,1995-1999年,随着对国外设备与技术的引进与吸收,我国机器视觉行业进入了萌芽期。但由于算法、算力及成像技术尚不成熟,我国仅有航空航天、军工及高端科研等核心机构和行业开始出现应用,部分相关企业作为国外代理会提供机器视觉器件及技术服务;
第二阶段,2000-2008年,在应用与算法的双驱动下,我国机器视觉行业迈入了起步期。随着算力强度的进一步提升,且国内如人民币印钞质量检测、邮政分拣等行业对机器视觉提出强烈的应用需求,我国开始出现一些专业的机器视觉企业;
第三阶段,2009-2020年,我国机器视觉产业逐步进入高速发展期。特别指出的是,2010年后,以苹果为代表的手机产业的飞速发展给整个3C电子制造业带来巨大的变革。一方面,随着3C电子制造产业进入高精度时代,迫切需要用机器替代人工来保障产品加工精度和质量的一致性;另一方面,3C电子由于更新较快,应用场景较为丰富,大大扩展了机器视觉的应用。受到这两方面因素的共同影响,加速促进了我国机器视觉产业的发展,我国陆续涌现出近百家机器视觉企业。
此外,2016年以来AI算法的发展,再次为我国机器视觉行业注入新一轮的发展活力。整体来看,从2010年开始的近十年,我国机器视觉产业发展一直保持20%-30%的增速。
从产品类型来看,根据机器视觉产业联盟(CMVU)的分类,我国机器视觉 行业主要的产品/服务包括系统、组件和服务三大类。其中,机器视觉组件包括 光学元件及镜头、2D 相机(面阵相机)、照明光源或其他结构光源、3D 相机/3D 采集设备、工业线扫描相机、图像采集卡、视觉软件(单独销售的产品)、接口 及其他组件等。据机器视觉产业联盟(CMVU)2021 年度对 153 家样本企业调 查数据统计,2019-2021 年,机器视觉组件销售额从 67.3 亿元增长至 98.0 亿元, 年均复合增长率为 20.7%,虽占行业销售额比例从 62.0%略微下降至 59.8%,但 仍占据整体销售额的一半之多,是我国机器视觉细分行业产值规模最大的市场。其中,2D 相机(面阵相机)的销售额占比为 12.7%,是机器视觉组件大类中的 第二大细分市场,且 2019-2021 年销售额同期年均复合增长率达到 39.4%;工业 线扫描相机的销售额占比为 4.9%,若将工业线扫描相机与面阵相机统一划分为 工业相机的统计口径来看,2021 年工业相机产品的销售额占比为 17.6%,俨然已 成为机器视觉组件的第一大细分市场;此外,2021 年我国图像采集卡的销售额 占比为 4.6%。
通过将 2021 年我国机器视觉行业整体销售额 163.8 亿元乘以 相应细分产品占比数据,即可得到 2021 年我国工业相机产品的销售额为 28.83 亿元(面阵相机销售额 20.80 亿元,工业线扫描相机销售额 8.03 亿元),图像采 集卡的销售额为 7.53 亿元。此外,受到机器视觉产业联盟(CMVU)2021 年度 调查数据仅为 153 家样本数量的限制,叠加这部分因素的影响,因此,2021 年 我国机器视觉行业中关于工业相机、图像采集卡的实际销售金额将进一步放大。
机器视觉行业下游应用情况
机器视觉行业技术更新较快,属于受市场主导型的产业,行业内企业竞争程 度较高。机器视觉行业下游应用广泛,包括 3C、半导体、锂电、光伏、汽车、 包装印刷、物流、轨道交通、生物医药、食品加工、轻工皮革等领域。如图所示, 根据机器视觉产业联盟(CMVU)、前瞻产业研究院整理的数据,目前我国机器 视觉产品的主要应用领域包括电子、新型显示、汽车、电池(锂电池和太阳能电 池)、印刷、机器人、半导体、包装等领域。其中,电子领域占比 24.79%,机 器视觉主要应用在电子元器件、PCB 缺陷检测以及外观结构部件等方面的检查 与测试;新型显示领域占比 12.15%,机器视觉主要应用在玻璃基材、ITO 玻璃 镀膜、丝网印刷和切割、背光模组、触摸屏组贴合、盖板玻璃制造等工艺的检测 与校验;汽车制造领域占比 8.39%,机器视觉主要涉及车身装配检测、面板印刷 和质量检测、零部件表面缺陷检测等;电池领域占比 8.29%,机器视觉主要涉及 锂电领域及光伏领域中相关电池来料的质量检测、生产过程的缺陷监控以及成品 电池的检验测试;印刷领域占比 6.46%,机器视觉主要为印刷智能化提供印刷设 计问题拦截、印刷过程质量控制、出厂质量终检机系统生产管理优化等功能;半 导体领域占比5.53%,机器视觉在半导体中主要应用在晶圆切割、AOI光学检测、 芯片字符对位和识别等工艺流程。
(1)电子行业
电子制造过程中,由于对产品外观、功能以及可靠性等要求越来越高,加强 制造过程的检测和品质管控已成为电子制造业的必备需求,机器视觉在电子制造 过程检测中承担越来越重要的作用。目前,电子行业机器视觉系统主要包括电子 元器件检测、PCB 检测以及外观结构部件的检测等。在电子元器件方面,机器视觉系统会根据元器件材质、缺陷类型及不同客户 的需求,对元器件瑕疵或缺陷进行检查、识别,在这个过程中,通常会将产品可 能存在的缺陷图像从背景图像中区分开,然后利用图像的颜色、灰度、形状、大 小等特征对缺陷进行识别。
PCB(Printed Circuit Board,印制电路板)是电子制造过程中必不可少的部 件,其制造品质直接影响电子产品的可靠性。随着电子组装向更高密度、更小尺 寸 PCB 技术的纵深发展,为减少进入下步工序的缺陷电路板的数量,线路板厂 通常通过引入自动光学检测(AOI,Automated Optical Inspection)和自动外观检 查(AVI,Automated Visual Inspection)设备来提升 PCB 制造品质。PCB AOI 通 过高分辨率相机提取 PCB 表面图形、图形数字化转换、特征点逻辑判断与图形 匹配、线条形态轮廓逻辑比对、缺陷点判定与提取这一技术流程来实现 PCB 表 面图形的缺陷检测,包括基板缺陷、孔缺陷、线路缺陷等。PCB AVI 是 PCB 制程最后一道品质防线,主要负责成品 PCB 的外观检查,包括阻焊均匀性、焊盘 覆盖、线路覆盖以及线路的表面缺陷等。PCB 缺陷检查过程中,通常会通过专 用设备把缺陷自动标识出来,供维修人员进一步处理。
在外观结构部件方面,各类消费电子产品如手机、PAD 的盖板、中框等部 件、计算机键盘外设等,在制造过程中,经常会发生划伤、碰伤、崩边以及外形 尺寸不良等一系列的品质问题。要提升这类电子产品的品质,通过机器视觉系统 去完成识别和检查工作是最为有效、可靠的方法,从而取代传统的人工方法提升 检测速度、提高检出率,进而提升电子行业产品制造的效率和品质。
根据电子信息行业联合会、中商产业研究院整理数据,2016 年至 2022 年间, 我国规模以上电子信息制造业收入规模在 2018 年度出现下滑,其余年度均保持 增长趋势,收入规模由 2016 年的 12.18 万亿元达到 2022 年的 15.45 万亿元,年 均复合增长率为 4.04%,电子信息制造业正稳步向前发展。
消费电子是电子行业中快速增长的代表性细分行业,得益于互联网科技的不 断发展,消费电子产品更新频率的加速、居民收入水平的持续增加,我国消费电 子产品市场快速增长。根据国家统计局数据,2021 年,我国手机产量进一步增 长至 16.6 亿台,同比增长 12.9%;彩色电视机产量小幅回落到 1.8 亿台,同比下 降 5.8%;微型计算机设备产量增长至 4.7 亿台,同比增长 23.5%。
目前,我国电子产业链上机器视觉技术已经基本覆盖从元器件、关键零部件 和成品的全制造环节的自动化及品质检测与测量。未来,以消费电子为代表的电 子行业产品数量需求的稳步增长,以及消费者对更轻、更薄、更高品质电子产品 的日益青睐,将共同推动相关电子生产制造企业通过更加高效、更加精细的机器 视觉检测技术提升产能和质量、从而实现降本增效的目标。此外,随着相关电子 技术的发展,电子行业更新换代将进一步加快、精度要求将逐步提高,相应的配 套产线设备采购将更加频繁。因此,受益于这些因素的影响,电子产业对机器视 觉相关产品的需求也将进一步增大。
(2)新型显示行业
在新型显示领域,LCD(液晶显示器)是当前主流的显示技术,机器视觉在 LCD制造过程中的应用从玻璃基材的检测开始,工艺段主要涉及 ITO 玻璃镀膜、 丝网印刷和切割、背光模组、触摸屏组贴合、盖板玻璃检测等。机器视觉技术作 为非接触、高精度、高速度的生产、检测技术手段,目前已被广泛应用于各类型 的新型面板显示的生产过程中,AOI(自动光学检测机)和 AVI/API(自动画面 检测机)是 LCD 制造过程中常见的两种视觉检测设备。AOI 设备几乎在 LCD 的 每一个工艺段都会被应用,用于检测各工艺部件的表面缺陷、Particle 异物颗粒、 断线等外观不良。AVI/API 则是对点亮后的显示面板画面缺陷进行检查,取代人 工目视检测。
AMOLED 是近年来投资力度比较大的新型显示技术。AMOLED 技术工艺主 要分为 TFT 阵列、OLED 蒸镀封装和模组,其中 TFT 工艺段和 LCD 液晶显示屏 的 TFT 工艺基本相同,但是精度要求更高,相应的对 AOI 设备要求也会更高。在 AMOLED 蒸镀、模组工艺段,同样有大量 AVI/API 自动画面检测的需求。此 外,DeMura 设备在 AMOLED 制程中被用于 Mura(注:指显示器亮度不均匀, 造成各种痕迹的现象)补偿,可进行 DeMura 画面拍摄、补偿数据烧录等。
此外, 随着 mini LED、Micro LED 技术的不断成熟,新型显示领域的泛半导体化,将 对视觉检测提出更高的要求。根据赛迪智库、工信部披露的数据,2020 年我国面板显示行业的营收达 4,460 亿元,较 2019 年增长了 19.7%,2016-2020 年期间行业营收的复合增长率达到了 22.0%。另据中国光学光电子行业协会液晶分会统计数据,2022 年我国面板显示产业克服重重挑战,在全球市场步入下行周期的不利环境下,我国显示行业产值 已达到接近 5,000 亿元,行业规模不断扩大。此外,随着新型面板显示相关下游 应用的规模快速增长及国产新型面板显示技术的不断发展,我国面板显示领域市 场规模有望进一步增大。相应地,应用在新型显示领域的机器视觉市场的渗透率 将进一步提高,这将利好国产机器视觉厂商的进一步发展。
(3)锂电行业
锂电池的生产工序多,工艺也比较复杂。锂电池生产由于工艺水平引起的不 良经过数道工序的叠加,通常会导致从原料到传导到最终产品的不良率会达到惊 人的水平,极大地影响生产成本和效率。此外,由于工艺不良导致的电池缺陷, 其性能、安全和使用寿命都会受到影响。因此,通过投入机器视觉检测系统加强 锂电池的制程管控、提升产品质量和生产效率是各大锂电池生产厂商近年来大力 投入的方向。锂电池制造过程对视觉的需求从对隔膜、铜箔等锂电池上游材料的 质量检测开始,到前段的正、负极材料混合、涂布、膜切、分切、卷绕(或叠片), 再到中段的注液、焊接、化成、分容和后段的成组、加工和组装工艺,各个工艺 过程都需要对物料、部件外观缺陷进行检查、测量或对位等。锂电制造过程的缺 陷检查动作主要包括极片表面突起、凝聚、露箔、暗斑、掉料等;测量动作则包 括对极片、极耳的尺寸进行测量,对电池材料进行测长等。以涂布环节为例,机 器视觉通过上相机与下相机两个拍摄角度分别拍摄涂布的正面与反面,再由图像处理软件对图像进行处理,识别涂布表面的瑕疵,对不良品进行贴标区分。从锂 电制程工艺特点来看,锂电行业对机器视觉系统的需求量巨大。
新能源汽车是锂离子电池的典型应用场景,随着新能源汽车销量不断创新高, 我国锂离子电池需求保持较高增速。根据国家统计局、机器视觉产业联盟(CMVU) 整理数据,2016-2021 年,我国锂离子电池产量由 78.4 亿只增长到 232.6 亿只, 年均复合增长 24.3%,2021 年锂电全行业总产值突破 6,000 亿元,表明锂离子电 池行业规模正在快速增长。未来,受益于新能源应用场景的不断扩展及动力电池 需求的增加,我国锂电池出货量将逐年上升。相应地,锂电领域对机器视觉相关 的检测设备以及智能制造装备的需求量将不断提高。
(4)半导体行业
随着微电子技术的高速发展,各种半导体芯片的集成度越来越高,同时芯片 的体积趋向于小型化、微型化,对芯片的质量检测提出更高的要求。机器视觉检 测所具有高精度、高效性、非接触性、连续性、灵活性等优点,传统人工检测正 逐渐被机器视觉检测替代应用于半导体制造中。
在半导体晶圆制造阶段,氧化、涂胶、光刻、刻蚀、离子注入、扩散、薄膜 沉积、抛光、蚀刻、曝光、清洗等工序每一步完成后都需要在整个生产过程中进 行实时监测。根据检测功能的不同分为量测类和缺陷检测类两种。量测类应用主 要包括透明薄膜厚度、不透明薄膜厚度、膜应力、掺杂浓度、关键尺寸、套准精度等;缺陷检测类分为明暗场光学图形图片缺陷检测、无图形表面检测、宏观缺 陷检测等。在这些检测过程中,半导体机器视觉检测发挥了重要的作用。晶圆制造机器视觉检测主要分无图形表面缺陷(未曝光)、有图形表面缺陷 (曝光后)、尺寸测量、套刻标记等几种类型。基于光学图像检测技术,检测尺 度大于 0.5μm 的圆片缺陷检测,一般用于光刻、CMP、刻蚀、薄膜沉积后的出 货检验(OQC)以及入厂检验(IQC)中,包括正面检测、背面检测、边缘检测、 晶圆几何形状检测等,这些检测可通过高感光线扫相机(高阶 TDI 相机)或高 帧率面扫相机飞拍扫描硅片的全表面,自动存储和检测硅片全景图像、自动输出 缺陷分类结果。
在半导体封测等后段工序中,包括晶片切割、黏晶、焊线、封胶、剪切、印 字、电镀封装等,也会大量用到量测和缺陷检测机器视觉系统。在量测方面,按 照晶片尺寸大小对整片晶圆进行裁切,由于晶片之间有10~30μm不等间隙区分, 划片区切道需确保在晶粒之间均等切割,对此需要高精度机器视觉引导测量裁切 位置,这里一般常用光学线扫相机进行超感光量测;在缺陷检测方面,包括晶圆 裁切后划伤、崩边、裂纹等表面缺陷检测;成品晶片封装在固定支架上需机器视 觉定位引导到相应安装位置;IC 封装成品也需机器视觉系统对其外观缺陷进行 终检。
(5)光伏行业
太阳能电池作为光伏产业应用的核心部件之一,从原料到实际应用的电池组 件分别要经过硅料、硅片、电池片、电池组件四个大环节,其中硅锭、硅片质量 及加工镀膜工艺等都会影响太阳能电池片的光电转换效率。例如硅片在运输过程 中很容易产生缺角、碎片、隐裂等缺陷;在生产过程中电池片会产生如碎片、电 池片隐裂、表面污染、电极不良、划伤等缺陷。这些缺陷影响了电池的光电转化 效率和使用寿命,造成电池片等级降低或报废。为了保证电池片的光电转换效率 和良品率,相关产线需要采用有效的缺陷检测方法以提高电池片的成品质量。
近年来,机器视觉技术凭借着检测精度高、可靠性强、速度快的特点,逐步 被应用于太阳能电池生产线的质量缺陷检测与控制环节。具体来说,机器视觉系 统将在太阳能电池产线的每个工艺段提供相对应的光电视觉模组器件(相机、光 源、镜头等),通过这些视觉组件进行硅片、过程片、成品片的缺陷图像采集, 然后配合图像处理软件进行缺陷分类及统计,从而达到可快速配置,提供高质量 的视觉成像效果的目标。整体来看,配备有机器视觉系统的生产线不仅可以使检 测结果更加客观可靠、准确率高,而且能够长时间重复进行检测,生产效率显著 提升,还能够大大降低太阳能电池的废品率,从而减少生产能耗、提高太阳能电 池片产出比,使太阳能利用更加高效。
根据国家统计局数据,2022 年我国太阳能电池产量达到 34,364.2 万千瓦, 较 2021 年增长了 46.8%,产量创历史新高。未来,随着太阳能行业的竞争愈发 激烈,电池片质量也将变得愈发重要,客户对视觉检测系统的成本、检测效果、 稳定性要求也越来越高,相关机器视觉检测产业的需求将不断增加,行业整体将 迎来新一轮的发展机遇。
(6)印刷行业
在各类型的印刷品生产制造过程中,受印刷工艺、印刷设备、印刷材料、环 境变量、人为操作随机误差等因素的影响,印刷产品经常会出现各种缺陷,如墨 点、异物、脏点、切线、拖墨、划痕、溢胶、字符不完整、漏印、色差、套印不 准确及气泡等。在印刷品缺陷检测过程中,传统人工随机抽样检测印刷质量的方 法,受主观判断影响较大,难以保证印刷产品的准确性和一致性,一旦这些缺陷 出现在产品包装上,产品的视觉观感将会大大降低,严重影响产品的品牌形象, 降低客户满意度。因此,在印刷制造的多个工艺段,均需要配置机器视觉系统进 行质量缺陷检测和数据反馈。
印刷行业的视觉检测根据应用类型的不同主要分为卷材类检测、单张片材类 检测和标签类检测。其中,卷材类印刷包括检测各类膜材、金属箔、纸张、塑料 包装等;单张片材主要包括检测药包、烟包、钞票、3C 产品/食品/日化包装盒等;标签类检测主要包括印刷字符、二维码/条形码、打标 logo、不干胶标签等。搭 配机器视觉检测设备的印刷产线通常能将生产的各个环节的质量数据进行分析 处理,进一步反馈并优化生产工艺,从而形成决策判断系统平台,助力印刷企业 优化并提升生产管理。整体来看,在装备技术水平稳步提升的基础上,机器视觉 能够为印刷智能化提供印刷设计问题拦截、印刷过程质量控制、出厂质量终检、系统生产管理优化等功能。包装印刷与社会进步、经济发展与居民消费需求息息相关。
近年来,得益于 我国经济快速稳定发展、日用品消费市场持续增长、文化市场的刚性需求、出口 市场的持续繁荣,对包装印刷品的需求量和品质要求都在不断提高,印刷行业取 得了长足的发展。根据前瞻产业研究数据统计,2020 年我国印刷行业市场规模 为 13,867.0 亿元,预计 2021 年将达到 13,950.0 亿元。未来,随着印刷生产设备 持续高速、高精度、智能化的发展,将对印刷检测提出了更高、更严的要求及标 准。相应的,机器视觉相关产品在印刷行业的应用将进一步扩大。
机器视觉行业的发展动力
(1)人口老龄化加剧,劳动力成本上升
目前,我国人口结构正在发生较大变化,60 岁以上老人所占人数比例逐渐 提升,人口老龄化问题日益突出。根据国家统计局数据显示,2022 年我国 60 岁 及以上人口为 28,004 万人,占 19.8%(其中,65 岁及以上人口为 20,978 万人, 占 14.9%,我国正式跨入中度老龄社会的行列)。2011 年-2022 年期间,60 岁及 以上人口的比重由 13.7%上升至 19.8%,上升了 6.1%。
从制造业角度来看,老龄化趋势不利于劳动力密集型产业发展,人口老龄化 使得我国制造业的劳动力供需愈发的紧张,劳动力成本优势不再,用工成本不断 提高。根据国家统计局数据,2021 年我国城镇单位就业人员年平均工资上涨至 10.68 万元,比 2020 年增加 0.95 万元。此外,劳动力的愈发短缺、劳动力成本 的不断提升,将进一步促使传统的劳动密集型产业寻求转变,利用机器视觉行业 可有效解决这一问题。特别是在需要重复性、繁重性生产加工环节中,机器视觉 系统的效用发挥的淋漓尽致。机器视觉的稳定性、客观性、精确性在制造业中对 人眼形成了很好替代,同时完善了制造业的工艺环节,推动制造业向高端化、智 能化、自动化方向发展。
(2)技术升级驱动
一方面,由于人力成本不断攀升、年轻劳动力流失等问题日渐凸显,大量制 造业企业开始逐步引入自动化设备替代人工。近两年,企业综合成本不断上升, 对“机器换人”的需求更加迫切,在一定程度上倒逼企业加速自动化、智能化的 革新升级;另一方面,机器视觉技术是实现智能制造的重要技术之一,可实现工 业自动化现场的产品缺陷检测、机器视觉引导定位等,为工业机器人代替人力起 着重要且决定性的作用。尤其在一些不适合于人工作业的危险工作环境或人工视 觉难以满足要求的场合,用机器视觉来替代人工视觉已成为解决问题的重要方式, 同时在大批量工业生产过程中,用人工视觉检查产品质量效率低且精度不高,用 机器视觉产品解决问题、难题、行业痛点的能力进一步加强。因此,技术升级是 机器视觉行业发展的核心驱动力之一。
(3)受益于快速增长的智能制造产业发展
2021 年 12 月,工信部、发改委等八部门发布的《“十四五”智能制造发展 规划》提到“深入实施智能制造工程,着力提升创新能力、供给能力、支撑能力 和应用水平,加快构建智能制造发展生态,持续推进制造业数字化转型、网络化 协同、智能化变革,构建虚实融合、知识驱动、动态优化、安全高效、绿色低碳 的智能制造系统。到 2025 年,规模以上制造业企业大部分实现数字化、网络化,重点行业骨干企业初步应用智能化;到 2035 年,规模以上制造业企业全面普及 数字化、网络化,重点行业骨干企业基本实现智能化。”因此,鼓励并支持传统 制造业智能升级,形成以数字化、网络化、智能化为特征的新型智能制造行业已 成为推动我国经济高质量发展的新基础。
从机器视觉来看,机器视觉产品需求与制造业的规模及智能程度发展水平密 切相关。机器视觉是实现工业自动化和智能化的必要手段,相当于人类视觉在机 器上的延伸。它具备高度自动化、高效率、高精度和适应较差环境等优点,具有 四大优势。第一,智能识别,能够从大量信息中找到关键特征,识别准确度和可 靠度极高;第二,智能测量,测量是工业制造的基础,要求测量的标准与细节精 度较为严格;第三,智能检测,在测量的基础上,能够综合分析判断多样化的信 息及指标,做出基于复杂逻辑的智能化判断;第四,智能互联,图像的海量数据 在多节点采集互联,同时将人员、设备、生产物资、环境、工艺等数据相互联系, 进而衍生出深度学习、智能优化、智能预测等创新能力。
因此,在智能制造过程 中,机器视觉主要用计算机来模拟人的视觉功能,把客观事物的图像信息提取、 处理并理解,最终用于实际检测、测量和控制。随着制造业智能发展的快速增长, 市场对于机器视觉的需求也将逐渐增多。相应的,机器视觉行业规模将受益于快 速增长的智能制造产业的发展而进一步增长。根据赛迪、中商产业研究院数据显 示,2020 年我国智能制造装备产值规模达 2.09 万亿元。据中商产业研究院预测, 2022 年我国智能制造装备产值规模将达 2.68 万亿元。
(4)机器视觉的性能优势驱动
如下表所示,相较于人类视觉,机器视觉在效率、速度、精度、可靠性、工 作时间、信息集成能力、成本投入、工作环境、灰度分辨力、空间分辨力及感光 范围方面优势明显。具体来说,一方面,机器视觉能够在危险工作环境或人工视 觉难以满足要求的情境下工作。同时,在大批量工业生产过程中,用人工视觉检 查产品质量效率低且精度不高,用机器视觉检测方法可以大大提高生产效率和生 产的自动化程度;另一方面,机器视觉易于实现信息集成,是实现计算机集成制 造的基础技术之一。机器视觉设备可以在比较快的生产线上对产品进行测量、引 导、检测和识别,并能保质保量的完成生产任务;此外,人类视觉虽然适应性强, 能够在复杂环境中识别目标,较为适合无结构化场景。但相较而言,机器视觉凭 借其速度、准确度和可重复性等优势,更擅长定量测定的结构化场景。一般而言, 通过选用合适的相机分辨率和光学元件制造的机器视觉能够检测人眼难以看到 的物体细节。因此,在某些方面机器视觉相较于人眼具有更大的优势且能更高效 的进行工作,机器视觉的这些性能优势能够驱动着相关行业市场的快速发展。未 来,随着深度学习、3D 视觉技术、高精度成像技术和大数据智能算法技术的持 续发展,机器视觉的性能优势将进一步加大,相关市场预计将迎来新一轮的爆发 式增长。
机器视觉核心部件的关键性能指标不断升级
机器视觉核心部件的关键性能指标包括:工业相机的成像分辨率、数据位深 度、采样速率、信噪比、图像传输速度等;图像采集卡的数据传输速度、图像处理能力、图像传输的稳定性和可靠性等。工业相机和图像采集卡的关键性能指标 直接影响机器视觉系统的成像质量和工作效率。近年来机器视觉的重点应用领域 如 3C 电子检测、锂电池检测、光伏检测、半导体检测等迅猛发展,新型应用场 景不断涌现,机器视觉产业也随之持续升级,需求端对机器视觉核心部件的性能 要求不断提高,推动工业相机和图像采集卡的技术不断进步与升级。
得益于半导体技术的高速发展,图像传感器的分辨率不断提升,信号质量逐 步提升,采样速度越来越快。目前,线扫描相机图像传感器输出分辨率已经达到 了 24K,面扫描相机分辨率已经发展 2 亿像素以上,数据位宽也从最初的 8bit 逐步发展到 10bit、12bit 乃至 16bit。与此同时,前端嵌入式运算能力的进一步加 强,使得更多的复杂运算可以在相机端实现,例如借助像素位移技术和超分辨率 算法,可以实现 4 倍甚至更高分辨率的图像合成,实现了 1.5 亿图像传感器基础上的 6 亿分辨率图像输出。此外,传感器材料学和半导体 新制程的进步,使得工业相机逐步开始从可见光向紫外、红外等多波段扩展,通 过光谱信息和图像信息的结合,可以从更多维度检测分析产品,不断拓宽机器视 觉在各种工业领域应用场景。同样的,得益于半导体技术的进步,在图像采集卡方面,数据传输速度、传 输带宽不断提高,图像数据的预处理能力不断增强。随着高速串行总线技术的成 熟,多路串行数据传输开始逐步在图像采集卡中导入和推广。
随着数据中心等行业 的发展,先进工艺逐步提升大规模可编程逻辑处理器的各项性能指标,使得在图 像采集卡中进行图像预处理具备可行性,目前业界领先的图像采集卡供应商开始 逐步开发可重构的图像处理算法,在计算机中构建异构化的图像处理平台,将原 先完全由 CPU 承担的图像处理任务进行分解,从而大大地提升图像处理效率和 能力。图像采集卡在这些方面的进步,大大提升了机器视觉系统处理复杂任务的 能力,为进一步的广泛应用奠定了基础。
技术的进步使机器视觉新型应用领域不断涌现
机器视觉部件硬件性能的不断升级与软件技术不断进步,促进了机器视觉产 品的持续更新迭代,使机器视觉在传统应用领域不断深入,且新型应用领域不断涌现。例如,近年来 3D 工业相机在国内外开始投入工业应用,执行多样而复杂 的检测、定位、测量和识别任务,通过对表面形貌的获取,在二维图像信息的基 础上,进一步丰富了对目标物特征的采集,为复杂工业检测提供了更多的可能性;多光谱相机也以其独特的优势在半导体晶圆检测和光伏硅电池检测中逐步推广。与 AI、5G 等智能和物联新技术的结合可拓展机器视觉应用的广度,例如全息感 知技术在智慧交通建设中通过流量监测、智能交通信号灯等应用提高平均车速和 事故处理效率;在智慧工厂应用中以 5G 云平台与机器视觉硬件结合,可实现产 线柔性化部署、算法快速自优化,为其他应用场景如智慧水务、智慧园区、智慧 物流提供重要参考。
机器视觉行业新技术未来发展趋势
(1)高精度高分辨率光学成像技术
高精度光学成像是机器视觉行业始终追求的技术发展目标。高精度光学成像 需要光源、镜头、相机、图像采集卡等各部分的精密配合,要求新型光源、更全 面的波长覆盖和创新的光源布局等光源技术,以及提供更大靶面和更小像元的新 型镜头和相机产品。高精度光学成像技术增强了机器视觉的图像信息获取能力, 通过多样化光学成像技术,获取到传统成像中难以获取的图像信息,并通过高速、 高灵敏度的图像采集技术深度挖掘图像中隐含的内部信息,满足更高分辨率、更 多维度、更大空间带宽积的光电成像需求。
(2)3D 视觉技术
目前机器视觉主要采用的 2D 机器视觉技术仅能获取固定平面内的形状及纹 理信息等二维图像,这主要基于物体在灰度或者彩色图像中对比度的特征提供处 理分析结果。2D 机器视觉技术的缺点包括无法提供物体高度、平面度、表面角 度、体积等三维信息;容易受光照条件变化的影响;对物体的运动比较敏感等。
随着智能制造变革来临,面对复杂的物件辨识和尺寸量度任务,以及人机互 动所需要的复杂互动,2D 视觉在精度和距离测量方面均出现技术限制。3D 机器 视觉技术相对于 2D 技术提供了更丰富的被摄目标信息,可以识别物体的深度、 形貌、位姿等 3D 信息。3D 技术提供了丰富的三维信息,使机器能够感知物理 环境的变化,并相应地进行调整,从而在应用中提高了灵活性和实用性,扩大了机器视觉的应用场景。
(3)多光谱成像技术
多光谱技术,利用像元级的镀膜技术实现对不同波长光谱信号的采集,从而 得到高分辨率的多/高光谱的图像信号,大大简化了视觉系统的光学部件复杂性。光谱技术推动机器视觉实现目标的多种特征分析。随着机器视觉的快速发展和普 及,机器视觉产品已经广泛应用于 3C、锂电池、半导体、PCB、新型显示、汽 车零配件、光伏、物流、医药、包装印刷、轨道交通等众多产业中。各行业样本 的复杂性要求机器视觉从可见光光谱到非可见光光谱、从单一光谱到多光谱,不 仅需要实现目标的外观检测,也需要实现目标的材料成分、颜色、温度等复杂特 征的分析。多光谱技术利用光的衍射和折射特性,通过光栅、棱镜等分光元件, 获取到不同谱段的有效信号,实现目标高维信息参量获取,并通过相关分析算法 将谱域信号与测量需求建立联系,如物质成分、温度、三维面型等,进而满足复 杂多样化的测量需求。
(4)高集成智能相机技术
在工业领域中,随着机器视觉的应用逐渐深入,自动化程度越来越高,机器 视觉核心部件的智能化程度不断提升,集成更多边缘智能已经成为工业相机未来 发展的主要趋势之一。智能工业相机是一个兼具图像采集、图像处理和信息传递 功能的小型机器视觉检测系统,是一种嵌入式计算机视觉检测系统,提供了具有 多功能、模块化、高可靠性、易于实现的机器视觉解决方案。它将图像传感器、 处理模块、通讯模块和其他外设集成到一个单一的相机内,由于这种一体化的设 计,可降低系统的复杂度,并提高可靠性,同时系统尺寸大大缩小,拓宽了机器 视觉的应用领域。
智能工业相机可以在特定的应用环境中实现图像处理并利用内嵌的人工智 能算法做出逻辑判断,为自动化场景提供无需人工干预的智能方案,是工业自动 化领域集成边缘智能的重要手段。通过对智能芯片和算法的集成,智能工业相机 具有强大的软硬件功能,未来将在各个工业领域中发挥重要作用,例如可应用于 高端工业检查、产品分类、质量检测、视觉传感器网络、条码阅读、入侵检测和 交通监控等工业过程。
深度学习方法作为传统神经网络的拓展,近年来在语音、图像、自然语言等 的语义认知问题上取得巨大的进展,为解决机器视觉大数据的表示和理解问题提 供了通用的框架。随着机器视觉在不同行业应用的扩展,传统算法的机器视觉在针对缺陷类型 复杂化、细微化、背景噪声复杂等外观检测以及分选定级应用场景时,呈现通用 性低、不易复制、对使用人员要求高等缺点。基于深度学习的机器视觉采用更复 杂的规则实现精细的量化评估,凭借 AI 深度学习更强的特征提取能力为机器视 觉提供更多应用可能,使得机器视觉能够解决更加复杂背景下的定位与识别、工 件的缺陷检测和分割、畸变物体的分类、难辨字符与文本的读取等复杂的工作任 务。随着工业机器视觉的检测对象越来越复杂,应用越来越广泛,机器视觉应用 逐渐从传统机器视觉向基于深度学习的机器视觉过渡,机器视觉的应用领域也会 因深度学习技术而得到极大扩展。
此外,基于深度学习方法的机器视觉系统对机器视觉核心部件的软硬件水平 提出了更高要求,与深度学习算法相匹配的工业相机和图像采集卡等机器视觉核 心部件的技术发展将成为机器视觉未来发展趋势之一。
审核编辑 :李倩
-
图像采集
+关注
关注
2文章
299浏览量
41276 -
机器视觉
+关注
关注
161文章
4369浏览量
120282 -
深度学习
+关注
关注
73文章
5500浏览量
121112
原文标题:技术前沿:从机器视觉应用看中国制造业发展
文章出处:【微信号:AIOT大数据,微信公众号:AIOT大数据】欢迎添加关注!文章转载请注明出处。
发布评论请先 登录
相关推荐
评论