0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

基于光学神经网络的机器视觉系统的缺点与应用

中科院长春光机所 来源:中国光学 作者:李竞曦 2021-04-08 11:43 次阅读

在自动化和智能技术发展日益成熟的今天,机器视觉系统(名词解释)在许多领域被广泛应用,包括自动驾驶汽车、智能制造、自动化手术和生物医学成像等。

这些机器视觉系统大多使用基于普通光学镜头模组的相机,在拍摄通常高达具有数百万像素的图像或视频后,通常将其馈送到如GPU等数字逻辑处理单元从而来执行一定的机器学习任务,例如物体识别、分类和场景分割等。

艺术效果图:基于光学神经网络的机器视觉系统

这种经典的机器视觉架构具有如下几个方面的缺点:

第一,高像素传感器拍摄带来大量信息使其难以实现极高速的图像或视频数字化存储和分析,尤其在使用移动设备和电池供电的设备时更是带来了能耗和性能的平衡问题;

第二,所捕获的图像通常包含许多对机器学习任务无用的冗余信息,带来了后端处理器某种程度上的性能负担,和资源浪费,从而导致在功耗和内存需求方面效率低下。

第三,在可见光的波长以外的电磁波段制造高像素数图像传感器(如手机相机中的传感器)具有很大的挑战性,且其成本十分昂贵,因而也限制了机器视觉系统在更长波段(如太赫兹)上的应用。

最近,加州大学洛杉矶分校(UCLA)的研究人员开发了一种新的单像素机器视觉系统,通过引入光学神经网络(名词解释)的方式规避了传统机器视觉系统的诸多缺点。

图1 来自加州大学洛杉矶分校的研究人员发明了一个新型单像素机器视觉系统,该系统可以将物体的空域信息编码为功率谱,从而实现对图像进行分类和重建。

该成果以Spectrally encoded single-pixel machine vision using diffractive networks为题发表在Science Advances。

研究人员借助深度学习技术,设计了一个由多个衍射层组成的衍射光学神经网络(Diffractive Optical Neural Networks)(拓展阅读),这些衍射层由计算机自动优化设计,可将经过的输入光场调制成一定的目标分布,从而能够执行计算和统计推断任务。

与常规的基于镜头模组的相机不同,该衍射光学神经网络以被宽带光照明的物体作为其输入,将物体的空域特征信息提取并编码到衍射光的光谱上,而后光谱信号由具有频谱探测能力的单像素超快传感器所收集。通过将物体对应的不同的类别分配给不同波长的光频谱分量,该系统仅使用单像素传感器探测到的输出光谱即可自动对输入对象完成分类,从而无需图像传感器阵列和后端数字处理。这种框架实现了全光学推理和机器视觉,在帧速率、内存需求和功耗效率方面具有明显优势,这些特点对于移动计算(名词解释)应用而言尤为重要。

图2. 该系统使用宽带光对物体进行照明。系统分类结果取决于单像素传感器测得的输出光功率谱上10个波长位置上最强的信号,其波长对应的类别即是分类预测结果。功率谱信号还可以输入到数字神经网络中被用于重建物体本身的图像。

为验证这一概念,研究人员通过使用单像素传感器和3D打印的衍射层对使用手写数字图像数据集(MNIST)的所构建的物体进行分类,在实验中证明了该框架在太赫兹波段下的性能。研究者基于提前选定的10个波长对实验系统进行了设计,这10个波长被逐一分配给输入物的不同类别(对应手写数字的0到9),对物的分类结果取决于传感器输出功率谱上10个波长位置上信号最强者的波长对应的类别。

实验系统中的单像素探测方案基于太赫兹时域光谱术实现,照明光为极短的太赫兹脉冲,网络的推理以光速在瞬时间完成。

最终,该系统在手写数字分类任务中实现了超过96%的分类精度,实验结果也与数值模拟非常吻合,证明了该单像素机器视觉框架在构建低延迟、高效的机器学习系统方面的可行性。除物体分类外,研究人员还将此衍射神经网络的输出与一个简单的全连接数字神经网络相连接,仅通过功率谱上10个波长处的信号强度来快速重建此输入物的图像,从而实现了图像的重建或“解压缩”。

总而言之,这种单像素对象分类和图像重建框架可以为新的机器视觉系统的开发铺平道路。该系统具有低像素数、低延迟、低功耗和低成本的特点,以高效、节省资源的独特优势通过将物体信息进行频谱编码来实现特定的推理任务,有望广泛应用于移动计算、边缘计算(名词解释)等领域。

此外,该新框架还可以扩展到各种光谱域测量系统,例如光学相干断层扫描、红外波段成像等,有助于构建基于衍射神经网络的光谱和空间信息编码集成的新型3D传感和成像方式。
编辑:lyn

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4765

    浏览量

    100572
  • 机器视觉系统

    关注

    1

    文章

    83

    浏览量

    18857
  • 深度学习
    +关注

    关注

    73

    文章

    5493

    浏览量

    121006

原文标题:机器视觉技术 | 基于光谱编码的传感与成像

文章出处:【微信号:cas-ciomp,微信公众号:中科院长春光机所】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    卷积神经网络的应用场景及优缺点

    1.1 卷积神经网络的定义 卷积神经网络是一种深度学习模型,它通过模拟人类视觉系统的工作方式,对输入数据进行特征提取和分类。与传统的神经网络相比,CNNs具有更好的特征学习能力和泛化
    的头像 发表于 07-11 14:45 585次阅读

    三层神经网络模型的优缺点

    三层神经网络模型是一种常见的深度学习模型,它由输入层、两个隐藏层和输出层组成。本文将介绍三层神经网络模型的优缺点,以及其在实际应用中的表现。 一、三层神经网络模型概述 基本概念 三层
    的头像 发表于 07-11 10:58 420次阅读

    BP神经网络和卷积神经网络的关系

    BP神经网络(Backpropagation Neural Network)和卷积神经网络(Convolutional Neural Network,简称CNN)是两种在人工智能和机器学习领域
    的头像 发表于 07-10 15:24 1276次阅读

    机器神经网络系统的特点包括

    机器神经网络系统是一种模拟人类大脑神经网络的计算模型,具有高度的复杂性和灵活性。在本文中,我们将详细介绍机器神经网络系统的特点,包括其结
    的头像 发表于 07-09 09:45 347次阅读

    rnn是递归神经网络还是循环神经网络

    RNN(Recurrent Neural Network)是循环神经网络,而非递归神经网络。循环神经网络是一种具有时间序列特性的神经网络,能够处理序列数据,具有记忆功能。以下是关于循环
    的头像 发表于 07-05 09:52 504次阅读

    递归神经网络与循环神经网络一样吗

    时具有各自的优势和特点。本文将介绍递归神经网络和循环神经网络的概念、结构、工作原理、优缺点以及应用场景。 递归神经网络(Recursive Neural Network,RvNN) 1
    的头像 发表于 07-05 09:28 716次阅读

    递归神经网络是循环神经网络

    递归神经网络(Recurrent Neural Network,简称RNN)和循环神经网络(Recurrent Neural Network,简称RNN)实际上是同一个概念,只是不同的翻译方式
    的头像 发表于 07-04 14:54 653次阅读

    神经网络反向传播算法的优缺点有哪些

    神经网络反向传播算法(Backpropagation Algorithm)是一种广泛应用于深度学习和机器学习领域的优化算法,用于训练多层前馈神经网络。本文将介绍反向传播算法的优缺点
    的头像 发表于 07-03 11:24 713次阅读

    反向传播神经网络优点和缺点有哪些

    、自然语言处理等。然而,BP神经网络也存在一些优点和缺点。本文将介绍BP神经网络的优点和缺点。 一、BP神经网络的优点 自学习能力:BP
    的头像 发表于 07-03 11:05 762次阅读

    神经网络算法的优缺点有哪些

    神经网络算法是一种模拟人脑神经元结构的计算模型,广泛应用于机器学习、深度学习、图像识别、语音识别等领域。然而,神经网络算法也存在一些优缺点
    的头像 发表于 07-03 09:47 1176次阅读

    卷积神经网络的基本结构和工作原理

    和工作原理。 1. 引言 在深度学习领域,卷积神经网络是一种非常重要的模型。它通过模拟人类视觉系统,能够自动学习图像中的特征,从而实现对图像的识别和分类。与传统的机器学习方法相比,CNN具有更强的特征提取能力,能够处理更复杂的数
    的头像 发表于 07-03 09:38 448次阅读

    数学建模神经网络模型的优缺点有哪些

    数学建模神经网络模型是一种基于人工神经网络的数学建模方法,它通过模拟人脑神经元的连接和信息传递机制,对复杂系统进行建模和分析。神经网络模型在
    的头像 发表于 07-02 11:36 809次阅读

    神经网络在数学建模中的应用

    地理解和解决实际问题。本文将详细介绍神经网络在数学建模中的应用,包括神经网络的基本原理、数学建模中神经网络的应用场景、神经网络的优缺点以及如
    的头像 发表于 07-02 11:29 852次阅读

    神经网络模型的原理、类型、应用场景及优缺点

    神经网络模型是一种基于人工神经元的数学模型,用于模拟人脑的神经网络结构和功能。神经网络模型在许多领域都有广泛的应用,包括图像识别、语音识别、自然语言处理、推荐
    的头像 发表于 07-02 09:56 1119次阅读

    神经网络架构有哪些

    神经网络架构是机器学习领域中的核心组成部分,它们模仿了生物神经网络的运作方式,通过复杂的网络结构实现信息的处理、存储和传递。随着深度学习技术的不断发展,各种
    的头像 发表于 07-01 14:16 625次阅读