OpenVX 1.3 是业界自动化计算机视觉和感知任务所需的现代解决方案。但首先,什么是计算机视觉,为什么它很重要?
作为人类,我们仅仅通过让光线进入我们的眼睛就能很好地感知我们周围的世界。隐蔽的光点照射到视网膜的不同区域,信号进入我们的大脑,在那里信息被拼凑在一起。这就是场景开始形成的方式。在很长一段时间内,在数字系统中模拟这一过程被认为是棘手的。
一段时间以来,我们一直在使用数码相机来捕捉光线信息。这些相机现在能够实现令人难以置信的高分辨率,但我们一直在努力解决人工视觉问题。原因当然是相机和我们的眼睛一样,只是视觉的一小部分。正是大脑中发生的位使不同的光点可以解释。这是计算机科学家和不同分支的科学家一直在努力在人工系统中复制的过程。
在过去的十年中,计算机视觉领域从机器学习研究的爆炸式增长中受益匪浅。卷积神经网络(CNN)等深度学习算法推动了计算机视觉领域的发展,其功能仅在十年前还被认为是机器无法实现的。
现在,视觉算法能够识别照片中的物体。它们可以区分城市环境中的行人和汽车。他们还可以在病理图像中识别令人不安的疾病迹象。这一成就非常成功,以至于推出了一个新的行业:自主行业。
想象一下,未来交通由自动驾驶汽车在城市地区巡回行驶,等待附近乘客的召唤。考虑走进手术室,由经过常规手术训练的机器进行操作,或者登上一架无人驾驶飞机快速飞往欧洲。这些场景仍然在未来,但它们不再是科幻小说的内容。在某些方面,所有这些例子都存在于我们今天的实验室中。而这一切只有在计算机视觉的进步下才有可能。计算机视觉使系统能够解释环境的变化并做出反应。
考虑到过去十年计算机视觉的突破,我们必须克服的下一个障碍是将我们的软件解决方案与其执行的硬件解耦。你看,当前的机器学习革命,计算机视觉是其中的受益者,之所以成为可能,并不是由于晦涩理论的一些进步。相反,飞跃来自于我们意识到可以使用图形处理单元(GPU)作为加速器来加速运行深度神经网络所涉及的计算。也就是说,解决方案来自编写可以专门针对硬件加速器的软件,以比任何人想象的更快地执行计算。
自治时代的十年摆在我们面前,重要的是我们建立软件的基础,使用与底层硬件分离的软件为未来十年的自治系统提供支持,同时仍然能够利用所需的加速资源。
这就是像Khronos® OpenVX™ 1.3这样的开放行业标准可以提供的好处。建立在开放标准之上的软件堆栈可以自由地迁移到新的和不断发展的硬件生态系统。
OpenVX 1.3 是基于计算机视觉功能集和神经网络推理功能集的模块化 API。API 定义一个计算图,其中图中的每个节点构成一个操作,该操作定义为其中一个功能集的一部分,或定义为用户提供的内核。计算图作为执行模式的优势在于,它为根据底层硬件平台加速和优化算法的实现提供了充足的机会。虽然呈现给应用程序的 API 是所有实现者的标准,但每个实现者都可以通过管理计算图的方式以及根据底层平台对其进行优化的程度来区分他们的解决方案。
功能集是什么样的?
计算机视觉功能集提供了一组函数,使应用程序能够执行经典的图像处理任务。这些函数作为高级 API 提供,应用程序可以轻松调用这些 API,而无需担心底层硬件。OpenVX 实现的工作是考虑给定硬件平台下的加速。
尽管图像处理和传统的计算机视觉 API 仍然是强大的视觉管道的重要组成部分,但当今最先进的解决方案涉及深度学习算法。OpenVX 1.3 使应用程序能够通过两种简单的方法推断经过训练的神经网络模型:
应用程序可以通过发出离散的函数调用(vxConvolutionLayer、vxActivationLayer、vxFullConnectedLayer、vxSoftmaxLayer等)并在运行时构建神经网络,并向API提供相关的权重和偏差参数。
应用程序可以将经过训练的模型作为图中的单个节点导入到 OpenVX 计算图中。训练模型的导入是通过支持神经网络交换格式 (NNEF) 标准的导入/导出扩展完成的。
对于那些希望构建平台来为自动驾驶行业的决策和感知引擎提供动力的人来说,他们需要解决两个基本问题。首先是可扩展性。他们构建的平台需要能够适应变化,并且必须适应不断发展的硬件加速器环境。这个问题的解决方案是使用行业标准 API 如 OpenVX 1.3 将软件与硬件解耦。
设计人员必须解决的第二个基本问题是安全性和可靠性。在这方面,OpenVX 1.3也提供了一个解决方案。OpenVX 1.3 规范提供了一个安全关键配置文件,该配置文件由旨在部署的功能子集组成。这些函数将在边缘设备上运行,因此保证由实现提供程序确定地执行。
在单个API中,Khronos为计算机视觉和自治行业的未来提供了可扩展性和可靠性的解决方案。该API是OpenVX 1.3。
审核编辑:郭婷
-
神经网络
+关注
关注
42文章
4764浏览量
100541 -
计算机
+关注
关注
19文章
7423浏览量
87719 -
API
+关注
关注
2文章
1485浏览量
61817
发布评论请先 登录
相关推荐
评论