当前,中国正在大力推进包括人工智能、5G和工业物联网在内的新基础设施建设,为智慧城市的发展注入新动能。其中,城市的智能交通是至关重要的组成部分。通过对于人工智能、计算机视觉、云计算和大数据等技术的融合应用,智能交通管理系统将使得道路使用者(人与各种车辆)与道路交通设施和谐互动,有助于提升交通安全与效率(包括缓解交通拥堵),从而改善人民的出行体验。
面向智能交通管理的应用场景,深圳市新创中天信息科技发展有限公司(以下简称:新创中天)推出了基于英特尔®AI计算机视觉的智能交通路侧视频边缘计算设备(以下简称:路侧视频边缘计算设备),适用于交通路口、城市道路以及高速公路等不同的场景。部署在网络边缘的该设备搭载了英特尔®赛扬®系列CPU(Central Processing Unit:中央处理器)和英特尔®Movidius™Myriad™ X VPU(Vision Processing Unit:视觉处理器),并基于 OpenVINO™ 工具套件快速进行高性能AI计算机视觉算法开发,实现了优异的性能。以城市中的交通路口为例,该设备能够实现对于机动车(包括特种车辆)、非机动车、行人、交通信号灯、路面交通标识、交通流量状态和交通事件等的检测和识别,并为路侧交通基础设施设备(如交通信号红绿灯等)的自动控制提供相关视频检测分析数据。
背景:基于“端-边-云”架构的智能交通管理系统
充分提升交通安全与效率,除了改善城市空间布局、提升道路供给等措施之外,还需积极发展基于“端-边-云”架构的先进智能交通管理系统。如图1所示,这一系统的核心理念是基于在端侧对于交通状况的全面感知、在边缘和云对交通数据的精准综合分析以及对路侧交通基础设施的实时控制,从而完成丰富多样的智能交通管理功能。
图1. 智能交通管理系统"端-边-云"整体系统架构
在这一智能交通管理系统中,基于边缘计算与AI计算机视觉的路侧视频边缘计算设备是极为重要的基础性设备。该设备负责对路侧感知设备如相机所采集的视觉信息(包括视频和图像)进行实时计算分析,并在必要时与位于云端的控制中心进行数据交互,将优化的信号相位和配时方案输入给路侧的交通信号控制机。结合其它的输入信号,交通信号控制机通过其特定的算法确定最终的相位和配时方案,对路口的交通信号灯进行控制。
相较于传统的感应线圈、磁力计以及激光雷达等检测技术,基于各种相机采集信息的AI计算机视觉技术用于交通目标、状态和事件的检测和分析具有显著的成本优势,非常适合大规模的部署。除了交通路况信息,该设备还可以感知天气(如雨、雪、雾)等环境信息,并将这些信息和本地分析的结果上传至控制中心,作进一步的处理。该设备的普及,有助于全面提升交通安全与效率。
挑战:面向智能交通管理的边缘计算设备
路侧视频边缘计算设备需要实现对于机动车(包括特种车辆)、非机动车、行人、交通信号灯、路面交通标识、交通流量状态和交通事件等的检测和识别,因此需要连接多种相机(包括电警相机、卡口相机、交通流量检测相机、路口监控球机和行人检测相机)以收集所需的视频信息。
电警相机:主要用于拍摄车辆尾部,识别车牌号码等车辆信息;通常安装在电警杆(距离停止线20-25米)上;1台相机能覆盖1-3条车道。卡口相机:主要用于拍摄车辆前部,识别车牌号码等车辆信息;通常安装在电警杆上;1台相机能覆盖1-3条车道。
交通流量检测相机:主要用于拍摄车辆前部或尾部,检测车流量、车道占有时间、排队长度、拥堵路况等,将检测分析数据提供给交通信号控制机,用于交通信号的相位和配时优化;通常安装在电警杆或者交通信号灯杆上;1台相机覆盖4-8车道。路口监控球形相机:主要用于监控路口,也可用于路口下行的反溢(拥堵)检测;可以通过远程控制随时改变拍摄方向和焦距;通常安装在电警杆上。
行人检测相机:主要用于检测行人等待区和斑马线上的行人;通常安装在行人信号灯灯杆或附近路侧设施上。该设备是事关交通安全的关键设备,在实际的部署和使用中,需要解决来自于低成本与低功耗限制下的数据处理性能、可靠稳定性、连接和兼容能力等多方面的技术挑战。
该设备承担着多路相机的视频编解码、基于深度学习计算机视觉的车辆和行人实时检测和分析、车流量和人流量的实时分析、路口交通信号灯的相位和配时分析等负载。该设备的性能主要体现在可同时处理的视频通道数、处理时延和准确率。因为涉及到对交通信号灯的控制,处理时延和准确率对于确保交通安全尤为重要。对于作为最终用户的交通管理部门而言,性能还体现在交通安全与效率的提升。该设备性能的提升,对于芯片的处理能力提出了新的挑战,同时也要满足客户对整体设备成本和功耗的要求,因此需要高性价比和高能效比的芯片产品和系统架构设计。
该设备大多部署于环境恶劣的道路周边,温度和湿度的变化剧烈,外物冲击等司空见惯。这就要求该设备具有极强的环境适应能力,能够适应温度和湿度的变化,具备防水、防尘、防腐蚀和防震动冲击等能力,同时还需具备出色的电磁兼容和抗干扰能力,以确保在整个产品生命周期内不间断地提供稳定可靠的服务。
该设备需要连接多种相机和交通信号控制机等路侧设备,并能与本文中提到的各种智能交通管理子系统进行数据交互。因此它的连接和兼容能力对整体性能至关重要。
新创中天®路侧视频边缘计算设备搭载了英特尔®赛扬®CPU和英特尔®Movidius™ Myriad™ X VPU,拥有传统计算机视觉和基于深度学习的计算机视觉的强大处理能力。其硬件与软件架构分别如图2和图3所示。用于自动交通信号控制时,其与其它设备的连接如图4所示。
图2. 路侧视频边缘计算设备硬件架构
图3. 路侧视频边缘计算设备软件架构
图4. 用于自动交通信号控制的路侧视频边缘计算设备
英特尔®赛扬®系列CPU具备业界领先的性能,支持不同的操作系统,能够满足广泛的业务需求。这一系列CPU不仅具备较强的计算能力,还具备高性价比、高能效比和安全可靠等优点。该处理器内嵌了英特尔®核芯显卡,具备较强的视频编码和解码处理能力。基于这一处理器的路侧视频边缘计算设备不但充分胜任对相关数据的计算、存储与转发,以及对各种所连接设备的控制等功能需求,还具备低成本与低功耗的显著优势。
Myriad™ X VPU 是英特尔第一个包含神经计算引擎(用于深度神经网络推理的专用硬件加速器)的视觉处理器。神经计算引擎结合 16 个强大的 SHAVE 内核和高吞吐量智能内存结构,使得Myriad™ X VPU成为设备上深度神经网络和计算机视觉应用的理想选择。Myriad™ X VPU可以使用 OpenVINO™ 工具套件的英特尔分发版编程,从而将神经网络移植到边缘,还可以通过包含所有必要开发工具、框架和 API 的 Myriad 开发套件 (MDK: Myriad Development Kit) 编程,用于在芯片上实现自定义视觉、成像和深度神经网络工作负载。在实际应用中,Myriad™ X VPU展现出了算力强且功耗低等独特优势。
新创中天正在使用 OpenVINO™ 工具套件来提升视频检测和分析等算法的准确度,加速推理时间,并节约算力资源。OpenVINO™ 工具套件是源自英特尔的一款功能非常全面的优秀软件工具套件,支持快速开发丰富多样的应用和解决方案,来模拟人类的视觉 [1][2][3]。该工具套件基于卷积神经网络 (CNN: Convolutional Neural Network),可在多种英特尔® 硬件中扩展计算机视觉 (CV: Computer Vision) 的工作负载,实现卓越性能。OpenVINO™ 工具套件支持传统计算机视觉和基于深度学习的计算机视觉的丰富多样的应用,其主要包含的功能模块如图5所示。
图5. OpenVINO™工具套件的主要功能模块
支持跨英特尔®深度学习推理加速器的异构执行,将通用 API 用于英特尔的不同硬件平台,包括CPU、集成显卡、包含有英特尔®Movidius™ VPU的神经计算棒和英特尔® HDDL视觉处理加速卡、FPGA等等,可帮助客户实现跨架构的算法移植和优化;通过易于使用的计算机视觉函数库和预优化的内核,加快产品开发和上市速度;包括针对计算机视觉的标准优化调用,包括 OpenCV、OpenCL和 OpenVX。
除了使用OpenVINO™ 工具套件中的AI计算机视觉功能之外,路侧视频边缘计算设备还用到了其中的英特尔®Media SDK,支持在英特尔®集成显卡上进行高性能的视频编码和解码。
得益于英特尔®赛扬®系列CPU和Myriad™ X VPU提供的强大通用计算和AI计算机视觉推理能力,该设备能够对前文提到的各种相机采集的视频或图像信息进行处理,对视频画面中的车辆和行人进行位置坐标标定,能够实现对于机动车(包括特种车辆)、非机动车、行人、交通信号灯、路面交通标识、交通流量状态和交通事件等的检测和识别。以交通流量状态为例,该设备能够实时检测每条车道和每辆车的状态数据,包括每个车道的车辆进入/离开状态、车道占有时间、过车总数量、过车速度、区域内实时车辆数目、最后一辆车的位置、车队长度和车型分类等关键数据信息。该设备可进一步对检测数据进行统计分析。
新创中天研发总工程师周长军表示:“路侧视频边缘计算设备是智能交通管理的重要基础性设备,能够全面增强交通管理部门对于交通路况的感知能力,并基于对实时数据的分析进行高效管理,从而提升交通安全与效率。除了对于机动车(包括特种车辆)、非机动车、行人、交通信号灯、路面交通标识、交通流量状态和交通事件等的检测和识别之外,我们还将进一步增加对道路路面状态和天气等的检测功能,满足更精细化和更有预见性的交通管理需求。”
目前,基于英特尔®AI计算机视觉的新创中天®路侧视频边缘计算设备已经在北京、江西和山东等省市实现了广泛的部署。在用户实践中,该设备展现了以下显著的优势:通过充分利用英特尔的各类芯片产品的出色多媒体处理能力,深度学习加速能力,以及多任务多进程的处理能力,该设备最多可以同时处理12路视频,可以实现基于深度学习的车辆和行人实时检测和分析,车流量和人流量的实时分析,为智能交通管理及时提供相关数据。
另外,该设备将视频处理负载转移到了边缘端,能够有效降低时延,缓解网络转发原始视频信息的带宽压力和中心处理服务器的负载压力,更好地保障信息安全,并能为未来拓展基于位置的服务。
得益于AI计算机视觉核心算法的创新,以及对于英特尔硬件和软件潜能的充分挖掘,该设备可以精确检测和分析视频采集测覆盖区域内每辆车的特征信息和每条车道上的交通状态,并根据这些分析数据精细化控制交通信号灯等系统。该设备还可以通过视频检测不同车型,提供如特种车辆(救护车或消防车)和公交车辆优先通行等多种新业务。
fqj
-
英特尔
+关注
关注
60文章
9881浏览量
171502 -
计算机视觉
+关注
关注
8文章
1696浏览量
45927
发布评论请先 登录
相关推荐
评论