0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

关于基于英特尔AI计算机视觉的边缘计算设备

火花 来源:IT168 作者:火花 2020-09-16 15:12 次阅读

当前,中国正在大力推进包括人工智能5G工业物联网在内的新基础设施建设,为智慧城市的发展注入新动能。其中,城市的智能交通是至关重要的组成部分。通过对于人工智能、计算机视觉云计算和大数据等技术的融合应用,智能交通管理系统将使得道路使用者(人与各种车辆)与道路交通设施和谐互动,有助于提升交通安全与效率(包括缓解交通拥堵),从而改善人民的出行体验。

面向智能交通管理的应用场景,深圳市新创中天信息科技发展有限公司(以下简称:新创中天)推出了基于英特尔®AI计算机视觉的智能交通路侧视频边缘计算设备(以下简称:路侧视频边缘计算设备),适用于交通路口、城市道路以及高速公路等不同的场景。部署在网络边缘的该设备搭载了英特尔®赛扬®系列CPU(Central Processing Unit:中央处理器)和英特尔®Movidius™Myriad™ X VPU(Vision Processing Unit:视觉处理器),并基于 OpenVINO™ 工具套件快速进行高性能AI计算机视觉算法开发,实现了优异的性能。以城市中的交通路口为例,该设备能够实现对于机动车(包括特种车辆)、非机动车、行人、交通信号灯、路面交通标识、交通流量状态和交通事件等的检测和识别,并为路侧交通基础设施设备(如交通信号红绿灯等)的自动控制提供相关视频检测分析数据。

背景:基于“端-边-云”架构的智能交通管理系统

充分提升交通安全与效率,除了改善城市空间布局、提升道路供给等措施之外,还需积极发展基于“端-边-云”架构的先进智能交通管理系统。如图1所示,这一系统的核心理念是基于在端侧对于交通状况的全面感知、在边缘和云对交通数据的精准综合分析以及对路侧交通基础设施的实时控制,从而完成丰富多样的智能交通管理功能。

图1. 智能交通管理系统"端-边-云"整体系统架构

在这一智能交通管理系统中,基于边缘计算与AI计算机视觉的路侧视频边缘计算设备是极为重要的基础性设备。该设备负责对路侧感知设备如相机所采集的视觉信息(包括视频和图像)进行实时计算分析,并在必要时与位于云端的控制中心进行数据交互,将优化的信号相位和配时方案输入给路侧的交通信号控制机。结合其它的输入信号,交通信号控制机通过其特定的算法确定最终的相位和配时方案,对路口的交通信号灯进行控制。

相较于传统的感应线圈、磁力计以及激光雷达等检测技术,基于各种相机采集信息的AI计算机视觉技术用于交通目标、状态和事件的检测和分析具有显著的成本优势,非常适合大规模的部署。除了交通路况信息,该设备还可以感知天气(如雨、雪、雾)等环境信息,并将这些信息和本地分析的结果上传至控制中心,作进一步的处理。该设备的普及,有助于全面提升交通安全与效率。

挑战:面向智能交通管理的边缘计算设备

路侧视频边缘计算设备需要实现对于机动车(包括特种车辆)、非机动车、行人、交通信号灯、路面交通标识、交通流量状态和交通事件等的检测和识别,因此需要连接多种相机(包括电警相机、卡口相机、交通流量检测相机、路口监控球机和行人检测相机)以收集所需的视频信息。

电警相机:主要用于拍摄车辆尾部,识别车牌号码等车辆信息;通常安装在电警杆(距离停止线20-25米)上;1台相机能覆盖1-3条车道。卡口相机:主要用于拍摄车辆前部,识别车牌号码等车辆信息;通常安装在电警杆上;1台相机能覆盖1-3条车道。

交通流量检测相机:主要用于拍摄车辆前部或尾部,检测车流量、车道占有时间、排队长度、拥堵路况等,将检测分析数据提供给交通信号控制机,用于交通信号的相位和配时优化;通常安装在电警杆或者交通信号灯杆上;1台相机覆盖4-8车道。路口监控球形相机:主要用于监控路口,也可用于路口下行的反溢(拥堵)检测;可以通过远程控制随时改变拍摄方向和焦距;通常安装在电警杆上。

行人检测相机:主要用于检测行人等待区和斑马线上的行人;通常安装在行人信号灯灯杆或附近路侧设施上。该设备是事关交通安全的关键设备,在实际的部署和使用中,需要解决来自于低成本与低功耗限制下的数据处理性能、可靠稳定性、连接和兼容能力等多方面的技术挑战。

该设备承担着多路相机的视频编解码、基于深度学习计算机视觉的车辆和行人实时检测和分析、车流量和人流量的实时分析、路口交通信号灯的相位和配时分析等负载。该设备的性能主要体现在可同时处理的视频通道数、处理时延和准确率。因为涉及到对交通信号灯的控制,处理时延和准确率对于确保交通安全尤为重要。对于作为最终用户的交通管理部门而言,性能还体现在交通安全与效率的提升。该设备性能的提升,对于芯片的处理能力提出了新的挑战,同时也要满足客户对整体设备成本和功耗的要求,因此需要高性价比和高能效比的芯片产品和系统架构设计。

该设备大多部署于环境恶劣的道路周边,温度和湿度的变化剧烈,外物冲击等司空见惯。这就要求该设备具有极强的环境适应能力,能够适应温度和湿度的变化,具备防水、防尘、防腐蚀和防震动冲击等能力,同时还需具备出色的电磁兼容和抗干扰能力,以确保在整个产品生命周期内不间断地提供稳定可靠的服务。

该设备需要连接多种相机和交通信号控制机等路侧设备,并能与本文中提到的各种智能交通管理子系统进行数据交互。因此它的连接和兼容能力对整体性能至关重要。

新创中天®路侧视频边缘计算设备搭载了英特尔®赛扬®CPU和英特尔®Movidius™ Myriad™ X VPU,拥有传统计算机视觉和基于深度学习的计算机视觉的强大处理能力。其硬件与软件架构分别如图2和图3所示。用于自动交通信号控制时,其与其它设备的连接如图4所示。

图2. 路侧视频边缘计算设备硬件架构

图3. 路侧视频边缘计算设备软件架构

图4. 用于自动交通信号控制的路侧视频边缘计算设备

英特尔®赛扬®系列CPU具备业界领先的性能,支持不同的操作系统,能够满足广泛的业务需求。这一系列CPU不仅具备较强的计算能力,还具备高性价比、高能效比和安全可靠等优点。该处理器内嵌了英特尔®核芯显卡,具备较强的视频编码和解码处理能力。基于这一处理器的路侧视频边缘计算设备不但充分胜任对相关数据的计算、存储与转发,以及对各种所连接设备的控制等功能需求,还具备低成本与低功耗的显著优势。

Myriad™ X VPU 是英特尔第一个包含神经计算引擎(用于深度神经网络推理的专用硬件加速器)的视觉处理器。神经计算引擎结合 16 个强大的 SHAVE 内核和高吞吐量智能内存结构,使得Myriad™ X VPU成为设备上深度神经网络和计算机视觉应用的理想选择。Myriad™ X VPU可以使用 OpenVINO™ 工具套件的英特尔分发版编程,从而将神经网络移植到边缘,还可以通过包含所有必要开发工具、框架和 API 的 Myriad 开发套件 (MDK: Myriad Development Kit) 编程,用于在芯片上实现自定义视觉、成像和深度神经网络工作负载。在实际应用中,Myriad™ X VPU展现出了算力强且功耗低等独特优势。

新创中天正在使用 OpenVINO™ 工具套件来提升视频检测和分析等算法的准确度,加速推理时间,并节约算力资源。OpenVINO™ 工具套件是源自英特尔的一款功能非常全面的优秀软件工具套件,支持快速开发丰富多样的应用和解决方案,来模拟人类的视觉 [1][2][3]。该工具套件基于卷积神经网络 (CNN: Convolutional Neural Network),可在多种英特尔® 硬件中扩展计算机视觉 (CV: Computer Vision) 的工作负载,实现卓越性能。OpenVINO™ 工具套件支持传统计算机视觉和基于深度学习的计算机视觉的丰富多样的应用,其主要包含的功能模块如图5所示。

图5. OpenVINO™工具套件的主要功能模块

支持跨英特尔®深度学习推理加速器的异构执行,将通用 API 用于英特尔的不同硬件平台,包括CPU、集成显卡、包含有英特尔®Movidius™ VPU的神经计算棒和英特尔® HDDL视觉处理加速卡、FPGA等等,可帮助客户实现跨架构的算法移植和优化;通过易于使用的计算机视觉函数库和预优化的内核,加快产品开发和上市速度;包括针对计算机视觉的标准优化调用,包括 OpenCV、OpenCL和 OpenVX。

除了使用OpenVINO™ 工具套件中的AI计算机视觉功能之外,路侧视频边缘计算设备还用到了其中的英特尔®Media SDK,支持在英特尔®集成显卡上进行高性能的视频编码和解码。

得益于英特尔®赛扬®系列CPU和Myriad™ X VPU提供的强大通用计算和AI计算机视觉推理能力,该设备能够对前文提到的各种相机采集的视频或图像信息进行处理,对视频画面中的车辆和行人进行位置坐标标定,能够实现对于机动车(包括特种车辆)、非机动车、行人、交通信号灯、路面交通标识、交通流量状态和交通事件等的检测和识别。以交通流量状态为例,该设备能够实时检测每条车道和每辆车的状态数据,包括每个车道的车辆进入/离开状态、车道占有时间、过车总数量、过车速度、区域内实时车辆数目、最后一辆车的位置、车队长度和车型分类等关键数据信息。该设备可进一步对检测数据进行统计分析。

新创中天研发总工程师周长军表示:“路侧视频边缘计算设备是智能交通管理的重要基础性设备,能够全面增强交通管理部门对于交通路况的感知能力,并基于对实时数据的分析进行高效管理,从而提升交通安全与效率。除了对于机动车(包括特种车辆)、非机动车、行人、交通信号灯、路面交通标识、交通流量状态和交通事件等的检测和识别之外,我们还将进一步增加对道路路面状态和天气等的检测功能,满足更精细化和更有预见性的交通管理需求。”

目前,基于英特尔®AI计算机视觉的新创中天®路侧视频边缘计算设备已经在北京、江西和山东等省市实现了广泛的部署。在用户实践中,该设备展现了以下显著的优势:通过充分利用英特尔的各类芯片产品的出色多媒体处理能力,深度学习加速能力,以及多任务多进程的处理能力,该设备最多可以同时处理12路视频,可以实现基于深度学习的车辆和行人实时检测和分析,车流量和人流量的实时分析,为智能交通管理及时提供相关数据。

另外,该设备将视频处理负载转移到了边缘端,能够有效降低时延,缓解网络转发原始视频信息的带宽压力和中心处理服务器的负载压力,更好地保障信息安全,并能为未来拓展基于位置的服务。

得益于AI计算机视觉核心算法的创新,以及对于英特尔硬件和软件潜能的充分挖掘,该设备可以精确检测和分析视频采集测覆盖区域内每辆车的特征信息和每条车道上的交通状态,并根据这些分析数据精细化控制交通信号灯等系统。该设备还可以通过视频检测不同车型,提供如特种车辆(救护车或消防车)和公交车辆优先通行等多种新业务。

fqj

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 英特尔
    +关注

    关注

    60

    文章

    9881

    浏览量

    171502
  • 计算机视觉
    +关注

    关注

    8

    文章

    1696

    浏览量

    45927
收藏 人收藏

    评论

    相关推荐

    初创公司SEA.AI利用NVIDIA边缘AI计算机视觉技术变革航海安全系统

    总部位于奥地利林茨的初创公司正在利用 NVIDIA 边缘 AI计算机视觉技术变革航海安全系统,让每一次出海变得更安全。
    的头像 发表于 09-09 09:32 465次阅读

    边缘AI放大招!AI模型支持虚拟数智人和机械臂,英特尔边缘平台助力伙伴加速创新

    7月25日,在第17届英特尔网络与边缘计算行业大会上,英特尔和超过400位生态伙伴和客户代表齐聚一堂,共同探讨边缘
    的头像 发表于 07-29 18:05 4519次阅读
    <b class='flag-5'>边缘</b><b class='flag-5'>AI</b>放大招!<b class='flag-5'>AI</b>模型支持虚拟数智人和机械臂,<b class='flag-5'>英特尔</b><b class='flag-5'>边缘</b>平台助力伙伴加速创新

    英特尔举办2024网络与边缘计算行业大会

    今日,第十七届英特尔网络与边缘计算行业大会在天津举行,超过400位生态伙伴和客户代表齐聚一堂,与英特尔共同探讨边缘
    的头像 发表于 07-25 17:56 806次阅读

    锐宝智联亮相2024英特尔网络与边缘计算行业大会

    2024年7月23日至24日,“2024英特尔网络与边缘计算行业大会”在天津于家堡洲际酒店隆重举办。本届大会以“芯所及 AI无处不在”为主题,邀请了400余位企业高管代表参加。会议将聚
    的头像 发表于 07-25 17:54 937次阅读

    芯海科技edge BMC首秀2024英特尔网络与边缘计算行业峰会

    7月23-24日,“2024英特尔网络与边缘计算行业大会”在天津于家堡洲际酒店热烈举行。本届大会以“芯所及 AI无处不在”为主题,汇聚全球网络与边缘
    发表于 07-25 13:40 180次阅读
    芯海科技edge BMC首秀2024<b class='flag-5'>英特尔</b>网络与<b class='flag-5'>边缘</b><b class='flag-5'>计算</b>行业峰会

    智能边缘放大招!英特尔举办2024网络与边缘计算行业大会,边缘AI创新助力多元化应用

    今日,第十七届英特尔网络与边缘计算行业大会在天津举行,超过400位生态伙伴和客户代表齐聚一堂,与英特尔共同探讨边缘
    的头像 发表于 07-25 09:10 2946次阅读
    智能<b class='flag-5'>边缘</b>放大招!<b class='flag-5'>英特尔</b>举办2024网络与<b class='flag-5'>边缘</b><b class='flag-5'>计算</b>行业大会,<b class='flag-5'>边缘</b><b class='flag-5'>AI</b>创新助力多元化应用

    芯海科技edge BMC首秀2024英特尔网络与边缘计算行业峰会

    7月23-24日,“2024英特尔网络与边缘计算行业大会”在天津于家堡洲际酒店热烈举行。本届大会以“芯所及AI无处不在”为主题,汇聚全球网络与边缘
    的头像 发表于 07-25 08:16 447次阅读
    芯海科技edge BMC首秀2024<b class='flag-5'>英特尔</b>网络与<b class='flag-5'>边缘</b><b class='flag-5'>计算</b>行业峰会

    计算机视觉技术的AI算法模型

    计算机视觉技术作为人工智能领域的一个重要分支,旨在使计算机能够像人类一样理解和解释图像及视频中的信息。为了实现这一目标,计算机视觉技术依赖于
    的头像 发表于 07-24 12:46 621次阅读

    计算机视觉属于人工智能吗

    属于,计算机视觉是人工智能领域的一个重要分支。 引言 计算机视觉是一门研究如何使计算机具有视觉
    的头像 发表于 07-09 09:11 1145次阅读

    计算机视觉的主要研究方向

    计算机视觉(Computer Vision, CV)作为人工智能领域的一个重要分支,致力于使计算机能够像人眼一样理解和解释图像和视频中的信息。随着深度学习、大数据等技术的快速发展,计算机
    的头像 发表于 06-06 17:17 848次阅读

    英特尔最大神经形态计算机研制成功

    英特尔公司最近成功研制出了世界上最大的神经形态计算机Hala Point,这一创新性的技术突破在人工智能领域引起了广泛关注。
    的头像 发表于 04-22 10:10 406次阅读

    基于英特尔哪吒开发者套件平台来快速部署OpenVINO Java实战

    OpenVINO 工具套件基于OneAPI开发,可以加快高性能计算机视觉和深度学习应用开发速度的工具套件,适用于从边缘到云的各种英特尔计算
    的头像 发表于 03-21 18:24 1421次阅读
    基于<b class='flag-5'>英特尔</b>哪吒开发者套件平台来快速部署OpenVINO Java实战

    英特尔发布全新边缘计算平台,解决AI边缘落地难题

    2030年,至少一半的边缘计算部署将纳入AI。   英特尔全新商用边缘计算平台  
    的头像 发表于 03-12 09:06 4273次阅读
    <b class='flag-5'>英特尔</b>发布全新<b class='flag-5'>边缘</b><b class='flag-5'>计算</b>平台,解决<b class='flag-5'>AI</b><b class='flag-5'>边缘</b>落地难题

    AI边缘计算机应用场景广泛!大语言模型与数字人结合方案在边缘侧落地

    电子发烧友网报道(文/李弯弯)AI边缘计算机是一种人工智能和边缘计算技术相结合的计算机设备。它可
    的头像 发表于 01-16 01:11 4382次阅读
    <b class='flag-5'>AI</b><b class='flag-5'>边缘</b><b class='flag-5'>计算机</b>应用场景广泛!大语言模型与数字人结合方案在<b class='flag-5'>边缘</b>侧落地

    最适合 AI 应用的计算机视觉类型是什么?

    着眼于使计算机能够像人类一样通过“看”来感知世界,从这一视角对人工智能 (AI) 进行了探讨。我将简要比较每一类计算机视觉,尤其关注在本地而不是依赖基于云的资源收集和处理数据,并根据数
    的头像 发表于 12-18 13:09 7180次阅读
    最适合 <b class='flag-5'>AI</b> 应用的<b class='flag-5'>计算机</b><b class='flag-5'>视觉</b>类型是什么?