0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

将eFPGA应用于嵌入式360度视域视觉系统中

西西 作者:厂商供稿 2018-04-25 17:08 次阅读

作者:Alok Sanghavi,Achronix Semiconductor资深产品营销经理

引言:2018年4月11日,工业信息化部、公安部和交通运输部联合发布“关于印发《智能网联汽车道路测试管理规范(试行)》的通知”,为我国智能网联汽车道路测试提供了相关法律依据。三部委在赋予智能网联汽车上路资格的同时,也提出了若干严格的条件。

其中,在第二章“测试主体、测试驾驶人及测试车辆”的第七条第(四)点中,三部委要求:具备车辆状态记录、存储及在线监控功能,能实时回传下列第1、2、3项信息,并自动记录和存储下列各项信息在车辆事故或失效状况发生前至少90秒的数据,数据存储时间不少于3年:

1. 车辆控制模式;

2. 车辆位置;

3. 车辆速度、加速度等运动状态;

4. 环境感知与响应状态;

5. 车辆灯光、信号实时状态;

6. 车辆外部360度视频监控情况;

7. 反映测试驾驶人和人机交互状态的车内视频及语音监控情况;

8. 车辆接收的远程控制指令(如有);

9. 车辆故障情况(如有)。

由此可以看出,上述条件除了对进行道路测试的智能网联汽车有若干功能性要求外,还在相关领域将推动若干新一代通信、监控、控制和存储等技术的发展,为智能网联汽车专用SoC的开发提供新的市场机会。

嵌入式FPGA(eFPGA)将在这类芯片中扮演重要角色。如为了满足第六条中提到的车辆外部360度视频监控数据的获取和处理,采用eFPGA来设计相关功能芯片具有很明显的优势。作为同时提供独立FPGA芯片和eFPGA IP产品的公司,Achronix可以帮助智能汽车SoC设计人员先在FPGA芯片上开发和调试相关功能,而在市场进入批量化应用后无需显著修改设计,立即将设计移植到搭载了eFPGA的SoC之上。

带有多个高分辨率摄像头的嵌入式360°视域视觉系统已经进入了各种应用中,如汽车传感器融合、视频监控、目标检测、运动分析等。在此类系统中,多个实时摄像机的视频流(最多6个) 被汇聚在一起逐帧处理,进行失真和其他图像伪影校正,调整曝光和白平衡,然后动态拼接成一个360°全景视图,以4K清晰度和60 fps帧频输出,最终投影到一个球形坐标空间上。

目前用于此类应用的高分辨率鱼眼相机镜头通常具有一个广角视域(FOV)。环视相机系统最大的瓶颈之一是: 实时到或从外部存储器存储/读取和访问多路摄像机输入数据,然后将其作为一个单一帧进行处理。硬件需要在一帧延迟内,在输入摄像机传入的原始传感器数据和拼接输出视频之间完成处理运行。

高性能计算平台一直朝着与CPU一起协同使用FPGA的方向发展,以便为实时图像处理任务提供专门的硬件加速。 这种配置使得CPU能专注于特别复杂的算法,其中它们可以快速切换线程和上下文,并将重复性任务分配给一个FPGA,以充当可配置的硬件加速器/协处理器/卸载引擎。 即使将FPGA和CPU作为分立器件使用,系统也可以提高整体效率,因为这些技术不会发生冲突,而是像将手套戴在手上一样来配合在一起。

例如,从鱼眼镜头获得的图像遭受严重失真之苦,因而基于多个相机视频生成的拼接操作是高度计算密集型的任务,其原因为它是点像素操作。这种拼接需要大量的实时图像处理和高度并行化的架构。但是,这种下一代的应用超过了FPGA可不断接续实现的性能,主要是由于芯片吞吐数据的延迟。这反过来会影响整个系统的整体延迟、吞吐速度和性能。

在一个SoC中加入可与CPU一起嵌入的eFPGA半导体知识产权(IP)。与一个独立的FPGA芯片加CPU解决方案相比,嵌入式FPGA阵列结构具有独特的优势,主要优势在于性能更强。一个eFPGA可通过一个宽的并行接口直接连接到ASIC(无I / O缓冲器)上,提供显著提高的吞吐量,以及以个位数时钟周期来计数的延迟。低延迟是复杂的图像实时处理过程的关键,例如纠正鱼眼镜头的失真这样的处理。

利用Speedcore eFPGA IP,客户可以定义其逻辑、内存和DSP资源需求,然后Achronix可配置其IP以满足他们的需求。查找表(LUTs)、RAM单元块和DSP64单元块可以像积木一样进行组合,为任何给定的应用创建最佳的可编程结构。

除了标准逻辑、嵌入式存储器和DSP单元模块之外,客户还可以在Speedcore eFPGA结构里面定义他们自己的功能块。通过把这些定制功能模块与传统构建模块一起集成到逻辑阵列结构中,可添加优化过的功能来减少面积和提高目标应用的性能,可使eFPGA的性能得到极大的提高,特别是对嵌入式视觉和图像处理算法非常有效。

用自定义单元块来成功地解决高性能图像处理就是一个很好的例子,在实现您只看一次(YOLO)这一种使用了神经网络的、最先进的、实时对象检测算法时,可以优于早期的方法大大提高性能。该算法依赖于大量的矩阵乘法器,而在FPGA中实现时,这些矩阵乘法器需要使用DSP和RAM模块来构建;YOLO所需要的DSP和RAM模块之间的最佳配置,与一个典型的FPGA阵列结构中发现的不匹配之处就会出现问题。例如,FPGA阵列结构可能提供18×27乘法/累加单元块和32×128 RAM的DSP单元块,而此时的最佳解决方案可能是带有48×1024 RAM的16×8 DSP单元块。通过创建实现最佳DSP和RAM模块配置的定制单元块,所得到的Speedcore阵列结构所使用的芯片面积就会减少40%,来实现相同的功能并且能获得更高级别的系统性能。

在SoC中嵌入FPGA阵列结构提供了两个额外的系统级好处:

更低的功耗 - 可编程I / O电路占独立FPGA芯片总功耗的一半,而一个eFPGA可以与主控SoC中的其他模块直接内部线路连接,完全不需要大型可编程I / O缓冲器。

更低的系统成本 - 由于eFPGA只需实现特定功能,eFPGA的裸片尺寸远小于等效的独立FPGA芯片,这是因为eFPGA不再需要可编程的I / O缓冲器和不必要的接口逻辑。

借助超低延迟和实时处理功能,可以有效实现基于360°视域的视觉系统,具有定制单元块的Speedcore eFPGA与同一主控SoC中的一个CPU配合使用,非常适合去实现专用功能,如目标检测和图像识别、变形和失真校正、以及最后将最终图像拼接在一起。在SoC中嵌入FPGA阵列结构是超深亚微米时代系统集成的一个自然发展过程。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 嵌入式
    +关注

    关注

    5062

    文章

    18984

    浏览量

    302362
  • soc
    soc
    +关注

    关注

    38

    文章

    4110

    浏览量

    217809
  • 视觉系统
    +关注

    关注

    3

    文章

    331

    浏览量

    30669
  • efpga
    +关注

    关注

    1

    文章

    32

    浏览量

    15668
收藏 人收藏

    评论

    相关推荐

    嵌入式和人工智能究竟是什么关系?

    了数据传输的压力,还提高了系统的响应速度。而在物联网嵌入式系统更是一个核心的组成部分。通过人工智能算法
    发表于 11-14 16:39

    安森美机器视觉系统解决方案

    ,它还用于验证数据矩阵码、检查食品包装和读取条形码。机器视觉系统方案指南全面介绍机器视觉系统方案及市场趋势,本文为第二部分,重点介绍
    的头像 发表于 11-14 09:53 59次阅读
    安森美机器<b class='flag-5'>视觉系统</b>解决方案

    ARMxy嵌入式计算机在机器视觉的卓越表现

    处理系统和输出显示系统三部分组成。嵌入式视觉系统硬件集成摄像头模组和处理板,图像捕获和图像处理功能结合在一台设备
    的头像 发表于 10-10 14:47 188次阅读
    ARMxy<b class='flag-5'>嵌入式</b>计算机在机器<b class='flag-5'>视觉</b><b class='flag-5'>中</b>的卓越表现

    Primemas选择Achronix eFPGA技术用于Chiplet平台

    高性能 FPGA嵌入式FPGAeFPGA) IP 的领导者 Achronix Semiconductor Corporation 和使用Chiplet 技术开发创新 SoC H
    的头像 发表于 09-18 16:16 456次阅读

    机器视觉嵌入式的应用

    机器视觉嵌入式系统的应用是一个广泛而深入的话题,涉及到许多不同的领域和技术。 机器视觉嵌入式
    的头像 发表于 07-16 10:30 428次阅读

    嵌入式热门发展方向有哪些?

    嵌入式人工智能可以运用机器学习技术对图像、视频进行高精度解析,从而实现图像识别、视频剪辑、视频智能关联应用等。在传感器网络系统嵌入式人工智能主要是
    发表于 04-11 14:17

    fpga嵌入式应该学哪个

    FPGA嵌入式系统是两个不同的领域,各有其特点和优势,选择学习哪个取决于个人的兴趣、职业目标以及市场需求。
    的头像 发表于 03-27 14:43 701次阅读

    嵌入式fpga是什么意思

    嵌入式FPGA是指FPGA技术集成到嵌入式系统
    的头像 发表于 03-15 14:29 1172次阅读

    fpga嵌入式

    FPGA(现场可编程门阵列)不是嵌入式系统,但FPGA嵌入式系统中有着重要的应用。
    的头像 发表于 03-14 17:19 2108次阅读

    fpga嵌入式的区别 嵌入式fpga开发有什么关系

    fpga嵌入式的区别 FPGA嵌入式系统在设计和应用上存在一些关键的区别,具体如下: 灵活性:FPG
    的头像 发表于 03-14 17:04 6698次阅读

    fpga嵌入式哪个前景好

    FPGA嵌入式系统各有其独特的优势和应用领域,因此很难直接判断哪个的前景更好。它们在不同的领域都有广泛的应用和重要的价值。
    的头像 发表于 03-14 16:37 2226次阅读

    嵌入式系统发展前景?

    设备、健康监测等领域有着广泛的应用前景。随着人们对健康的重视程度不断提高,嵌入式系统更为深入地应用于医疗设备和健康护理,实现个人健康管理
    发表于 02-22 14:09

    嵌入式学习步骤

    硬件组件。 (4).开发固件:编写嵌入式系统的固件,这是嵌入式系统的软件部分。固件负责控制硬件并执行特定任务。 (5).调试和测试:在
    发表于 02-02 15:24

    啥是嵌入式嵌入式都有啥?薪资如何?前景如何

    嵌入式系统(Embedded Systems)是一种特殊类型的计算机系统,被嵌入到其他设备或系统
    的头像 发表于 01-17 16:39 774次阅读
    啥是<b class='flag-5'>嵌入式</b>?<b class='flag-5'>嵌入式</b>都有啥?薪资如何?前景如何

    什么是嵌入式系统嵌入式系统的具体应用

    嵌入式,一般是指嵌入式系统用于控制、监视或者辅助操作机器和设备的装置。
    的头像 发表于 12-20 13:33 2353次阅读