0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

ISP是什么,达摩院为什么要自研ISP图像处理器

独爱72H 来源:猎云网 作者:猎云网 2020-04-09 15:15 次阅读

(文章来源:猎云网)

4月8日,阿里达摩院宣布推出自研ISP图像处理器,并且在夜间等具有挑战性的环境下图像识别精准率比业界主流产品有10%以上的提升。ISP处理器是摄像头的关键组件,阿里达摩院进入这个领域的逻辑是什么?

ISP是图像信号处理器(Image Signal Processor)的简称,目前已经被广泛应用于我们每个人的智能手机当中。大家都知道现在有海量的嵌入式设备都带摄像头,近至我们的智能手机、很多的大众消费级的显示器,当然也包含正在研发当中的智能驾驶系统,以及各种公共场所上的监控设备,远至在近地轨道上运行的众多微型卫星,可以说图像信号的获取和处理是一个极为广泛存在的需求。图像信号处理器能够对摄像头拍摄到的画面做不同程度的分析,并对画面做不同程序的增强和改善。

以现在的智能手机为例,大家几乎每天都会使用自己的智能手机来拍照,而现在的各家智能手机厂商,都并不直接研发摄像头模组,都是采购欧菲光,索尼等第三方厂商的摄像头模组,有时候不同的智能手机用了同一个厂家、同一个型号的摄像头,但是照片呈现出来的质量仍然有非常明显的不同,这很大程度上就是因为各家厂商使用的ISP的好坏导致的。

对于大家比较熟悉的智能手机日常拍照的场景,手机芯片内置的ISP会进行自动人脸对焦,自动色调映射等一系列功能,这其中有很多讲究,都会直接影响到最终照片质量,例如ISP的自动图像锐化,如果锐化太多,则照片会有比较明显的“扎眼”的感觉,如果锐化太少,则照片整体会有一种朦胧感,给人的感受是这个手机的拍照系统捕捉细节的能力不足。而众多消费者们每天拍照的场景条件千奇百怪五花八门,没有一种自动锐化技术是放之四海皆准的,ISP必须能够自动地检测识别场景中的一些特征来决定锐化进行到何种程度。这类ISP研发中的难点反应到产品上,就是大家经常会争论的各家智能手机拍照系统的“出片风格”、“出片质量”了。

在当前流行的在自动驾驶系统构架设计中,总的来说一般都会有一个很强的人工智能系统,去判断拍照系统传回的当前场景信息,例如当前场景存在哪些车辆,行人,障碍物,估计速度,估计距离等等。让这个人工智能系统要想实现高度准确判断的前提,是拍照系统传回的当前场景信息尽可能准确无误。

可以说相比手机这样的大众消费品,自动驾驶更加需要ISP。因为对于手机来说,ISP只是决定照片质量的好坏,无非是一个观感问题,而在高速运动的车辆上,如果ISP不能准确地将场景特征暴露给后继系统部件,导致的结果就可能会是灾难性的。

例如,由于车辆会处在高速运动当中,所以摄像头拍摄到的照片往往会带有一定的“拖尾”或者“重影”,这对于图像处理系统中的后继算法去识别物体特征是不利的,因此ISP的重要职责之一就是减少这种“拖尾”和“重影”。这在ISP当中是一个非常重要的子领域叫做“运动估计”。

再例如,如果是在夜间行车,那么由于当前摄像头传感器技术的限制,夜间的成像往往会暴露比日间成像更多的问题,摄像头传感器为了捕捉更多的场景细节,就不得不延长曝光时间,提高进光量,但这样一来又会带来明显的噪点。例如在这组对比图片中,左图经过处理后明显暴露出了更多的场景信息,树木,草地的细节和边缘都更加清晰锐利,但与此同时在背景的夜空中,在远处的建筑上,都存在着更多的噪点。

再考虑到自动驾驶系统中应用的电子元器件还有经过车规级验证,难度又更上一层楼。据笔者所知,一些车规级电子元器件需要耐受125度的工作温度,而一般大众消费级市场上的芯片,例如IntelCPU,只要求100度,接近这个温度就会触发过热保护,电脑会自动掉电重启。与此同时车规级芯片对可靠性也有额外要求,因此可以毫不夸张地说,ISP在整个自动驾驶系统中的地位是至关重要的,ISP的研发也是非常具有技术含量和挑战性的一个领域。

经过20年的发展,阿里从一家电商公司发展成为一家科技巨头公司,并且今天已经开始扮演全社会数字经济的基础设施。今天的阿里不仅在业务范围上进行横向扩张,同时在业务深度上也在进行纵向扩张。所以我们看到过去几年里,阿里进入了芯片等基础研研究领域,成立了达摩院,设立了平头哥半导体公司,并且在量子计算等很多前沿的领域展开研究。

自动驾驶毫无疑问是未来十年中可能带来颠覆性变化的赛道,阿里没有理由缺席,更不要说阿里的很多业务场景也需要自动化升级。而顶级的自动驾驶系统,必然是软件-硬件的配合(人工智能算法 + 传感器),同样也有硬件-硬件间的配合(多传感器融合)。

理想的自动驾驶系统需要在复杂的道路光线环境/恶劣天气环境下仍然可以得到满足深度学习算法所需要的图像数据,这需要算法设计和硬件设计之间的相互配合,与此同时,预知图像传感器的曝光时间极其重要,可以保证雷达扫描到某一位置时刻同时触发图像传感器曝光,这需要硬件与硬件之间的相互配合。因此达摩院选择了自研ISP去追求这一极致。

从目前接触到的评测结果来看,达摩院的自研ISP已经毫无疑问地跻身业界一流水平,经过自研ISP与深度学习算法的互相配合,夜间场景的识别准确率提升了十个百分点。不要小瞧这十个百分点的提升,这背后有深层算法的创新,对于提升自动驾驶设备的感知能力有着巨大的提升作用。
(责任编辑:fqj)

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • ISP
    ISP
    +关注

    关注

    6

    文章

    476

    浏览量

    51805
  • 阿里达摩院
    +关注

    关注

    0

    文章

    29

    浏览量

    3326
收藏 人收藏

    评论

    相关推荐

    ISP算法及架构分析介绍

    一、ISP算法及架构分析介绍 ISP即Image Signal Processor,是一种图像处理架构,不是我们用的下载
    的头像 发表于 11-26 10:05 299次阅读
    ​<b class='flag-5'>ISP</b>算法及架构分析介绍

    AI ISP的技术优势和市场前景

    (电子发烧友网综合报道)ISP是Image Signal Processor的简称,即图像信号处理器。它主要负责处理图像传感
    发表于 11-20 00:24 738次阅读

    开源ISP(Infinite-ISP)介绍

    ISP图像传感获取 RAW 像素,并将其转换为与人类对所捕获场景的感知相匹配的图像ISP 是每个摄像头和视觉系统中必不可少的基本硬件
    的头像 发表于 11-18 10:21 402次阅读
    开源<b class='flag-5'>ISP</b>(Infinite-<b class='flag-5'>ISP</b>)介绍

    智能驾驶需要怎样的ISP

    ISP的性能。 不止于手机,实际上几乎任何需要用到图像传感的场景都需要ISP对传感获取到的信息进行
    的头像 发表于 08-30 09:05 4562次阅读

    i.MX 8M Plus中的ISP图像信号处理模块特性概述

    应用处理器,是一款专注于机器学习和视觉、高级多媒体以及具有高可靠性的工业自动化解决方案,旨在满足智慧家庭、楼宇、城市和工业4.0等应用的需求。 为了满足日益增长的图像和视觉处理的需求,i.MX 8M Plus搭载了内置
    的头像 发表于 08-02 11:39 1256次阅读

    化腐朽为神奇!揭开ISP图像处理的神秘面纱,基于瑞芯微RK3568J工业平台!

    Processor),即图像信号处理,主要作用是处理前端图像传感输出的信号,主要功能有线性纠正、噪声消除、自动白平衡、自动曝光控制等,能
    发表于 07-25 16:00

    全志T527芯片详解【二】:高清图像编解码

    Engine) 去隔行处理单元(De-interIace) 2D图像加速单元(Graphic2D) 视频编解码引擎(Video Engine) 视觉
    发表于 05-24 14:14

    化腐朽为神奇!揭开ISP图像处理的神秘面纱,基于瑞芯微RK3568J工业平台!

    1 原始图像显示效果 图2 经ISP图像处理后显示效果   ISP简介   ISP(Image
    的头像 发表于 04-29 09:46 639次阅读
    化腐朽为神奇!揭开<b class='flag-5'>ISP</b><b class='flag-5'>图像</b><b class='flag-5'>处理</b>的神秘面纱,基于瑞芯微RK3568J工业平台!

    化腐朽为神奇!揭开ISP图像处理的神秘面纱,基于瑞芯微RK3568J工业平台!

    ISP图像处理前后图像对比化腐朽为神奇!经过ISP图像处理
    的头像 发表于 04-29 08:07 444次阅读
    化腐朽为神奇!揭开<b class='flag-5'>ISP</b><b class='flag-5'>图像</b><b class='flag-5'>处理</b>的神秘面纱,基于瑞芯微RK3568J工业平台!

    嘉楠基于RISC-V的端侧AIoT SoC采用了芯原的ISP IP和GPU IP

    原的图像信号处理器 (ISP) IP ISP8000、畸变矫正 (DeWarp) 处理器IP DW200,以及2.5D图形
    的头像 发表于 03-14 09:03 509次阅读

    TL3588--ISP图像处理开发案例

    TL3588--ISP图像处理开发案例
    的头像 发表于 01-25 09:14 762次阅读
    TL3588--<b class='flag-5'>ISP</b><b class='flag-5'>图像</b><b class='flag-5'>处理</b>开发案例

    RK3568-ISP图像处理开发案例

    RK3568-ISP图像处理开发案例
    的头像 发表于 01-19 11:46 1073次阅读
    RK3568-<b class='flag-5'>ISP</b><b class='flag-5'>图像</b><b class='flag-5'>处理</b>开发案例

    芯原专为高性能汽车应用而设计的图像信号处理器通过标准认证

    2024年1月8日,美国拉斯维加斯——芯原股份 (芯原,股票代码:688521.SH) 今日宣布其专为高性能汽车应用而设计的图像信号处理器 (ISP) IP ISP
    的头像 发表于 01-12 16:45 1225次阅读

    芯原股份第二代ISP系列IP通过ISO 26262认证

    芯原股份 (芯原,股票代码:688521.SH) 近日公布了一项重大进展,其专为高性能汽车应用打造的图像信号处理器 (ISP) IP——ISP8200-FS和
    的头像 发表于 01-09 13:55 659次阅读

    i.MX 8M Plus集成ISP校准的优势

    相机系统设计比较复杂。它要求根据不同的应用场景,选择合适的镜头和图像传感组合,并对图像信号处理器 (ISP) 进行校准和调整。该流程涉及在
    的头像 发表于 01-05 10:51 777次阅读