阿里达摩院自研ISP处理器，可用于车载摄像头中

4月8日，阿里达摩院宣布自主研发出用于车载摄像头的ISP处理器，保障自动驾驶车辆在夜间拥有更好的“视力”，“看”得更清晰，从而大幅提升自动驾驶安全性。这款ISP处理器的背后技术是达摩院独有的3D降噪和图像增强算法。目前，该处理器已经用于自动驾驶物流车，路测性能达到业界领先水平。

ISP处理器是摄像头的关键组件，阿里达摩院进入这个领域的逻辑是什么？

什么是ISP？

ISP是图像信号处理器（Image Signal Processor）的简称，目前已经被广泛应用于我们每个人的智能手机当中。大家都知道现在有海量的嵌入式设备都带摄像头，近至我们的智能手机、很多的大众消费级的显示器，当然也包含正在研发当中的智能驾驶系统，以及各种公共场所上的监控设备，远至在近地轨道上运行的众多微型卫星，可以说图像信号的获取和处理是一个极为广泛存在的需求。图像信号处理器能够对摄像头拍摄到的画面做不同程度的分析，并对画面做不同程序的增强和改善。

以现在的智能手机为例，大家几乎每天都会使用自己的智能手机来拍照，而现在的各家智能手机厂商，都并不直接研发摄像头模组，都是采购欧菲光，索尼等第三方厂商的摄像头模组，有时候不同的智能手机用了同一个厂家、同一个型号的摄像头，但是照片呈现出来的质量仍然有非常明显的不同，这很大程度上就是因为各家厂商使用的ISP的好坏导致的。

对于大家比较熟悉的智能手机日常拍照的场景，手机芯片内置的ISP会进行自动人脸对焦，自动白平衡，自动色调映射等一系列功能，这其中有很多讲究，都会直接影响到最终照片质量，例如ISP的自动图像锐化，如果锐化太多，则照片会有比较明显的“扎眼”的感觉（因为照片中绝大多数物体边缘都被优化的太过于锐利），如果锐化太少，则照片整体会有一种朦胧感，给人的感受是这个手机的拍照系统捕捉细节的能力不足。而众多消费者们每天拍照的场景条件千奇百怪五花八门，没有一种自动锐化技术是放之四海皆准的，ISP必须能够自动地检测识别场景中的一些特征来决定锐化进行到何种程度。这类ISP研发中的难点反应到产品上，就是大家经常会争论的各家智能手机拍照系统的“出片风格”、“出片质量”了。

为什么自动驾驶需要ISP？

在当前流行的在自动驾驶系统构架设计中，总的来说一般都会有一个很强的人工智能系统，去判断拍照系统传回的当前场景信息，例如当前场景存在哪些车辆，行人，障碍物，估计速度，估计距离等等。让这个人工智能系统要想实现高度准确判断的前提，是拍照系统传回的当前场景信息尽可能准确无误。

可以说相比手机这样的大众消费品，自动驾驶更加需要ISP。因为对于手机来说，ISP只是决定照片质量的好坏，无非是一个观感问题，而在高速运动的车辆上，如果ISP不能准确地将场景特征暴露给后继系统部件，导致的结果就可能会是灾难性的。

例如，由于车辆会处在高速运动当中，所以摄像头拍摄到的照片往往会带有一定的“拖尾”或者“重影”，这对于图像处理系统中的后继算法去识别物体特征是不利的，因此ISP的重要职责之一就是减少这种“拖尾”和“重影”。这在ISP当中是一个非常重要的子领域叫做“运动估计”。

再例如，如果是在夜间行车，那么由于当前摄像头传感器技术的限制，夜间的成像往往会暴露比日间成像更多的问题，摄像头传感器为了捕捉更多的场景细节，就不得不延长曝光时间，提高进光量，但这样一来又会带来明显的噪点。例如在这组对比图片中，左图经过处理后明显暴露出了更多的场景信息，树木，草地的细节和边缘都更加清晰锐利，但与此同时在背景的夜空中，在远处的建筑上，都存在着更多的噪点。

再考虑到自动驾驶系统中应用的电子元器件还有经过车规级验证，难度又更上一层楼。据笔者所知，一些车规级电子元器件需要耐受125度的工作温度，而一般大众消费级市场上的芯片，例如Intel的CPU，只要求100度，接近这个温度就会触发过热保护，电脑会自动掉电重启。与此同时车规级芯片对可靠性也有额外要求，因此可以毫不夸张地说，ISP在整个自动驾驶系统中的地位是至关重要的，ISP的研发也是非常具有技术含量和挑战性的一个领域。

达摩院为什么要自研ISP？

经过20年的发展，阿里从一家电商公司发展成为一家科技巨头公司，并且今天已经开始扮演全社会数字经济的基础设施。今天的阿里不仅在业务范围上进行横向扩张，同时在业务深度上也在进行纵向扩张。所以我们看到过去几年里，阿里进入了芯片等基础研研究领域，成立了达摩院，设立了平头哥半导体公司，并且在量子计算等很多前沿的领域展开研究。

自动驾驶毫无疑问是未来十年中可能带来颠覆性变化的赛道，阿里没有理由缺席，更不要说阿里的很多业务场景也需要自动化升级。而顶级的自动驾驶系统，必然是软件-硬件的配合（人工智能算法 + 传感器），同样也有硬件-硬件间的配合（多传感器融合）。

理想的自动驾驶系统需要在复杂的道路光线环境/恶劣天气环境下仍然可以得到满足深度学习算法所需要的图像数据，这需要算法设计和硬件设计之间的相互配合，与此同时，预知图像传感器的曝光时间极其重要，可以保证雷达扫描到某一位置时刻同时触发图像传感器曝光，这需要硬件与硬件之间的相互配合。因此达摩院选择了自研ISP去追求这一极致。

从目前接触到的评测结果来看，达摩院的自研ISP已经毫无疑问地跻身业界一流水平，经过自研ISP与深度学习算法的互相配合，夜间场景的识别准确率提升了十个百分点。不要小瞧这十个百分点的提升，这背后有深层算法的创新，对于提升自动驾驶设备的感知能力有着巨大的提升作用。

阿里的战略

观察一家企业的战略，需要一个长时段的维度。从这个角度出发，阿里自研ISP处理器，可能是阿里“芯”战略的关键一步。

阿里已经先后发布了自研RISCV CPU，自研AI加速芯片，再加上自研ISP处理器的面世，一颗片上系统芯片（SoC）需要的几大件都摆到了台面上。

所以，现在这几个大件已经可以很明显地拼出阿里在芯片战略领域的初步轮廓：阿里将会拿出自研的AliSoC，进一步地与同样正在深耕硬件领域的Google，Amazon等国际顶级厂商展开更多竞争。

十年前的阿里，大众认知里还只有电商淘宝。差不多五年前，大家认知里加上了金融（支付宝），拉近到三年前，大家又接纳了阿里云计算。从达摩院宣布成立到现在短短几年时间，阿里又在极度依赖技术积累的核心硬件领域开始弯道超车，可能用不了几年，大家又会接纳阿里成了一家成功的芯片公司，一家拥有核心技术的新经济基础设施公司。

唯一不变的是变化。且待阿里“芯”光灿烂。

达摩院自研ISP处理器，使得车载摄像头在白天和夜间的图像识别能力大幅提升。根据达摩院自动驾驶实验室的路测结果显示，使用达摩院ISP处理器，车载摄像头在夜间这个最富有挑战的场景下，图像物体检测识别能力比业内主流处理器有10%以上的提升，原本模糊不清的标注物也得以清晰识别。

“车载摄像头图像质量的大幅提升，提高了自动驾驶的检测识别能力，进一步保障了自动驾驶的安全性。”达摩院自动驾驶实验室高级技术专家广瞻指出，通过达摩院独有的3D降噪和图像增强算法，达摩院ISP处理器帮助扮演自动驾驶车辆“眼睛”角色的摄像头，有了更好的“视力”，夜间环境下看得更清晰。

行业专家指出，由于成本较低，并且技术成熟，车载摄像头成为自动驾驶市场上应用最广泛的传感器。性能强大的ISP处理器，将提升自动驾驶产业链的智能化水平。

一 解构达摩院 ISP 处理器技术

每当杭州夜色降临，来自达摩院自动驾驶实验室的无人车便上路，这些搭载着阿里自研 ISP 芯片的车辆在夜路上逐步优化升级。所谓 ISP （Image Signal Processor），即图像信号处理器，是车载摄像头的重要构成组件，主要作用是对前端图像传感器 CMOS 输出的信号进行运算处理。ISP 处理器一般运用在安防，自动驾驶，手机、相机等领域，在手机、相机等传统领域中，一般用作拍照，对实时性要求不高，在这种情况下，往往可以采取例如夜间长曝光时间的方法来达到较好的拍摄效果。而在安防领域，场景往往是固定的，背景不涉及到运动，但自动驾驶场景全天候都处在运动状态中，此外，自动驾驶尤其注重安全，因此，对于图像质量、数据传输和处理速度要求较高，需达到实时性要求。达摩院自动驾驶实验室，高级技术专家 丁虎平（广瞻）向机器之心介绍，目前白天场景 ISP 芯片表现良好，但在夜间、阴天、道路光线复杂、天气恶劣等极端情况下，ISP 芯片需要路测去发现并解决问题。根据达摩院自动驾驶实验室的路测结果显示，使用达摩院 ISP 处理器，车载摄像头在夜间这个最富挑战的场景下，图像识别能力比业内主流 ISP 处理器有 10% 以上的大幅度提升，原本模糊不清的标志物也得以清晰识别，降低漏检、误检的可能。

测试显示，达摩院 ISP 处理器 （左） 能够识别更多的标志物车载摄像头图像识别能力的大幅提升，进一步保障了自动驾驶的安全性，背后的技术是达摩院独有的 3D 降噪和图像增强算法。

达摩院ISP处理器路测效果3D 降噪技术是由原先传统的 2D 技术升级，即在原有的帧内降噪的基础上，增加了帧与帧之间降噪的功能，使图像明暗部分的细节都更加清晰、更接近人眼看到的实际效果，运动估计是 3D 降噪的重要环节，精准的运动估计可以最大程度减小场景中运动物体因为帧间降噪引入的运动拖尾。达摩院在此基础上，同时对图像的噪声水平进行准确估计，通过噪声估计用以指导降噪强度，在保证降噪效果的同时最大程度保留物体结构以及边缘信息。在图像增强方面，达摩院针对夜间场景，引入局部对比度增强处理，在控制曝光时间的同时，对图像局部进行对比度拉伸，既保证整体图像结构和细节，又可以减轻因长曝光引起的运动模糊。丁虎平向机器之心介绍道，局部对比度增强处理是达摩院在图像增强上的特色，与整体图像增强不同的是，它将图像分割成若干区域，针对局部区域的灰度特征进行增强处理。他表示，目前在车规级图像处理器领域，该款芯片处于业界一流水平。

二 自动驾驶领域「后发者」阿里

早在 2014 年左右，彼时阿里巴巴在智能汽车领域的布局还较为保守——希望首先给汽车加装智能操作系统，让其具备智能操控、感知、服务等能力，相对成熟后再发力自动驾驶。阿里一直在自主研发车载操作系统 AliOS，这一操作系统为斑马智行以及荣威系列互联网汽车提供了支持。2014 年，AliOS 与上汽深度合作，2015 年，斑马网络由阿里巴巴集团和上汽共同发起的智联网汽车基金投资成立，斑马智行便是由斑马网络所打造的基于 AliOS 的智联网汽车开放平台；2016 年 7 月，阿里同上汽合作发布了「全球首款量产互联网 SUV」荣威 RX5，基于 AliOS 打造的斑马智行系统也首次出现在大众面前；

荣威 RX5 中控搭载 斑马智行系统2017 年 12 月，阿里和福特汽车正式签署战略合作，双方依托阿里达摩院对前沿基础科技的研究，整合云计算、人工智能等技术，通过 AliOS 操作系统与汽车的结合，提升驾驶体验。除了在车联网领域的发力，阿里在 2015 年年底起，也开始了在自动驾驶领域的布局。至今，经过四年多的打磨，现阶段阿里达摩院自动驾驶实验室聚焦在末端无人物流的场景，并已经将无人配送车产品逐步落地在大学校园。虽然相比百度，腾讯，阿里的自动驾驶路线「姗姗来迟」，但好在阿里的技术的场景积淀较为丰厚。对于自动驾驶而言，环境感知、高精度定位、决策规划、智能控制等都是必备技术，这也是达摩院自动驾驶团队布局的方向。谈道为何从 ISP 芯片角度切入研发，丁虎平向机器之心表示，从自动驾驶视觉场景角度看，ISP 要实现的是在复杂的道路光线环境/恶劣天气环境下仍然可以得到满足深度学习算法所需要的图像数据；从传感器融合角度，预知图像传感器的曝光时间极其重要，可以保证雷达扫描到某一位置时刻同时触发图像传感器曝光；而当前市面上已有的车规级图像处理器图像处理效果不能满足自动驾驶深度学习算法的这些需求。而这款自研芯片正是达摩院在环境感知上的研究突破，它可以解决现有硬件方案性能不足的问题，进一步提升自动驾驶系统的安全性。ISP 处理器就是达摩院在环境感知上的研究突破，它可以解决现有硬件方案低照度场景图像质量不足的问题，进一步提升自动驾驶系统的安全性。此外，在丁虎平看来，阿里巴巴经济体拥有丰富的物流场景，例如淘宝、天猫、饿了么、盒马等这些业务都离不开物流配送，加之菜鸟本身也是一个智慧物流平台，这为自动驾驶研发团队提供了大量场景经验。目前，达摩院 ISP 处理器已在自动驾驶物流车业务场景落地，未来可能会落地新零售如自动收银机、智能家具等场景，据丁虎平介绍，当迁移到相关场景时，需要对 ISP 处理器相关模块或算法进行定制化即可。ISP 处理器除了对自身业务的促进，对于行业来讲意义也不小，据高工智能产业研究院 （GGII） 研究院预估，摄像头随着 ADAS 渗透率的提升，市场规模由 2016 年的 20 亿元增长到 2020 年的 58 亿元，年复合增长率为 30%，搭载于其中的 ISP 处理器对于整个自动驾驶行业而言无疑有着重要推动作用。据机器之心了解，当前，该款芯片主要用于自动驾驶物流车的相机系统中，未来是否出售或者 license IP 给其他厂商要遵循集团的相关政策。

三 从玄铁到 ISP 处理器达摩院的布局之道

2018 年 9 月，阿里巴巴宣布合并中天微、达摩院团队，成立平头哥半导体芯片公司。中天微成立于 2001 年，旨在发展 32 位高性能低功耗嵌入式 CPU、以芯片架构授权为核心业务的集成电路设计公司，2018 年 4 月被阿里全资收购；达摩院是阿里在全球多点设立的科研机构，立足基础科学技术的研究，成立于 2017 年 10 月。成立至今，平头哥已发布基于 RISC-V 的处理器 IP Core 玄铁 910、SoC 芯片平台「无剑」和含光 800 芯片。

平头哥发布 AI 芯片—含光 8002019 年 10 月，平头哥宣布开源低功耗微控制芯片（MCU）设计平台，其中包含处理器、基础接口 IP、操作系统、软件驱动和开发工具等模块，搭载基于 RISC-V 架构的玄铁 902 处理器，能提供 UART、SPI、I2C 等多种 IP 及驱动，还可让用户快速集成、验证，减少基础模块开发成本。阿里旗下的业务涵盖电商、物流、云计算、大数据等等。用户规模庞大，图像视频分析、搜索等各种业务场景都亟待 AI 专用芯片，其中图像和视频对算力的需求尤其大，这为阿里研发 AI 芯片提供了绝佳平台。

此前平头哥接连推出的玄铁、无剑、含光都是芯片领域的不同产品，玄铁解决指令集、算法等架构问题，无剑是一个芯片开发平台，它提供芯片开发的基础设施，含光 800 是平头哥真正意义的第一款 AI 芯片。

而此次推出的 ISP 是车载图像处理器，主要用于自动驾驶场景。除了应用场景不同，玄铁 910、无剑 SoC 平台可以帮助其它企业研发定制芯片，含光 800 则是云端 AI 推理芯片，目前都已经完成市场对外输出。

据丁虎平透露，达摩院这一款 ISP 处理器目前首先满足自身自动驾驶业务需求，未来对外输出形式尚未确定，「也有可能成为 SoC 芯片的一部分」，丁虎平补充说道。

责任编辑：gt