如何通过AI的CPU、GPU来实现图像的精准抓拍

“在人工智能（AI）时代，我们做的很多决策、处理，都通过机器来实现。这些CPU、GPU是怎么看待世界的？该如何让它们感觉到关键的信息？实际上，这是图像传感器应该做的事情。”在ASPENCORE3月18日举办的2021年中国IC领袖峰会上，思特威（上海）电子科技股份有限公司副总经理欧阳坚针对图像传感器在机器视觉领域的应用做了精彩分享。

图像传感器在机器视觉领域的应用

在AI+IoT时代中，越来越多的机器视觉应用需要智能终端对信息做出精准且快速的采集与处理。而图像传感器就像是机器的“眼睛”，赋予了机器感知时间的能力。

CPU和GPU的处理能力远超人脑和人眼，现在很多图像的处理通过AI的CPU、GPU来实现，能够精准抓拍到物体在高速运动时不变形的图像非常关键。比如，机器在运转过程中可达到每秒500至1000帧的帧速率，在人眼无法快速辨别每一帧图像时，机器却能迅速识别物体并找到物体，从而进行快速、自动化操作。又如，家用扫地机器人在打扫房间时能智能地避开障碍物，它利用了机器视觉技术，对房间的布局做出精准判断。

另外，在复杂的环境下，大家可以通过摄像头来实现人脸支付。这个应用要求保持高度的安全，需要图像处理做得非常精细。还有，在智能车载领域，无论是ADAS、巡车记录，还是高速智能交通监管，它们都对车辆的监控和抓拍提出了很大的诉求。

针对以上多种应用，都对图片处理技术提出了要求。欧阳坚表示，基于这种市场需求，思特威推出了Globalshutter传感器以及SmartGS®系列Globalshutter图像传感器。

适用高速运动场景的Globalshutter系列传感器

根据欧阳坚的介绍，最初Globalshutter传感器的应用场景并不多。“我们有一个简单的逻辑，就是要抓拍高速运动的物体。因此，当时的应用场景主要落在智能避障上。但随着我们的合作伙伴及生态链的应用案例越来越多，Globalshutter系列传感器拓展出了更多的新应用，其中包括了智能教育应用，类似于智能翻译笔。”

当然，现在Globalshutter系列传感器最大的应用场景无人机。无人机在高速运转过程中，若操作不当可能会撞到障碍物或者“炸机”。从去年开始，一家头部无人机企业的全系列无人机都配备了智能避障功能，其无人机上使用的智能避障传感器，大多数是来自思特威。

除了智能避障应用以外，Globalshutter传感器还应用在公共安全领域，比如作为驾驶员的智能管理系统DMS来应用，监测驾驶员是否疲劳驾驶、有无分心。欧阳坚还补充说：“现在常用的无人机一般会用双目解决方案，但是无人机运行时会有前后左右上下八个方向，这八个方向至少需要用到八个传感器。一台高端无人机甚至会标配12个带智能全局曝光传感器，因此该产品的应用领域非常宽泛。”

Globalshutter的全局曝光成像技术具备非常多的优势。欧阳坚称，普通CIS在高速运动场景中，采用Rollingshutter的曝光方式，逐行进行扫描，最后拼接一幅图。在这个过程中存在一个时延，会出现果冻效应，最终出来的成图效果是变形的。机器视觉AI芯片无法正确识别这样的图片，也无法识别图片里面的文字。

Globalshutter全局曝光产品最大的特点是——第一，能高速抓拍运动的物体，无形变、无拖尾；第二，Globalshutter是基于BSI（背照式）工艺。“感光效果好的智能手机所用的图像传感器一般基于BSI工艺。不过，全局曝光跟BIS工艺的融合有很大的难度。截至目前为止，我们是全球率先实现了基于BSI工艺的全局曝光技术的公司之一，友商主要是基于FSI（前照式）工艺实现的。”欧阳坚自豪地表示。

适用于交通领域的SmartGS®高速摄像头

欧阳坚还展示了SmartGS®高速摄像头汽车山路场景中的图片。他解释说，在80-90米远就可清楚看到车牌细节，能帮助人脸识别抓取到所有的信息。快度抓拍时如果不采用全局曝光，最终呈现的效果会有打折扣。采用SmartGS®高速摄像头拍出来的视频，在16倍慢放时汽车的车轮都没有形变。视频中任何一张图抓取出来，交给机器视觉和AI识别，都不会造成误判。

值得注意的是，夜间拍照经常会遇到明、暗两种不同的环境，这要求拍照时做到噪声读取控制得足够好且感光度足够高。不需要的噪声全部滤掉，还能感受到足够多的光线，让亮的场景不要过曝，暗的场景保持细节。

在交通领域，红绿灯是高频闪烁的LED灯，如果不对高频闪烁的频率做处理，抓拍到的信息会残缺不全。欧阳坚介绍称，思特威的产品可针对不同区域，做不同程度的曝光和中央处理，从而实现分区处理的效果。

SmartGS®高速摄像头还支持多个车道抓拍，能显著降低系统成本。“友商的同类摄像机可能只支持单车道抓拍，会造成整个系统成本非常高。”欧阳坚还透露，昨天（3月17日）该产品刚正式发布，紧接着马上会进入量产阶段。

除此之外，思特威还可提供多种HDR解决方案。欧阳坚透露说：“这些方案可避免红绿灯的过曝，能帮助机器快速识别物体。这些产品是我们过去半年推出的一个最新的技术，未来我们还会研发新一代的产品，以提供更高分辨率、更高像素的解决方案。”

编辑：hfy