利用人工智能改进手机摄影技术

如果你关心手机的摄像头有多好?不妨留意一下手机制造商对于AI(人工智能)的评价，为什么呢?因为人工智能这项技术在过去的几年里，已经使摄影技术取得了惊人的进步，没有理由认为这种进步会放缓。

不过目前为止，AI仍然有许多噱头，但摄影技术最令人印象深刻的进步，实际上归功于软件和AI，而不是传感器和镜头，这在很大程度上得益于AI。

Google Photos，利用人工智能+摄像相结合

举个例子，例如Google Photos，在2015年推出这款应用时，其展示了人工智能和摄影两者结合的功能多么强大。在此之前，谷歌多年来一直使用机器学习对谷歌上的图片进行分类，这款图片应用程序也包含了面向消费者的人工智能功能，用户无组织的数千张、没有标签的图片库，一夜之间就变成了可搜索的数据库，并且可利用人工智能自动创建拼贴、动画、电影、风格化图片等等。

图片来源：Google Photos

2013年谷歌收购了一家专门从事语音和图像识别研究的公司DNNresearch，以此作为前期的发展基础，它建立了一个深度神经网络，对人类标记的数据进行训练，这叫做监督学习。这个过程涉及到对数百万张图像进行网络训练，使其能够在像素级别上寻找视觉线索，以帮助识别图片类别。

随着时间的推移，该算法在识别方面做得越来越好，例如用来正确识别熊猫的模式，通过进一步的训练，我们可以搜索更抽象的词汇，如“动物”或“早餐”，这些词汇可能没有共同的视觉指标，但对人类来说仍然是显而易见的。

图片来源：Google Photos

当然，训练这样的算法需要花费大量的时间和处理能力，但是在数据中心完成它们的工作之后，就可以在低功耗的移动设备上轻松运行。繁重的工作已经完成，所以一旦你的照片上传到云端，谷歌就可以使用它的模型来分析和标记整个库。

大约在Google Photos发布一年后，苹果公司宣布了一项照片搜索功能，该功能同样经过了神经网络的训练，但作为公司对隐私承诺的一部分，实际的分类是在每台设备的处理器上分别执行，而不发送数据，这通常需要一到两天的时间，并在后台进行设置。

苹果利用如何利用“计算摄影”?

智能照片管理软件是一回事，但人工智能和机器学习可以说对最初的图像采集方式产生了更大的影响。是的，镜头、变得更快，传感器变得更大，但实际上已经达到了物理的局限性，比如将光学系统塞进超薄的移动设备。

尽管如此，在某些情况下，手机拍出的照片比很多专用相机设备拍出的照片要好，这在当今并不少见，至少在后期处理之前是这样。这是因为传统相机无法在另一类硬件上与之竞争，这类硬件对摄影来说同样意义深远：包含CPU、图像信号处理器、以及越来越多的神经处理单元(NPU)的芯片系统。

这就是所谓的“计算摄影”所利用的硬件，“计算摄影”是一个宽泛的术语，涵盖了从手机人像模式的假景深效果，到帮助驱动Google Pixel’s图像质量的算法等方方面面。并非所有的计算摄影都涉及人工智能，但人工智能无疑是其中的一个重要组成部分。

图片来源：苹果官网

苹果利用这项技术来驱动其双摄像头手机的人像模式。iPhone的图像信号处理器使用机器学习技术，用一台相机识别人，而第二台相机创建深度地图，以帮助隔离主题和模糊背景。这种通过机器学习来识别人的功能在2016年推出时并不新鲜，因为照片组织软件已经在这么做了，但以智能手机摄像头所需的速度进行实时管理它是一个突破。

谷歌仍然是这一领域的明显领导者，然而，三代Pixel所产生的卓越结果是最令人信服的证据。HDR+是默认的拍摄模式，它使用了一种复杂的算法，可以将几个曝光不足的帧合并到一个帧中。

正如谷歌的计算摄影负责人Marc Levoy在《The Verge》杂志上指出的那样，机器学习意味着系统只会随着时间的推移而变得更好。谷歌已经在一个巨大的标签照片数据集上训练了它的人工智能，就像Google Photos软件一样，这进一步帮助相机曝光。

华为：4800万像素分辨率最高

不过，硬件仍有发挥作用的空间，尤其是在有人工智能支持的情况下。华为荣耀的新款View 20手机，以及华为Nova 4，是首款使用索尼IMX586图像传感器的手机。它的传感器比大多数竞争对手都要大，拥有4800万像素，是迄今为止所有手机中分辨率最高的。

但这仍然意味着在一个很小的空间中塞入大量的像素，往往会对图像质量造成问题。然而在20次的测试中，荣耀的“AI Ultra Clarity”模式在充分利用分辨率方面表现出色，它消除了传感器不同寻常的颜色滤镜，以解锁额外的细节。这就使得这款手机拍摄的照片，可清晰到大聚会合照的每一张人脸，并且接近专业相机的照片解析力。

荣耀总裁赵明在微博晒荣耀V20高清摄影

荣耀V20拍照细节放大

一段时间以来，图像信号处理器一直是手机相机性能的重要组成部分，但随着计算摄影技术的进步，NPU似乎将扮演更重要的角色。华为是第一家宣布采用专用人工智能硬件系统芯片的公司，即麒麟970，这是业界首颗带有独立NPU专用硬件处理单元的手机芯片。

尽管苹果的A11仿生芯片最终首先到达了消费者手中。高通是全球最大的安卓处理器供应商，该公司尚未将机器学习作为主要关注点，但谷歌已经开发了自己的芯片Pixel Visual Core，以帮助完成与人工智能相关的成像任务。

与此同时，最新款的苹果A12仿生拥有一个8核神经引擎，可以在苹果的机器学习框架Core ML中运行任务，速度是A11的9倍，而且它首次直接与图像处理器相连。苹果公司表示，这让相机更好地理解焦平面，有助于产生更真实的景深。

摄像头是基础，人工智能是改进的最佳手段

这种硬件对于设备上高效、高性能的机器学习将变得越来越重要，因为机器学习对处理器的要求非常高。而支持Google Photos的算法是在拥有强大的GPU和强大的计算机上进行训练的，之后才在照片库中得到释放。可以这么说，大部分工作可以“提前”完成，但在移动设备上实时进行机器学习计算的能力仍处于领先地位。

谷歌已经展示了一些令人印象深刻的工作，可以减少处理负担，而神经引擎正变得越来越快。但即使是在“计算摄影”的早期阶段，围绕机器学习设计的手机相机也有真正的好处。事实上，在过去几年人工智能热潮所带来的所有可能性和应用中，如今最实用的领域无疑是摄影，摄像头是任何手机的基本功能，而人工智能是改进摄影的最佳手段。