以深度学习为核心的计算机视觉技术具有视觉美感吗

我们看到了智能技术在影像辨识、侦测上的突破，甚至落地为产品。很多人问，这些深度学习为核心的计算机视觉技术也可以具有人类的美感—具有评判、编修、甚至美学创作的能力吗？

智能视觉美感技术大致可以区分为三类：首先为影像(或视讯)编修强化，包括修图(对比、亮度、景深等)、超高分辨率成像、突破压缩技术、改善电视显像质量、加速电影(内容)特效制作、甚至主动改善车辆安全驾驶在低亮度下的视讯质量；其次为照片美学评分、取景，自动挑选具美感的照片或是画面；第三为自动生成不存在的影像。而这些核心技术所启发的应用都已经是进行式，或是即将落地为产品。

相关技术大大改变数位内容产业。梵谷油画电影《梵谷：星夜之谜(Loving Vincent)》耗时6年，动员超过百位来自世界各地的画家才完成这个耗时、耗资的工作。目前已经有软件服务完成类似的功能，可以让一般人自动将影片转换为特定画家的风格，透过画家的经典创作，让卷积网络(CNN)的数千万个参数，学习到影像转换的方式，均衡风格跟影片内容。我们在两年前参与的IBM华生研究中心预告片自动剪辑研究，也同样带来类似产业的突破。

一般的卷积网络架构为设计适合的编码器以及相对的译码器；前者将画面内容解析之后，透过后者生成适切的影像(强化或是编修)，大量的卷积网络参数透过事前的训练数据来达成目的。而时常被忽略的是适合的目标函数，通常得同时使用多个，并将领域知识吸纳其中，这是成功与否的重要关键！

在美学评分方面，一般利用卷积网络加上回归函式来逼近美感分数。最大的挑战在于训练的数据。因为严谨的美感牵涉到文化、社会、以及个人的差异，可以取得的训练数据─不管是透过人工标注或是社群网络下载—不全具代表性，很难学习到通用的美感。不过在特定家用照片上，透过自动评分，甚至修正照片(旋转、取景、饱和度等)等都已经落地在国内外的各种应用当中。如果能进一步熟悉应用场域，个人化适性学习，将有更大发挥的空间。

最具挑战的是从无到有生成具美感的影像，一般都尝试利用生成对抗网络(GAN)来实现，但是目前在速度、分辨率、生成质量控制上都还有相当努力的空间。

值得产业注意的是，我们观察到这些视觉美感智能突破也逐渐由云端走入本地端。相机、摄影机、电视等相关芯片都已经看到国内外的公司正逐渐布局。因为提供具美感的生活体验，不正也是智能时代的新产品吗？