- 人类和 DNN 的目标识别稳健性比较

训练过程的其它方面都遵循在 ImageNet 上训练 ResNet 的标准训练流程：我们使用了动量为 0.997 的 SGD，批大小为 64，初始学习率为 0.025。在 30、60、80 和 90 epoch 后（当训练 100 epoch 时）或 60、120、160、180 epoch 后（当训练 200 epoch 时），学习率乘以 0.1。我们使用了 TensorFlow 1.6.0 [Abadi et al. (2016)] 进行训练。在训练实验中，除了 Eidolon 刺激（因为这些刺激的生成对 ImageNet 训练而言的计算速度实在太慢）之外，所有的图像处理方法都有超过两个层级。为了进行比较，我们额外添加了彩色与灰度和椒盐噪声的对比（因为椒盐噪声方面没有人类的数据，但均匀噪声和椒盐噪声之间不正式的比较说明人类的表现是相近的，参见图 1(c)）。

3 人类和预训练后的 DNN 对图像畸变的泛化能力

为了评估信号更弱时的泛化能力，我们测试了 12 种不同的图像劣化方法。然后将这些不同信号强度的图像呈现给实验室环境中的人类观察者以及预训练的 DNN（ResNet-152、GoogLeNet 和 VGG-19）进行分类。图 3 给出了可视化的结果比较。

图 3：GoogLeNet、VGG-19 和 ResNet-152 以及人类观察者的分类准确度和响应分布熵。“熵”是指响应/决定分布（16 类）的香农熵。这里衡量了与特定类别的偏差：使用一个在每个类别的图像数量方面平衡的测试数据集，对所有 16 个类别进行同等频率的响应能得到 4 bit 的最大可能熵。如果网络或观察者更偏爱响应其中某些类别，则熵会降低（如果是一直响应单个类别的极端情况，则会降至 0 bit，不管基本真值的类别如何）。人类表现的“误差线”表示了所有参与者的结果的整个区间。2.3 节将解释图像处理方法，可视化结果请参阅补充材料。

虽然在仅有相对较小的与颜色相关的畸变时（比如灰度转换或反色）人类和 DNN 的性能接近，但我们发现人类观察者对其它所有畸变都更稳健：在低对比度、功率均衡和相位噪声图像上有少许优势，在均匀噪声、低通、高通、旋转和三种 Eidolon 实验上优势更大。此外，由响应分布熵衡量的误差模式存在很大的差异（这表明存在对特定类别的偏差）。当信号越来越弱时，人类参与者的响应在 16 个类别上或多或少是均等分布的，而三个 DNN 都表现出了对特定类别的偏差。这些偏差并不能完全通过先验类别概率解释，而且因具体畸变而各不相同。比如，对于有很强均匀噪声的图像，ResNet-152 几乎只能预测瓶子类别（与基本真值类别无关），而对于有严重相位噪声的图像则只能预测狗或鸟类别。人们可能会想到一些降低 DNN 和人类的响应分布熵之间的差异的简单技巧。一种可能的方法是增大 softmax 温度参数并假设模型的决定是从这个 softmax 分布采样的，而不是取自 argmax。但是，以这种方式增大响应 DNN 分布熵会极大降低分类准确度，因此需要一定的权衡（参见补充材料图 8）。

这些结果与之前报告的 DNN 中对颜色信息的处理与人类类似的发现一致 [Flachot and Gegenfurtner (2018)]，但 DNN 识别的准确度会因噪声和模糊等图像劣化而显著下降 [Vasiljevic et al. (2016); Dodge and Karam (2016, 2017a, 2017b); Zhou et al. (2017)]。整体而言，在各种图像畸变情况下，DNN 在泛化到更弱信号上的表现比人类更差。尽管人类的视觉系统随进化过程和生命周期已经遇到了大量畸变，但我们显然没遇到过我们的测试中很多确切的图像处理方式。因此，我们的人类数据表明原则上高水平的泛化能力是可能的。我们发现，人类与 DNN 的泛化能力差异的可能原因有很多：在当前所使用的网络架构方面是否存在局限性（正如 Dodge and Karam (2016) 假设的那样），使得 DNN 无法匹敌人脑中错综复杂的计算？训练数据是否存在问题（Zhou et al. (2017) 就这样认为）？还是说当今的训练方法/优化方法不足以实现稳健和通用的目标识别？为了理解我们发现的差异之处，我们进行了另一批实验——直接在畸变图像上训练网络。

4 直接在畸变图像上训练 DNN