哈佛大学用GAN+遗传算法 创造图像控制猴子大脑

哈佛大学的科学家们把猴子的大脑与神经网络连接起来，试图刺激猴子大脑中负责识别面部的单个神经元。他们利用AI生成图像，然后向猴子展示这些图像，最终成功地激活特定的神经元，而不影响其他神经元。相关论文发表在最新的Cell期刊上。

新智元不久前报道，MIT 的三位科学家首次利用 AI 生成图像来激活特定视觉神经元，实现了控制动物大脑的神经元活动。

该研究引起热议，被认为是使用人工神经网络来理解真实神经网络的最强有力的验证。

无独有偶，在一项新实验中，哈佛大学的科学家们把猴子的大脑与神经网络连接起来，试图刺激猴子大脑中负责识别面部的单个神经元。他们利用 AI 生成图像，然后向猴子展示这些图像，试图尽可能地激活这些特定的神经元。

最终，AI 系统学会了生成能够激活单个脑细胞、而不会同时激活它的相邻细胞的图像。这些图像像是超现实的噩梦中的景象一般，模模糊糊的又与脸孔或其他熟悉的形状相似 —— 这是传感器和人工智能开始窥视生物大脑的又一个令人兴奋的例子。

一张由神经网络进化而来、刺激猕猴神经元的图像

相关研究发表在最新的 Cell 期刊上。

研究者提出的算法名为XDREAM，可以根据特定神经元对图像的反应强度的实时反馈来生成新图像。

论文的第一作者、哈佛大学和华盛顿大学神经科学家 Carlos Ponce 说：“如果细胞会做梦，那么 (这些图像) 就是细胞梦见的景象。”

该研究的几个要点：

在神经元放电的引导下，深度神经网络和遗传算法进化生成图像

演进的图像使猕猴视觉皮层的神经元放电最大化

演进的图像比大量的自然图像更能激活神经元

与演进图像的相似性可以预测神经元对新图像的反应

研究概览

具体来说，研究人员利用 AI 生成图像并展示给猴子，然后研究猴子的神经元对图像的反应。然后，AI 算法可以根据大脑反应的信息来调整图像，生成可能与猴子的视觉处理系统产生更多共鸣的新图像。

Ponce 说：“当我们第一次看到这种情况时，感觉就好像我们是在用一种神经元自己的语言与它进行交流，就好像我们赋予了细胞一种交流的能力。”

实验过程：GAN+遗传算法，窥探猴子的梦境

为什么我们的眼睛更容易被某些形状、颜色和轮廓所吸引呢？

半个多世纪以来，科学家们已经了解到，大脑视觉系统中的神经元对某些图像的反应会比对其他图像的反应更强烈 —— 这一特征对于我们识别、理解和解释周围大量视觉信息的能力至关重要。

例如，当人类或其他灵长类动物 —— 具有高度协调性和视觉系统的动物 —— 在看到面孔、地点、物体或文字时，大脑中被称为下颞叶皮层的特定视觉神经元群会更活跃。但这些神经元究竟是对什么做出了反应，至今仍不清楚。

迄今为止，绝大多数试图测试神经元偏好的实验都使用了真实的图像。但真实的图像带有固有的偏见：仅限于现实世界中可用的刺激以及研究人员选择测试的图像。基于 AI 的程序可以根据每个神经元的偏好来创建合成图像，从而克服了这个障碍。

在这个研究中，来自哈佛大学医学院的几位研究人员，使用预训练的深度生成神经网络(Dosovitskiy and Brox, 2016) 和遗传算法，实现了让神经元反应来知道合成图像的进化。

深度生成对抗网络通过遗传算法表达和搜索

为了记录视觉神经元的活动，研究团队将微电极阵列植入六只猴子的下颞叶皮质(耳朵上方稍微靠后的区域)。然后，研究人员通过电脑屏幕向猴子展示图像，并测量猴子在观看图像时大脑中单个视觉神经元的放电率。

如下图所示，网络以 4096 维的向量 (图像代码) 作为输入，然后将其转换为 256×256 的 RGB 图像。

图 1：通过神经元引导的进化合成首选的刺激特定神经元的图像

（A）生成对抗网络。

（B）初始的合成图像，这里显示了 30 个示例。

（C）行为任务。

（D）实验流程。图像代码通过深度生成对抗网络传递，以合成呈现给猴子看的图像。使用神经元反应对图像代码进行排序，然后对其进行选择，重组和变异，以生成新的图像代码。

具体来说，遗传算法使用从猕猴大脑中记录到的神经元响应来优化输入到神经网络的图像代码。每个实验从 GAN 随机产生的 40 个图像（图 1B）开始。

然后记录猴子在被动执行固定任务时 IT 神经元的反应。图 1C 显示了一个单元的感受野。

然后根据神经元对每个合成图像的反应对图像编码进行评分，确定 10 张在给定神经元或神经元群中最活跃的图像。研究人员将这些图像通过一种遗传算法 —— 本质上是重新组合这些像素 —— 生成 30 张类似的图像，然后将这些图像连同最初的前 10 张图像一起展示给猴子（图 1D） 。

研究人员将整个方法称为XDREAM (EXtending DeepDream with Real-time Evolution for Activity Maximization in real neurons)。

这个过程在 1-3 小时内重复多达 250 代。

作为对照，研究人员还向猴子展示了包含人物、地点等的自然图像和简单的线条图。

进化的图像(左)和自然图像(右)

在几个小时的过程中，研究人员将每张 AI 生成的图像向猴子展示 100 毫秒。

这些图像从灰度随机纹理图案开始，根据实验中猴子神经元的激活程度，程序逐渐引入形状和颜色，直到形成最终的充分体现神经元偏好的图像。

“每次实验结束时，” 参与该研究的哈佛医学院研究生 Will Xiao 说：“程序会生成对这些细胞产生超级刺激的图像。”

神经元选择的怪异图像，有助于理解认知问题

CaffeNet 中单元首选刺激的演变

研究人员首先在人工神经网络中的单元上验证 XDREAM，作为生物神经元的模型。他们的方法为 CaffeNet 的各层单元产生了超级刺激（图 2）。

图 2：XDREAM 算法为 CaffeNet 中的单元生成超级刺激

一种生物神经元的偏好刺激的演变

随着遗传算法根据神经元的响应优化图像，合成图像会随着每一代的进化而改变。下图是进化实验的一个例子。

图 3：一个猴子选择的合成图像演化

每个图像都是每代的前 5 个合成图像的平均值（从左到右，从上到下排序），几代之后，合成图像进化成更有效的刺激 (图 4)。

图 4：通过最大化单个神经元的响应来合成图像的演变

视频：猴子神经元的选择导致合成图像演化的两个示例，每个演化实时都需要几个小时

其他神经元中优选刺激的演变

图 5：其他 IT细胞的演化

图 6：其他 IT 神经元中合成图像的演化

其中一些图片符合研究人员的预期。例如，他们怀疑神经元可能会对面孔做出反应，一个神经元进化生成圆形的粉红色图像，上面有两个类似眼睛的大黑点。

其他的则更令人惊讶。例如，其中一只猴子的神经元不断地生成看起来像猴子身体的图像，但在它的脖子附近有一个红色斑点。研究人员最终发现，这只猴子被关在另一只总是戴着红项圈的猴子旁边。

Ponce 说：“从雾中看到一个像脸一样的东西在盯着你看，而你知道这张照片是来自猴子的大脑时，这可能是我的科学生涯里的最神奇的经历之一。”

研究人员说：“我们认为这个神经元不仅对猴子的身体有优先反应，而且对特定的猴子也有优先反应。”

但并不是每一张最终的突破看起来都可以辨认。一只猴子的神经元进化产生一个黑色的小方块。另一只则产生无确定形状的黑色和橙色的混合体。

这些研究表明，这些神经元的反应并不是天生的，而是通过长期持续地接触视觉刺激来学习的。但目前还不知道这种识别特定图像的能力是如何出现的。研究团队计划在未来的研究中调查这个问题。

了解视觉系统如何对图像产生反应可能是更好地理解驱动认知问题的基本机制的关键，这些认知问题涉及学习障碍、自闭症谱系障碍等，通常以儿童处理面部线索和识别面孔的能力受损为特征。

研究人员表示，大脑视觉处理系统的故障会干扰人们连接、沟通和理解基本线索的能力，通过研究那些对面孔做出优先反应的细胞，我们可以发现社会发展如何发生的线索，以及有可能出现的问题。