会读心术的计算机

试想一下，你的电脑里存了成千上万张未分类的照片，然而只要你在脑海里想象一下初恋花儿般的脸，系统就可以自动帮你找到那张照片。又或者，不需要提笔，你就可以画出厨房设计草图。甚至，给你的爱人发一张唯美的日落照，尽管这张照片你从来没有拍到过。

显然，能够读懂人类在想什么（会读心术）的计算机在日常生活中大有用武之地，特别是对残疾人来说，他们急需一种高效的交流工具。

虽然这些场景听起来都非常梦幻，但是科学家们正在努力向这一梦想靠近。

如今，来自日本京都大学科学家们已经创造了一种算法，它可以解释并准确地重现他人看到或想象的图像。这项技术可能仍然需要数十年的时间才能投入实际使用，但是研究人员距离这个可以投射我们内心世界的系统又近了一步。

美国印第安纳州普渡大学计算机科学家 Zhongming Liu 评价说：“它的运行效果非常好，这让我印象深刻。”此前，Zhongming Liu 曾开发了一种算法，可以在一定程度上重现电影爱好者观影时所看到的内容。

实际上，使用算法来解码心理图像并不新鲜。自2011年以来，已经有研究人员通过将大脑活动与早先观看图像时记录的活动进行匹配，重构了影像片段、照片甚至是梦中的意象。但是，这些方法都有很大的局限性：有些方法只能处理脸型，有些方法必须从预先设置好的图片和类别中选择，而不能从头开始构建图像。

而这一次的工作则可以立即生成图像，甚至再现人类想象中而非亲眼所见的图形的形状。

为了弄清楚一个人看到的到底是什么，京都大学的研究人员使用了功能磁共振成像（fMRI），来测量大脑的血液流量，作为大脑神经活动的衡量值。在实验中，研究人员让三名测试人员每次观察 1000 多张图像，并重复几次，然后以此来映射出可视化处理区域，分辨率可达 2mm。这样做的目的是，观察大脑在思考图像时的活动，并让计算机构建出一幅能够让大脑产生相同活动的图像。

计算机会反复修改绘制的图像，一直到正确为止。除此之外，该研究团队还为大脑建立了一个软件平台——一个深度神经网络（DNN）。日本京都大学的神经科学家，同时也是该论文的作者 Yakiyasu Kamitani 表示：“我们相信深层神经网络可以很好地代表大脑的分层处理，通过使用 DNN，我们可以从不同层面的大脑视觉系统中提取出信息。”从简单的光线对比度到人脸，都属于这些信息。

使用解码器，研究人员可以创建人类大脑对图像的反应的表示，只不过这个表示存在于 DNN 中。从此以后，研究人员便不再需要进行fMRI测量，用 DNN 来转换就可以了。

当系统猜测某人正在查看的是什么内容时，这里的“翻译”就起到了模板的作用，而不再需要fMRI数据。然后系统会尝试绘制出图片，然后触发 DNN 与此模板进行匹配，这一过程会不断重复，直到绘制出我们希望的图像为止。

一开始，这个系统会随机生成图像，然后不断地改进并细化图像，一共迭代 200 轮。为了让其更接近理想中的图像，系统会将 DNN 活动与模板 DNN 活动进行比较，自动计算两者之间的差异，以此来拟合一个个像素，知道接近理想的图像。

为了让最终的成像更加准确，研究人员开发了一个“深层生成器网络”（DGN），这种算法已经进行过预训练，可以根据输入生成逼真的成像。DGN 将细化这些图像，使其看起来更加自然。研究人员表示，一旦加入了 DGN，一个中立的人类观察员可以轻易地分辨两张图片中哪张是我们希望重建的，而且准确率可达 99%。

接下来，研究人员开始尝试读懂人类想象图像时的脑部活动。如何进行这项研究呢？他们让参与实验的人员回忆之前展示过的图像，包括一条鱼、一架飞机、以及一些简单的彩色图形，然后依次扫描他们的大脑。实验证明，这种方法对于复杂的照片并不适用，对图形却很有效，研究表明，生成器 83% 的时间里都可以生成一张可识别的图像。

首先，输入图像的像素值会被优化，以便使图像的 DNN 特征与从 fMRI 活动记录中解码出来的特征相似。之后，深度生成器网络（DGN）可以有选择的与 DNN 组合，以生成自然的图片，其中，优化过程在 DGN 的输入层执行。

图1：深度图像重建。

图2：自然图像重建。黑框和灰框分别代表展示的图像和重建的图像。

图 3：人眼看到的形状重建。黑框和灰框分别代表展示和重建的图像。

图 4：意象重建。黑框和灰框分别代表目标图像和重建图像。

哥伦比亚大学祖克曼研究所（Zuckerman Institute）的计算神经科学家 Nikolaus Kriegeskorte 虽然认为这是一项“有趣而且谨慎”的工作，但是他提出了自己的疑问：计算机生成的图像的不准确性，和大脑活动测量的限制，到底有多大关联，以及它们在多大程度上，反应了我们的大脑是如何错误解读图像的。

Kriegeskorte 表示：“更高分辨率的 fMRI 结合其他大脑成像技术可能会进一步改善现在的结果。随着更先进的测量方式的出现以及算法的不断改进，未来我们有可能会通过意念图片来进行交流。