日本研究团队创建了一种算法 可以解读并再现一个人看到的图像或想象的图像

日本ATR国际电气通信先端技术研究所和日本京都大学的研究人员称他们创造了一个能够读取人的脑波的AI。他们构建了一个神经网络，可以解读并且准确地再现一个人看到的图像或想象的图像。

日本ATR国际电气通信先端技术研究所和日本京都大学的研究人员称他们创造了一个能够读取人的脑波的AI。他们构建了一个神经网络，不仅可以读取，而且能够重建你的思维。

具体来说，根据ZME Science网站的报道，“研究团队创建了一种算法，可以解读并且准确地再现（reproduce）一个人看到的图像或想象的图像。”

深度图像重建的结构图。对输入图像的像素值进行了优化，使图像的DNN特征与fMRI活动中解码的特征相似。一个深度生成器网络（DGN）可以选择与DNN组合以产生自然的图像，其中优化是在DGN的输入空间中执行的。Credit:bioRxiv(2017). DOI: 10.1101/240317

研究论文的标题是“利用人类大脑活动的深度图像重建”（Deep image reconstruction from human brain activity），论文写道，研究者能够根据一个人正在观察的场景来复制一个图像。这些AI创造的图像与人实际看到的并不完全一样，只是模糊地表现了人的思维。不过，AI还是能够利用脑电波来重建这些图像。

尽管距离实际使用可能还需几十年的时间，但是这项技术使我们距离创造能够阅读和理解人类思维的系统更近了一步。

试图驯服一台计算机来解码心理意象（mental image）并不是新的想法。事实上，这一研究已经持续了许多年，研究人员从2011年起就开始试图重建大脑的画面，例如电影片段、照片，甚至梦境。但是，以前所有的系统在范围和能力上都很有限。有些只能处理人脸形状之类狭窄的区域，有些只能通过预先设计好的图像或类别（例如，“鸟”、“蛋糕”、“人”等）来重建图像。到目前为止，所有这些技术都要求有预存的数据；它们起作用的方式是将受试者的大脑活动与之前记录的人正在观察图像时的大脑活动相匹配。

但研究人员称，他们的新算法可以从零开始生成新的、可识别的图像，甚至可以生成仅仅是人的大脑想象出来的形状。

这一切都始于功能性核磁共振成像(fMRI)技术，这是一种测量大脑血液流动的技术，并用其结果判断神经活动。研究团队将3名受试者的视觉处理区域以2毫米分辨率扫描。扫描执行了数次。在每一次扫描中，这3名受试者被要求观看1000张以上的图片，图片包括一条鱼、一架飞机和一些简单的彩色图形。

一种新的算法，利用大脑活动来重建（底下两行）所观察的图片（第一行）。 图片来源：Kamitani Lab

该研究团队的目标是理解对图像反应的大脑活动，并最终通过计算机程序生成能够在大脑中产生类似反应的图像。

团队最近开始取得成果。研究人员使用一个深度神经网络（DNN）和几层简单的处理元素，而不是一张接一张地向受试者展示图像，直到计算机得到正确的结果。

神谷之康（Yukiyasu Kamitani）是这项研究的主要作者，他说：“我们相信深度神经网络可以很好地表示大脑的层级式处理。”

“使用DNN，我们可以从大脑视觉系统的不同层级（从简单的光对比度到更有意义的内容，例如面部）中提取信息。”

使用decoder，研究人员创建了大脑对DNN中图像的反应。然后，他们不再需要 fMRI 成像测量，也不再使用DNN翻译作为模板。

接下来是一个重复的过程，在这个过程中，系统创建图像，试图让DNN对所需的模板做出相似的反应——无论是动物还是彩色的玻璃窗。 这是一个试验和错误的过程，其中程序以中立的图像开始，并经过200次的重复缓慢地进行改进。为了了解它与想要的图像的接近程度，系统比较了模板和DNN对生成图像的响应之间的差异。这样的计算允许它逐个像素地朝着理想的图像改进。

为了提高最终图像的准确性，团队利用了一个“深度生成器网络”(deep generator network，DGN)，这是一种经过预训练的算法，可以从原始输入中创建逼真的图像。从本质上来说，DGN是将完成后的细节放在图像上，使其看起来更自然。

在DGN完成对照片的修补后，一个中立的人类观察者被要求对这项工作进行评价。他会被展示了两张图片供选择，并被提问哪张图片是算法重建的。作者在论文中写道，人类观察者能够在99%的时候能够正确选择系统生成的图像。

接下来是将所有的工作与“读心术”的过程结合起来。他们要求三名受试者回忆之前展示给他们的图像，并扫描他们的大脑。在个过程有点棘手，但结果仍然令人兴奋——这个方法对照片效果不好，但是对于形状，生成器在83%的时候能够创建可识别的图像。

需要注意的是，这一工作看起来非常整洁和谨慎。他们的系统运行得很好，可能瓶颈不在于软件，而在于我们测量大脑活动的能力。或许我们需要等待更好的fMRI成像技术和其他大脑成像技术的出现。