通过将GAN和AR技术结合，真的能把素面吃出拉面味！

人工智能已经发展到了今天了，创造出“贾维斯”还有点困难。但是，将素面直接变成拉面......嗯，也挺困难的。

那么，能不能将素面的外形看起来像拉面？吃不到那个味道，我看看总行了吧！

大家都知道，现在GAN（generative adversarial network 生成对抗网络）合成的假图片可以完美骗过人类了，经过语音数据的训练也能造一只柯南的变声蝴蝶结了。

嗯，技术就是这么神奇，通过将GAN和AR技术结合，真的能把素面吃出拉面味！

在IEEEVR会议召开之际，日本奈良先端科学技术大学院大学和电气通信大学的研究组发布了一个实时味觉操作系统，这个系统通过 GAN将食物的外观进行图像转换，之后利用 AR 将这个图片叠加到真实图片上，从视觉上来引起味觉上的错觉。

此论文被IEEEVR收录，并作为Demo展出。

论文：Enchanting Your Noodles: GAN-based Real-time Food-to-Food Translation and Its Impact on Vision-induced Gustatory Manipulation

作者：Kizashi Nakano, Daichi Horita, Nobuchika Sakata, Kiyoshi Kiyokawa, Keiji Yanai, Takuji Narumi

所属：Nara Institute of Science and Technology; The University of Electro-Communications; The University of Tokyo

具体来说，是提出了一种通过 GAN 将真实食物实时转换为其他食物图像，从而操纵味觉的方法。这个方法主要是通过实时转换食物的外观（颜色和纹理），以从视觉层面控制味觉。

首先是从视频透视型头盔显示器（HTC VIVE Pro）的前置摄像头获取 RGB 图像，然后将其发送到服务器。服务器端将所获图像中心切割出来，再将其转换为另一个食物图像。图像转换后，最后将转换的图像叠加在真实图像上去。

对于食物到食物的图像转换，这里用了基于 StarGAN 的网络架构，实时运行。因此，该系统可以根据原始食物的变化，动态并且可交互地进行操作。此外，因为是在一定程度上保持原始食物视觉特性的同时进行调整，从而在转换后能产生更自然的错觉 。还有，比如说吃面的时候，不仅可以把素面变成拉面，同时还能变成像炒面这样各种各样的面。

注：不同于Pix2Pix和CycleGAN针对解决一对一的问题，即一个领域到另一个领域的转换。StarGAN可以解决多领域要转换。具体来说，StarGAN就是将多领域转换用统一框架实现的算法，在同一种模型下，可以做多个图像翻译任务，比如更换头发颜色，更换表情，更换年龄等。

为了训练网络，研究人员从五种食物类别（拉面，炒面，白米饭，咖喱饭，炒饭）中创建了有 149,370 张食物图像的数据集。在演示视频中，我们可以看到系统将素面变成拉面或者炒面，将白米转换成咖喱饭或炒饭，可以在吃一种食物的时候体验到一种仿佛在吃另一种食物的味觉幻觉。

素面变拉面，一位拉面“狂魔”的技术之路

这篇技术论文的第一作者是Kizashi Nakano，一位对拉面有着狂热般的热爱。就连他的facebook主页上的个人资料都标注着我想吃拉面......

根据Facebook上面的资料，Kizashi Nakano是日本奈良先端科学技术大学院大学的研究生，擅长的领域是VR、AR、MR。

其实，关于拉面味觉变换的研究，他已经做了两个了，而且，第一个项目已经获得了国家级别的奖励。

将自己的兴趣爱好玩的如此高端，也是非常令人佩服的。在一次采访中，这位同学说出了他做这项研究的原因：“我非常喜欢吃拉面，但是自从生了一次病之后，就无法尝到这个味道了，但我还是忘不了拉面！我想再次吃到拉面！并且，我一直都这么认为。后来我想，如果看一下拉面图像并吃掉别的东西，那么就有可能再次拥有拉面的味道了吧！所以我决定“尝试虚拟现实的研究”。

据介绍，他在高中的时候，就从事过机器人等相关研究。进入大学之后，他想一定要精通编程，并用它进行相关研究。因此，大一的时候，他参加了由文部科学省主办的“科学学院”的研究，成为了学生志愿者组成的“FIT袖珍实验室（FITポケットラボ）”的一员。两年后，觉得没有什么有趣的研究题材的时候，他的小伙伴也参与了进来。

注：FIT袖珍实验室是福冈工业大学信息工程学院的跨学科工作之一，专注于低年级的独特学术研究活动。参与者确定他们想要做的研究主题，接受前辈和教授的建议，并且可以进行一年的实验和研究。

他的小伙伴名字为津田，也曾在在福冈工业大学就读，两人在大学相识，并合力做了味觉变换的研究，发布了“利用增强现实技术开发味觉操纵系统”，并获得了国家级别的奖励。所以被IEEEVR收录的这项研究肯定也离不开津田的支持和帮助。

这种味觉转换的研究在学界并不是很多，在刚接触的时候，Kizashi Nakano表示，他和他的小伙伴经历了许多挫折，为了让效果更逼真，图像更清晰，两位反复试错，尝试过各种各样的食物。最后在测试的时候，80%的人称食物的味道确实改变了。

其实，终极的虚拟现实体验将包含所有的感官感觉，包括嗅觉和味觉，而行业和社区一直在不断探索相关的实现方式。例如，东京大学的研究人员就曾经提出过利用电颚刺激GJS技术，从而更好地改变味觉并控制味道。这种GAN&AR技术结合的研究项目，相信也能够给予虚拟现实研究者新的方向吧。