Casimir Wierzynski：《人工智能研究——物理学、隐私和大脑》的演讲

在 11 月 14 日至 15 日在北京召开的英特尔人工智能大会（AIDC）上，英特尔人工智能产品事业部（AIPG）全球研究负责人 Casimir Wierzynski 发表了主题为《人工智能研究——物理学、隐私和大脑》的演讲。他表示，物理学、隐私和大脑，将根本性地塑造人工智能的未来。

“AI 的一个重大挑战是确保我们释放能力的同时，不违反我们的价值观。其中一个重要的价值观就是隐私。”Casimir Wierzynski 反复强调隐私在 AI 发展中的重要性。他认为，机器学习和隐私之间存在矛盾，机器学习总想要读更多的数据，而隐私天然地想要去隐藏数据。Casimir Wierzynski 的团队正致力于使同态加密及其他私有的机器学习技术变得更加强大和实用。

目前，Casimir Wierzynski 专门负责识别英特尔下一代 AI 系统当中的重要技术，并着力孵化它们。与英特尔 lab 或以产品为导向的团队不同的是，他关注的更多是与 AI 有关的前沿的或者前瞻性的、高端的研究领域。除了进行研究、出版文章外，通常情况下他还会与学术界的科学家进行合作，和英特尔的多个业务组进行合作来测试一些大的想法。

演讲结束后，Casimir Wierzynski 接受了AI科技大本营的专访。以下是演讲的主要内容：

我想跟大家分享三个广泛的话题，现在英特尔正在去努力，并且我们相信这三个方面将会根本性的改变整个人工智能方面的领域，也就是物理学、隐私和大脑。

在英特尔，我们非常在意材料物理学，并进行了材料物理学方面的很多研究。例如在室温下可以做磁铁的有三种元素，铁、钴、镍。今年我的同事做出了一个根本性的发现，就是还有第四个元素，就是钌。这是在《自然通讯》杂志上今年早些时候发表的。但是物理学和 AI 之间有什么样的关系，AI 的物理学是什么意思呢？

这个答案对于 AI 的计算力有一个指数型的需求，这张图来自 OpenAI 的报告，他们测量了达到这个关键的 AI 研究里程碑所需要的浮点运算的数量，这是对数尺度的，所以直线表明了是指数型的。

他们发现对于 AI 计算的需求可以说是在过去六年当中每 3.5 个月会发生翻倍，在六年当中达到了大概 30万倍。所以 AI 计算在这样的速度上来扩展，对于整个的算法、架构以及所有的硬件、基片来讲，对产业来讲就是一个巨大的挑战。这就是物理学能够帮忙的地方。

关键并不是要把物理学当作一个限制，而是一种工具。Richard Feynman 在 1959 年就指出了，而且今天也是正确的，就是在纳米级别的创新方面还有大量的空间。在我的团队当中，我们研究的一个技术就是怎么样去利用制造芯片的第三维度，这是一个很有希望的想法，在晶体管上一层一层去叠加更多的层数，导致垂直连接的高密度，叫“整体的 3D 集成电路”。

通过这些设备以 3D 的方式来进行密集的连接，你可以去减少这种信号传输所需要经过的线缆的长度，会减少计算的耗能，并且帮助你扩大在一个单位面积内的晶体管数量，这个设备是在去年斯坦福大学所完成的，并在《自然》杂志上刊登。

我的团队正在和主要作者 Subhashish Mitra 教授共同探讨，看如何把它用在 AI 工作负载上。如果未来进一步展望，我们调查新的设备基于新的材料和新的物理学的新设备。大部分今天的计算都是基于这种布林逻辑，涉及到开和关，我们使用的晶体管是基于大家熟悉的理念。但是还有一些物质的其他物理特性是可以利用的，比如说控制开关传输信号和去读出这些信号。

另外一个非常重要的 AI 问题，就是隐私问题。AI 的一个挑战是确保我们要释放能力的同时，不违反我们的价值观。在机器学习和隐私之间存在一些矛盾，机器学习总想要读更多的数据，而隐私天然的想要去隐藏数据，我的团队正在研究一些方式，使用密码学来解决这种矛盾，然后使得我们可以有更多的 AI 新的用例。假设一个用户有一个非常私密的数据，他希望能够在云上对这个数据进行处理，如果他能够去将这些数据来进行加密，并且把他们去发到云上进行处理，而不需要分享这个密钥的话，而且可以得到一个加密的回传，会是非常理想的。这种能力来进行加密数据的计算，叫做所谓的“同态加密”。

2009 年，由于加密技术取得了突破性进展，同态加密在理论上已变得可行，但是它在实践中几乎不可行，因为它需要进行太多的计算。

自那之后，同态方案得到了巨大改进，尤其是在执行深度学习中使用的各种计算方面，如矩阵乘法。

我的团队正在致力于使同态加密及其他私有的机器学习技术变得更加强大和实用。尽管这是开发者大会，但我要提及的一点是，我们也在努力使非专业人员能够轻松使用这些加密工具。你可以将同态加密视为一种用于运行模型的不同硬件目标。它是一台接受加密输入并输出加密答案的机器。

因此，我们针对英特尔 nGraph 编译器创建了后端，使开发人员能够使用 TensorFlow 或 PyTorch 等框架构建模型，然后对这些模型进行编译，让它们可以在使用加密输入的情况下运行。我们的目标是在今年年底之前，将这款工具作为开源工具提供。

到目前为止，我们已经谈到了如何能够去把 AI 人工智能结合起来，把计算进行加密，我们这个业务组在不断地推动 AI 的前沿，通过了解人的大脑是如何发挥贡献的，因为我们作为神经生物科学家，所兴奋得不光是能够更好的开发人工智能的系统，还有解密全人类有史以来最大的神秘，也就是大脑机理。

我们知道，大脑是终极的人工智能机器，深度神经网络就是由大脑所启发，实际上就是大脑的不同的并行的一些电路板，正如神经网络的模型生物的这些神经元，也是这样排列，它们是线性的输入、非线性的输出。

深度学习在过去十多年取得了巨大的成功，这也是为什么今天我们能够在这里探讨这个话题，但仍然深度学习还有一些麻烦的地方，比如现在的模型很难从几个小时的数据就能进行推测。对于目前深度学习的系统来说是很难实现的，可能需要几百个样本，而人类可以非常高效地进行推测、或特征寻找。

非常高兴得能够与大家分享我的工作成果。谢谢聆听。

以下为AI科技大本营专访实录，并做了不改变愿意的整理：

AI科技大本营：首先请您简单介绍一下在加入英特尔一年多做了哪些工作，包括技术方面以及人员方面的成果和进展。

Casimir Wierzynski：我负责英特尔人工智能产品部门的研发团队建设工作，目标是确保我所组建的研究团队的人员，每个人能将百分之百的时间投入到与人工智能研究的工作上来。英特尔公司一直以来开展大量与人工智能有关的研究工作。但我认为非常有必要专门找到这样一群人，打造一个无论是从时间的分配上和职责的分配上都是百分之百投入到 AI 相关研究的团队。

AI科技大本营：刚才您在台上也提到了用密码学去解决机器学习与隐私之间挑战的问题，这个解决方案是如何想到的？此外，提到今年年底会开放同态加密的工具，提供给开发人员，但是它有一个问题，比如消耗大量的计算时间，能否具体讲讲英特尔在这方面是如何解决的？

Casimir Wierzynski：首先我要澄清一下，实际上同态加密这个想法也不算是我想到的，最早是 2009 年 Craig Gentry 在斯坦福攻读博士的论文 (A Fully Homomorphic Encryption Scheme, Gentry, 2009) 里所写到。我之前经常拜访麻省理工，拜访教授，就他们最新的成果进行演讲，其中有一位教授提到了同态加密。我们确实知道同态加密这个方法的计算强度确实非常大，但当时那位教授向我们介绍了他的论文，基于他的论文我们发现计算的强度已经实现了大规模的下降。我当时就有这种感觉，我觉得这个技术现在已经非常接近可以用在商业化的规模上。

当然，具体你说的某一项特定技术会在哪个时间点上腾飞、起飞，这个现在很难说，但至少我有这样一种感觉，同态加密已经发展到即将可能进行商业化大规模使用的时间点上。

您的第二个问题主要是问到英特尔在特定的领域里会做哪些工作，让它采纳起来的难度会有所降低。我觉得主要是分成三个部分：

第一，英特尔内部有很多专门从事密码学的研究人员，他们会开发出非常好的算法来支持技术；

第二，我们也有非常大量的、优秀的软件工程技术方面的人才，他们可以使得整个库变得更可获得、更好用，这也是今天我在大会演讲当中主要提到的；

第三，实际上也是英特尔一贯的做法，如果英特尔认为这是一个非常重要的工作，或者具有关键性意义的工作，我们会进行相应的投入，会有一个比较明确的路线图来指导这个工作。

最后我还是想再补充一下，之前在大会上主要谈的是同态加密的做法，它的主要目的是用来协调在机器学习和隐私方面的关系。但是我想说的是，同态加密只是在解决技术挑战方面的工具之一，换而言之，现在还有其他的工具，我们也在考虑、在看，因此同态加密并不是唯一的银子弹。

AI科技大本营：看到您更加关注的是机器学习方面的技术发展，最近谷歌 DeepMind 的 BigGAN 在图像生成方面取得了非常大的进展，您这项成果发展是如何看待的？与谷歌是如何展开合作的？

Casimir Wierzynski：首先要说明的是，谷歌和英特尔的工程技术人员在很多的话题和领域当中都开展了很多合作。在深度学习网络出现之后，企业需要来评估这事是否是将来会做大，并且可能是一个很大的突破。

关于您提到的问题，刘茵茵（AIPG数据科学部主任）所带领的团队是做深度学习的相关研究，和我的团队相比，她的团队是更着重在深度学习上。而且我跟刘茵茵的办公室很近，我俩时不时就具体的算法问题来沟通和交流。AI 产品集团部门在技术上内部的沟通和交流是挺频繁的，不过具体说到算法和深度学习还是刘茵茵的团队管得多一些。

AI科技大本营：您对于在 NIPS 这样机器学习顶会上发表论文是如何看待的？是否把它看作一个主要的工作成果或是KPI的展示？

Casimir Wierzynski：我们确实是非常鼓励英特尔的研究人员积极参与顶级学术会议，并发表论文。如果是和神经学方面研究有关的，那就可以是 NIPS。我们的研究发表论文也不局限于特定的领域，任何的话题都可能。如果是涉及到半导体或者芯片，我们可能会选择像《自然》或者是《科学》这样的期刊去发表。密码学那边也有专门的学术会议，也有专门的期刊。我们还是非常鼓励员工能够积极的参与这些学术期刊文章的发表和学术会议，这样可以来展示他们的研究成果。

AI科技大本营：云端芯片和终端芯片在各自的应用场景都非常有用，包括云端更多的是用于深度学习训练和推测，终端芯片更多的应用在医疗、视频监控等物联网场景。英特尔目前倾向于哪个方向，基于怎样的战略和技术方面的考量？

Casimir Wierzynski：我尝试着用一种风趣的方法来回答你的问题。我前面也讲过，我们做的研究工作主要是放眼长远，所以我们的地平线是在很远的地方，如此之远，以至于可以同时涵盖云端的研究和边缘或者终端的研究，就好像我很幸运，不需要在我的两个孩子当中挑出我更爱谁多一点。