计算机体系结构的深度学习PDF电子书免费下载

　　机器学习，特别是深度学习，在计算机科学的许多领域都具有极大的破坏性。深度学习技术在解决众所周知的困难的分类和回归问题方面的成功，导致了它们在解决现实问题中的迅速采用。深度学习的出现被广泛地归因于一个良性循环，即大量数据集和高性能计算机硬件的可用性使深层模型训练取得了根本性进展。本文作为一个新的和迅速发展的领域的计算机架构师的入门。我们回顾了机器学习自20世纪60年代诞生以来是如何演变的，并跟踪了导致在过去十年中出现的强大的深度学习技术出现的关键发展。接下来，我们将回顾具有代表性的工作负载，包括最常用的数据集和跨越各种域的开创性网络。除了讨论工作负载本身之外，我们还详细介绍了最流行的深度学习工具，并展示了有抱负的实践者如何使用这些工具来描述和优化dnn。本书的其余部分致力于机器学习的硬件和体系结构的设计和优化。由于高性能硬件在机器学习成为一个实用解决方案的成功过程中起到了非常重要的作用，本章讲述了最近为进一步改进未来设计而提出的各种优化方案。最后，我们回顾了最近在该领域发表的研究，以及一个分类法，以帮助读者理解不同的贡献是如何在上下文中落下的。

　　这本书是打算为那些有计算机架构，电路，或系统背景的神经网络的一般介绍。在引言（第1章）中，我们定义了关键词汇表，回顾了这些技术的历史和发展，并为在该领域提供额外的硬件支持提供了理由。然后，我们回顾神经网络的基础知识，从线性回归到感知器，直到今天最先进的深度神经网络（第2章）。范围和语言的介绍应该让任何人都能跟上，目标是让社区站在同一页上。虽然人们对这一领域的兴趣激增，但有证据表明，许多术语被混为一谈，而且在这一领域的理解上存在差距。我们希望这里所呈现的内容能够辟谣，并为非专家提供共同点。在回顾之后，我们将深入讨论工具、工作负载和特性。对于从业者来说，这可能是最有用的一章。我们首先概述现代神经网络和机器学习软件包（即TensorFlow、Torch、Keras和Theano），并解释它们的设计选择和差异，以指导读者为其工作选择正确的工具。在第三章的后半部分，我们介绍了一组常用的、开创性的工作负载，这些工作负载是我们在一个名为Fathom〔2〕的基准套件中组装起来的，这些工作负载被分为两类：数据集和模型，并解释了为什么工作负载和/或数据集是决定性的，以及应该如何使用它。这一部分也有助于神经网络论文的评论者更好地判断贡献。通过更好地理解每一个工作负载，我们认为可以对想法和贡献进行更深思熟虑的解释。基准测试包含了CPU和GPU上的工作负载特性。第4章是在第3章的基础上建立起来的，对于希望研究使用定制硬件加速神经网络的架构师来说，这可能是最感兴趣的。在本章中，我们回顾了Minerva加速器设计和优化框架［114］，并详细介绍了如何将高级神经网络软件库与硬件CAD和仿真流结合起来，共同设计算法和硬件。我们特别关注Minerva方法，以及如何在神经网络精度和功耗、性能和区域硬件权衡方面进行实验。读完本章后，研究生应该有信心评估自己的加速器/定制硬件优化。在第五章中，我们对神经网络论文的相关硬件进行了全面的调查，并开发了一个分类法，以帮助读者理解和对比不同的项目。我们主要关注过去十年，并根据论文所涉及的计算堆栈的级别（算法、软件、体系结构或电路）和优化类型（稀疏性、量化、算术近似和容错性）对论文进行分组建筑和电路会议；这项调查试图捕捉本书出版时该地区建筑师最相关的作品。事实上，有太多的出版物，不可能把它们都放在一个地方。我们希望这项调查能起到一个起点的作用；分类法提供了一个顺序，让感兴趣的读者知道到哪里去了解更多关于某个特定主题的信息；而神经网络硬件支持的偶然参与者在这里找到了一种比较和对比相关工作的方法。最后，我们通过指出还有哪些工作要做来消除深度学习研究硬件已经达到饱和点的神话。尽管关于这个主题的论文很多，但我们还远远没有完成，即使是在监督学习中。本章介绍了需要注意的领域，并简要介绍了机器学习的其他领域。此外，虽然硬件在很大程度上是机器学习社区的一个服务行业，但我们确实应该开始考虑如何利用现代机器学习来改进硬件设计。这是一项艰巨的任务，因为它需要对方法的真正理解，而不是实现现有的设计，但如果说过去十年的机器学习教会了我们什么，那就是这些模型运行良好。计算机体系结构是计算机科学中最不正式的领域之一（几乎完全基于经验和直觉）。机器学习在重新思考我们如何设计硬件（包括贝叶斯优化）方面可以提供最多的帮助，并展示了这些技术在硬件设计中的益处。