0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

一文理清CPU、GPU和TPU的关系

罗欣 来源:Google Cloud 作者:Kaz Sato 2018-09-04 11:12 次阅读

很多读者可能分不清楚 CPUGPU 和 TPU 之间的区别,因此 Google Cloud 将在这篇博客中简要介绍它们之间的区别,并讨论为什么 TPU 能加速深度学习

张量处理单元(TPU)是一种定制化的 ASIC 芯片,它由谷歌从头设计,并专门用于机器学习工作负载。TPU 为谷歌的主要产品提供了计算支持,包括翻译、照片、搜索助理和 Gmail 等。Cloud TPU 将 TPU 作为可扩展的云计算资源,并为所有在 Google Cloud 上运行尖端 ML 模型的开发者与数据科学家提供计算资源。在 Google Next’18 中,我们宣布 TPU v2 现在已经得到用户的广泛使用,包括那些免费试用用户,而 TPU v3 目前已经发布了内部测试版。

第三代 Cloud TPU

如上为 tpudemo.com 截图,该网站 PPT 解释了 TPU 的特性与定义。在本文中,我们将关注 TPU 某些特定的属性。

神经网络如何运算

在我们对比 CPU、GPU 和 TPU 之前,我们可以先了解到底机器学习或神经网络需要什么样的计算。如下所示,假设我们使用单层神经网络识别手写数字。

如果图像为 28×28 像素的灰度图,那么它可以转化为包含 784 个元素的向量。神经元会接收所有 784 个值,并将它们与参数值(上图红线)相乘,因此才能识别为「8」。其中参数值的作用类似于用「滤波器」从数据中抽取特征,因而能计算输入图像与「8」之间的相似性:

这是对神经网络做数据分类最基础的解释,即将数据与对应的参数相乘(上图两种颜色的点),并将它们加在一起(上图右侧收集计算结果)。如果我们能得到最高的预测值,那么我们会发现输入数据与对应参数非常匹配,这也就最可能是正确的答案。

简单而言,神经网络在数据和参数之间需要执行大量的乘法和加法。我们通常会将这些乘法与加法组合为矩阵运算,这在我们大学的线性代数中会提到。所以关键点是我们该如何快速执行大型矩阵运算,同时还需要更小的能耗。

CPU 如何运行

因此 CPU 如何来执行这样的大型矩阵运算任务呢?一般 CPU 是基于冯诺依曼架构的通用处理器,这意味着 CPU 与软件和内存的运行方式如下:

CPU 如何运行:该动图仅展示了概念性原理,并不反映 CPU 的实际运算行为。

CPU 最大的优势是灵活性。通过冯诺依曼架构,我们可以为数百万的不同应用加载任何软件。我们可以使用 CPU 处理文字、控制火箭引擎、执行银行交易或者使用神经网络分类图像。

但是,由于 CPU 非常灵活,硬件无法一直了解下一个计算是什么,直到它读取了软件的下一个指令。CPU 必须在内部将每次计算的结果保存到内存中(也被称为寄存器或 L1 缓存)。内存访问成为 CPU 架构的不足,被称为冯诺依曼瓶颈。虽然神经网络的大规模运算中的每一步都是完全可预测的,每一个 CPU 的算术逻辑单元(ALU,控制乘法器和加法器的组件)都只能一个接一个地执行它们,每一次都需要访问内存,限制了总体吞吐量,并需要大量的能耗。

GPU 如何工作

为了获得比 CPU 更高的吞吐量,GPU 使用一种简单的策略:在单个处理器中使用成千上万个 ALU。现代 GPU 通常在单个处理器中拥有 2500-5000 个 ALU,意味着你可以同时执行数千次乘法和加法运算。

GPU 如何工作:这个动画仅用于概念展示。并不反映真实处理器的实际工作方式。

这种 GPU 架构在有大量并行化的应用中工作得很好,例如在神经网络中的矩阵乘法。实际上,相比 CPU,GPU 在深度学习的典型训练工作负载中能实现高几个数量级的吞吐量。这正是为什么 GPU 是深度学习中最受欢迎的处理器架构。

但是,GPU 仍然是一种通用的处理器,必须支持几百万种不同的应用和软件。这又把我们带回到了基础的问题,冯诺依曼瓶颈。在每次几千个 ALU 的计算中,GPU 都需要访问寄存器或共享内存来读取和保存中间计算结果。因为 GPU 在其 ALU 上执行更多的并行计算,它也会成比例地耗费更多的能量来访问内存,同时也因为复杂的线路而增加 GPU 的物理空间占用。

TPU 如何工作

当谷歌设计 TPU 的时候,我们构建了一种领域特定的架构。这意味着,我们没有设计一种通用的处理器,而是专用于神经网络工作负载的矩阵处理器。TPU 不能运行文本处理软件、控制火箭引擎或执行银行业务,但它们可以为神经网络处理大量的乘法和加法运算,同时 TPU 的速度非常快、能耗非常小且物理空间占用也更小。

其主要助因是对冯诺依曼瓶颈的大幅度简化。因为该处理器的主要任务是矩阵处理,TPU 的硬件设计者知道该运算过程的每个步骤。因此他们放置了成千上万的乘法器和加法器并将它们直接连接起来,以构建那些运算符的物理矩阵。这被称作脉动阵列(Systolic Array)架构。在 Cloud TPU v2 的例子中,有两个 128X128 的脉动阵列,在单个处理器中集成了 32768 个 ALU 的 16 位浮点值。

我们来看看一个脉动阵列如何执行神经网络计算。首先,TPU 从内存加载参数到乘法器和加法器的矩阵中。

然后,TPU 从内存加载数据。当每个乘法被执行后,其结果将被传递到下一个乘法器,同时执行加法。因此结果将是所有数据和参数乘积的和。在大量计算和数据传递的整个过程中,不需要执行任何的内存访问。

这就是为什么 TPU 可以在神经网络运算上达到高计算吞吐量,同时能耗和物理空间都很小。

好处:成本降低至 1/5

因此使用 TPU 架构的好处就是:降低成本。以下是截至 2018 年 8 月(写这篇文章的时候)Cloud TPU v2 的使用价格。

Cloud TPU v2 的价格,截至 2018 年 8 月。

斯坦福大学发布了深度学习和推理的基准套装 DAWNBench。你可以在上面找到不同的任务、模型、计算平台以及各自的基准结果的组合。

DAWNBench:https://dawn.cs.stanford.edu/benchmark/

在 DAWNBench 比赛于 2018 年 4 月结束的时候,非 TPU 处理器的最低训练成本是 72.40 美元(使用现场实例训练 ResNet-50 达到 93% 准确率)。而使用 Cloud TPU v2 抢占式计价,你可以在 12.87 美元的价格完成相同的训练结果。这仅相当于非 TPU 的不到 1/5 的成本。这正是神经网络领域特定架构的威力之所在。

本文来源:Google Cloud Kaz Sato

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • cpu
    cpu
    +关注

    关注

    68

    文章

    10928

    浏览量

    213407
  • gpu
    gpu
    +关注

    关注

    28

    文章

    4802

    浏览量

    129569
  • TPU
    TPU
    +关注

    关注

    0

    文章

    145

    浏览量

    20806
收藏 人收藏

    相关推荐

    GPU渲染才是大势所趋?CPU渲染与GPU渲染的现状与未来

    在3D建模和渲染领域,随着技术的发展,CPU渲染和GPU渲染这两种方法逐渐呈现出各自独特的优势,并且在不同的应用场景中各有侧重。尽管当前我们处在CPU渲染和
    的头像 发表于 02-06 11:04 139次阅读
    <b class='flag-5'>GPU</b>渲染才是大势所趋?<b class='flag-5'>CPU</b>渲染与<b class='flag-5'>GPU</b>渲染的现状与未来

    2024年GPU出货量增长显著,超越CPU

    6%的同比增长,总量超过2.51亿颗,这数据不仅彰显了GPU市场的繁荣,也反映了当前市场对于图形处理能力的巨大需求。 尤为值得提的是,与同样作为计算机核心部件的CPU相比,
    的头像 发表于 01-17 14:12 185次阅读

    文理解多模态大语言模型——下

    /understanding-multimodal-llms   《文理解多模态大语言模型 - 上》介绍了什么是多模态大语言模型,以及构建多模态 LLM 有两种主要方式之:统嵌入
    的头像 发表于 12-03 15:18 260次阅读
    <b class='flag-5'>一</b><b class='flag-5'>文理</b>解多模态大语言模型——下

    看懂】大白话解释“GPUGPU算力”

    随着大模型的兴起,“GPU算力”这个词正频繁出现在人工智能、游戏、图形设计等工作场景中,什么是GPU,它与CPU的区别是什么?以及到底什么是GPU算力?本篇文章主要从以下5个角度,让您
    的头像 发表于 10-29 08:05 1171次阅读
    【<b class='flag-5'>一</b><b class='flag-5'>文</b>看懂】大白话解释“<b class='flag-5'>GPU</b>与<b class='flag-5'>GPU</b>算力”

    【「大模型时代的基础架构」阅读体验】+ 第、二章学习感受

    常用的机器学习算法,重点剖析了元线性回归算法,由此引出机器学习算法的运算特征,此后分别描述了使用CPUGPUTPU和NPU运行机器学习算法的特点,比如
    发表于 10-10 10:36

    TPU v1到Trillium TPU,苹果等科技公司使用谷歌TPU进行AI计算

    ,在训练尖端人工智能方面,大型科技公司正在寻找英伟达以外的替代品。   不断迭代的谷歌TPU 芯片   随着机器学习算法,特别是深度学习算法在各个领域的广泛应用,对于高效、低功耗的AI计算硬件需求日益增长。传统的CPUGPU
    的头像 发表于 07-31 01:08 3486次阅读

    Arm发布针对旗舰智能手机的新CPUGPU IP

    全球领先的芯片设计公司Arm宣布了针对旗舰智能手机市场的全新CPUGPU IP设计方案——Cortex-X925 CPU和Immortalis G925 GPU。这两款产品均基于Ar
    的头像 发表于 05-31 09:44 673次阅读

    CPU渲染和GPU渲染优劣分析

    使用计算机进行渲染时,有两种流行的系统:基于中央处理单元(CPU)或基于图形处理单元(GPU)。CPU渲染利用计算机的CPU来执行场景并将其渲染到接近完美。这也是执行渲染的更传统方式。
    的头像 发表于 05-23 08:27 747次阅读
    <b class='flag-5'>CPU</b>渲染和<b class='flag-5'>GPU</b>渲染优劣分析

    看懂DPU与CPUGPU关系

    独立供电的智能网卡,需要考虑网卡状态与计算服务之间低层信号识 别,在计算系统启动的过程中或者启动之后,智能网卡是否已经是进入服务状 态,这些都需要探索和解决。
    发表于 04-26 10:35 1.8w次阅读
    <b class='flag-5'>一</b><b class='flag-5'>文</b>看懂DPU与<b class='flag-5'>CPU</b>、<b class='flag-5'>GPU</b>的<b class='flag-5'>关系</b>

    X-Silicon发布RISC-V新架构 实现CPU/GPU体化

    X-Silicon 的芯片与其他架构不同,其设计将 CPUGPU 的功能整合到单核架构中。这与英特尔和 AMD 的典型设计不同,前者有独立的 CPU 内核和 GPU 内核。
    发表于 04-08 11:34 673次阅读
    X-Silicon发布RISC-V新架构 实现<b class='flag-5'>CPU</b>/<b class='flag-5'>GPU</b><b class='flag-5'>一</b>体化

    RISC-V芯片新突破:CPUGPU体化核心设计

    X-Silicon 的芯片与其他架构不同,其设计将 CPUGPU 的功能结合到单核架构中。这与 Intel 和 AMD 的典型设计不同,后者有独立的 CPU 核心和 GPU 核心
    发表于 04-07 10:41 817次阅读
    RISC-V芯片新突破:<b class='flag-5'>CPU</b>与<b class='flag-5'>GPU</b><b class='flag-5'>一</b>体化核心设计

    掌握AI大模型算力的核心要素

    GPU和显卡的关系,就像是CPU和主板的关系。前者是显卡的心脏,后者是主板的心脏。有些小伙伴会把GPU和显卡当成
    发表于 03-29 11:44 1364次阅读
    <b class='flag-5'>一</b><b class='flag-5'>文</b>掌握AI大模型算力的核心要素

    交换机cpu和交换芯片的关系

    交换机CPU和交换芯片在网络设备中共同工作,它们之间的关系可以类比为大脑与肌肉的关系CPU负责决策和控制,而交换芯片负责执行这些决策的物理操作。
    的头像 发表于 03-22 16:34 1329次阅读

    详解GPU硬件与CUDA开发工具

    CPUGPU 的显著区别是:个典型的 CPU 拥有少数几个快速的计算核心,而个典型的 GPU
    的头像 发表于 03-21 10:15 1470次阅读
    <b class='flag-5'>一</b><b class='flag-5'>文</b>详解<b class='flag-5'>GPU</b>硬件与CUDA开发工具

    Groq推出大模型推理芯片 超越了传统GPU和谷歌TPU

    Groq推出了大模型推理芯片,以每秒500tokens的速度引起轰动,超越了传统GPU和谷歌TPU
    的头像 发表于 02-26 10:24 1285次阅读
    Groq推出大模型推理芯片 超越了传统<b class='flag-5'>GPU</b>和谷歌<b class='flag-5'>TPU</b>