0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

芯科技,解密ChatGPT畅聊之算力芯片

是德科技KEYSIGHT 来源:未知 2023-12-27 07:45 次阅读

在今日飞速发展的科技浪潮中,OpenAI的ChatGPT如一颗璀璨明星,引领着智能对话的新潮流。ChatGPT不仅是一款聊天机器人程序,它背后的驱动力是一个庞大而复杂的算力网络。这个网络依赖于先进的GPU服务器,尤其是英伟达的A100 GPU,提供了强大而精确的计算能力。ChatGPT的功能远超日常对话,它能够学习、理解并生成人类般的文本,是人工智能领域的一个重要突破。但其真正力量的源泉,是背后那些不断工作的算力芯片,它们让ChatGPT能够实时响应和进化,成为我们生活和工作中的得力助手。

本期是“芯科技”栏目第一期,文末有惊喜,千万别错过!

作为OpenAI研发的聊天机器人程序,支撑ChatGPT运转的可不是简单的一台机器,而是一个庞大的算力网络。这个算力网络可以抽象为三层:传输网络、计算网络和存储网络。如下图:

wKgZomWLZrKAA38rAAHaga7MSPs531.png

图:算力网络示意图

当前,大部分算力网络所采用的是GPU服务器,并广泛使用英伟达A100 GPU。A100 GPU属于算力芯片的一种,类型是GPGPU,此外还有专用的ASIC,比如NPU、VPU和TPU等,以及传统的CPUFPGA等。我们通过下面这张图能够比较直观地看到GPGPU在性能、算法精度、通用性等方面的优势。

算力芯片对比

指标

GPGPU

CPU

FPGA

ASIC

算力性能

极低

较高

芯片成本

较高

系统成本

功耗

能效比

极低

通用性

算力精度

丰富

单一

单一

单一

算法适配

丰富

单一

单一

单一

数据并行能力

适用场景

云端训练和推理

任务调度类

云边端推理

云边端训练和推理

图:算力芯片分类

综合而言,GPGPU是一款算力性能高,算力类型丰富,算法框架适配完全,数据并行能力强的算力芯片,更加适合当前多模态AI模型的发展。

在算力网络中,GPGPU芯片要发挥性能光靠自己可不行,需要系统的配合。在这个系统内:CPU负责任务调度;GPU负责主要的算力输出,也就是计算任务;内存负责数据暂存,配合GPU进行计算。

wKgZomWLZrKAMmUUAAXO92vc_Ko414.png

图:算力网络芯片分工示意图

为了提升计算效率,减少数据传输的延时,英伟达A100在芯片封装内搭载了HBM内存,其具有传输距离近,速度带宽高,堆叠容量大的优势。

wKgZomWLZrOAWncQAAPS3eFl3OM467.png

图:HBM内存,示意图

HBM这种芯片封装内搭载内存的方式,成本是比较高的,因此大部分AI服务器选择将计算芯片和内存分开,为了提升这种方式下内存的传输速度,内存标准也在不断演进,已经迭代到DDR5。

wKgZomWLZrOAB72rAAK802-g8kw934.png

图:内存技术发展

内存的发展趋势是速度更快、尺寸更小、功耗更低。为了保障内存的高性能和稳定性,在测试环节,需要进行各种功能、性能和可靠性等方面测试,其中需要用到高速误码仪,示波器,协议分析仪,一致性分析软件等软硬件组合,如下图:

wKgZomWLZrOATm9oAARdZyO2bdI224.png

图:是德科技DDR5测试拓扑图

是德科技,对算力芯片,总线技术PCIe/CXL,存储技术DDR/LPDDR等都有完整的解决方案,更多有关算力芯片测试,请参考文章下载链接:

点击注册

作为是德科技 “芯科技” 系列第一期,我们特意为大家准备了精美的礼品抽奖,也欢迎大家留言,把你想学习的知识,你和是德科技的故事,一起告诉小编!


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 是德科技
    +关注

    关注

    20

    文章

    873

    浏览量

    81756

原文标题:芯科技,解密ChatGPT畅聊之算力芯片

文章出处:【微信号:是德科技KEYSIGHT,微信公众号:是德科技KEYSIGHT】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    澎峰科技助力中国移动 重磅发布智合”原生基础软件栈2.0

    原生基础软件栈2.0。 芯片是智生态的基石,基础软件栈是智生态的核心。澎峰科技凭借在高性能计算库和跨架构领域的深厚积累,自
    的头像 发表于 12-03 15:08 244次阅读
    澎峰科技助力中国移动 重磅发布智<b class='flag-5'>算</b>“<b class='flag-5'>芯</b>合”<b class='flag-5'>算</b><b class='flag-5'>力</b>原生基础软件栈2.0

    一体架构创新助力国产大AI芯片腾飞

    在湾展SEMiBAY2024《AI芯片与高性能计算(HPC)应用论坛》上,亿铸科技高级副总裁徐芳发表了题为《存一体架构创新助力国产大
    的头像 发表于 10-23 14:48 275次阅读

    【「芯片 | 高性能 CPU/GPU/NPU 微架构分析」阅读体验】--全书概览

    本帖最后由 1653149838.791300 于 2024-10-16 22:19 编辑 感谢平台提供的书籍,厚厚的一本,很有分量,感谢作者的倾力付出成书。 本书主要讲芯片CPU
    发表于 10-15 22:08

    名单公布!【书籍评测活动NO.43】 芯片 | 高性能 CPU/GPU/NPU 微架构分析

    试用评测资格! 前言 不知不觉中,我们来到一个计算机科学飞速发展的时代,手机和计算机中各类便捷的软件已经融入日常生活,在此背景下,硬件特别是强劲的芯片,对于软件服务起到不可替代的支撑作用。
    发表于 09-02 10:09

    浅析三大异同

    随着一年多前ChatGPT的出现引爆人工智能(AI)浪潮,支撑大模型背后的“”概念突然闯进我们的视野,成为科技圈炙手可热的新词,引领着最新潮流。作为数字经济时代新生产,也许不少人
    的头像 发表于 08-30 12:56 750次阅读
    浅析三大<b class='flag-5'>算</b><b class='flag-5'>力</b><b class='flag-5'>之</b>异同

    耀辉科技解读高速互连对于AI和大芯片而言意味着什么?

    近年来,随着人工智能技术的迅猛发展,大芯片已成为推动AI技术创新的关键力量。然而,随着芯片内部计算单元数量的增加和任务复杂度的提升,互连已成为一个严重的瓶颈,制约着
    的头像 发表于 07-08 11:39 931次阅读

    商汤科技采购40000颗英伟达芯片,缩小中美差距

    徐冰认为,国产芯片崛起以及商品化带来的投资价值,使中美差距有望逐步缩小。只要中国持续在
    的头像 发表于 05-28 11:25 1216次阅读

    揭秘芯片:为何它如此关键?

    在数字化时代,芯片作为电子设备的核心组件,其性能直接关系到设备的运行速度和处理能力。而芯片,即其计算能力,更是衡量芯片性能的重要指标。
    的头像 发表于 05-09 08:27 975次阅读
    揭秘<b class='flag-5'>芯片</b><b class='flag-5'>算</b><b class='flag-5'>力</b>:为何它如此关键?

    时代, 如何打破内存墙

    设计的不断革新,进入了大时代。 目前,主流AI芯片的架构仍然沿用了传统的冯·诺依曼模型,这一设计将计算单元与数据存储分离。在这种架构下,处理器需要从内存中读取数据,执行计算任务,然后将结果写回内存。尽管AI
    的头像 发表于 03-06 19:51 309次阅读
    大<b class='flag-5'>算</b><b class='flag-5'>力</b>时代, 如何打破内存墙

    芯片:未来科技的加速器?

    在数字化时代,芯片作为电子设备的核心组件,其性能直接关系到设备的运行速度和处理能力。而芯片,即其计算能力,更是衡量芯片性能的重要指标。
    的头像 发表于 02-27 09:42 923次阅读
    高<b class='flag-5'>算</b><b class='flag-5'>力</b><b class='flag-5'>芯片</b>:未来科技的加速器?

    智能规模超通用,大模型对智能提出高要求

    电子发烧友网报道(文/李弯弯)是设备通过处理数据,实现特定结果输出的计算能力,常用FLOPS作为计量单位。FLOPS是Floating-point Operations Per Second
    的头像 发表于 02-06 00:08 6291次阅读

    赋能吉利星睿智中心,引领中国汽车“智时代”

    、智能化支撑能力最强、高安全级别的智中心。在这一创新项目中,宁信息产业股份有限公司(以下简称宁)作为重要的合作伙伴,深度参与了吉利星睿智中心的建设与运营,为其驾驭
    的头像 发表于 01-30 17:13 987次阅读

    大茉莉X16-P,5800M大称王称霸

    Rykj365
    发布于 :2024年01月25日 14:54:52

    是德科技智能’技术研讨会回顾

    2023年12月20日,是德科技成功举办了智能’技术研讨会。此次研讨会由是德科技的行业市场经理周巍策划并主持,研讨会聚焦网络,
    的头像 发表于 01-17 09:34 718次阅读

    ChatGPT芯片如何做输出

    卡的核心当然还是计算芯片,会搭配大容量高带宽的内存、缓存,以及搭载CPU用于调度,为了帮助数据传输,便会使用高速通道,这便是PCIe(高速串行计算机扩展总线标准)在系统中的作用:提供总线通道。
    发表于 01-11 10:01 484次阅读
    <b class='flag-5'>ChatGPT</b><b class='flag-5'>算</b><b class='flag-5'>力</b><b class='flag-5'>芯片</b>如何做<b class='flag-5'>算</b><b class='flag-5'>力</b>输出