初创芯片设计公司 Cerebras Systems发布了第三代 WSE-3 AI 芯片,此款芯片利用台积电5纳米制程技术制造,晶体管数量较上一代 WSE-2 明显提高,达到惊人的4万亿个。新一代 CS-3 系统搭载 WSE-3芯片,能耗不变的前提下,处理能力高达原版的2倍。据Cerebras执行总裁 Andrew Feldman表明,此次突破是向实现摩尔定律更近一步。
该款 WSE-3 AI 芯片几乎完全由一块12英寸晶圆构成,形如边长21.5厘米之正方体。这款芯片设有90万个 AI 内核,理论上可输出每秒125百亿次浮点运算(PFLOPS)的超强算力,其计算速度超过了大约62个 NVIDIA H100 GPU 的总和。
Cerebras主要分为三批推出芯片,分别于2019年、2021年以及即将到来的2024年初问世。三批均采用台积电16nm、7nm及5nm工艺生产。具体来看,这些芯片中的晶体管数量不断增长,其中FLOPS计算性能提升最快,AI核心数目、内存储器容量及内部带宽则保持较为平稳的增势。
单个 WSE-3芯片使得CS-3计算系统训练达到24万亿参量的神经网络模型,相当于最强 LLM 规模的十倍,例如 OpenAI 的 GPT-4 以及谷歌的 Gemini。CS-3系统也具备卓越的可扩充性,最多能容纳2048台设备连接。这样的大规模计算集群仅需一天便可完成训练含有700亿参量的 Llama 模型任务。
CS-3计算系统上市后受到广泛关注与追捧,其企业客户、云服务运营商甚至政府机构纷纷下单预约。另外,鉴于此前成功合作开发的 Condor Galaxy 1(CG-1)和 CG-2,Cerebras 及阿拉伯联合酋长国 G42 公司已经着手建设最新款的 CG-3 超级计算机。坐落于德州达拉斯市的 CG-3计划装配64台CS-3计算系统,共有5760万个AI核心,预计AI计算能力达到8 ExaFLOPS(EFLOPS)。
一旦加入已经在加州运行的 CG-1和 CG-2系统,整个 Condor Galaxy 计算网络的性能预计能够达到令人难以置信的16 EFLOPS。这个包含从 CG-1到CG-9共九台超级计算机在内的分布式计算网络有望于2024年底正式投入使用,共同为 G42 公司内部团队及云服务团队提供强大支持。G42公司首席技术官 Kiril Evtimov公开表示,现有的 Condor Galaxy 计算网络已成功支持业内不少尖端开源模型的深度学习训练。
-
晶圆
+关注
关注
52文章
4808浏览量
127650 -
gpu
+关注
关注
28文章
4667浏览量
128549 -
AI芯片
+关注
关注
17文章
1849浏览量
34833
发布评论请先 登录
相关推荐
评论