据外电报道,美国ai芯片初创企业d-matrix最近宣布,将推出jayhawk ii芯片,用于其独创的数字memory computing引擎,通过chiplet结构进行生成宏观推理。
公司方面表示,该引擎的内存带宽比nvidia的h100a100等高端的gpu大40倍。此外,d-matrix还主张,jayhawk ii对30亿至400亿大型语言模型(llm)的每秒生成推理能力增加10至20倍。公司方面表示,与gpu解决方案相比,生成推理的总拥有费用从10倍减少了20倍。
在物理设计方面,该芯片由6纳米工程制成,核心之间通过bow接口实现相互连接,支持各种精度的浮点数据型。
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。
举报投诉
-
芯片
+关注
关注
452文章
50117浏览量
420315 -
NVIDIA
+关注
关注
14文章
4838浏览量
102683 -
语言模型
+关注
关注
0文章
496浏览量
10232 -
chiplet
+关注
关注
6文章
414浏览量
12540
发布评论请先 登录
相关推荐
英伟达在AI芯片市场还能领先多久?
7月22日,国际媒体传来消息,英伟达在近年来兴起的生成式人工智能浪潮中脱颖而出,其高性能计算芯片如H100等广受业界青睐,推动了公司营收与利
英伟达缩短AI GPU交付周期,持续推进算力产业链发展
与此同时,随着人工智能的迅猛发展及其广泛应用,对像H100和A100这类专为数据中心设计的高性能GPU的需求也大幅增长。而包括Yotta在内的多家公司因此纷纷加大向
AI计算需求激增,英伟达H100功耗成挑战
根据预测,若H100的年利用率保持在61%,那么单台设备每年将耗电3740千瓦小时左右。如果英伟达在2023年售出150万块H100,2024年再增加至200万块,那么到2024年底,
AMD正式发布 MI300X AI 加速器,力压英伟达H100
争夺剩余的市场而战。然而,MI300X对英伟达的H100构成了有力的竞争,甚至微软的首席技术官最近都表示,他认为AMD最终在这个市场上将非常有竞争力。
英伟达推出用于人工智能工作的顶级芯片HGX H200
备受瞩目的人工智能领域,英伟达提到,H200将带来进一步的性能飞跃。在Llama 2(700亿参数的LLM)上的推理速度比H100快了一倍。
英伟达特供版芯片性能降80%!
报道中提到,英伟达的这三款AI芯片并非“改良版”,而是“缩水版”,其分别是HGX H20、L20 PCle和L2 PCle。用于AI模型训练的HGX
英伟达推升级版AI芯片H200 亚马逊、Google、甲骨文明年采用
报告称,虽然对被称为“ai加速器芯片”的英伟达h100的最新版本的需求很大,但amd表示,将在第四季度推出本公司的竞争产品mi300,而英特
传英伟达新AI芯片H20综合算力比H100降80%
但据悉,三种新型AI芯片不是“改良型”,而是“缩小型”。用于ai模型教育的hgx h20的带宽和计算速度是有限的。整体计算能力理论上比nvidia的h100 gpu芯片低80%左右。
评论