近日,摩尔线程与无问芯穹共同披露,他们成功地完成了由国产全功能GPU——摩尔线程MTT S4000所构成的千卡集群驱动的大规模AI模型“MT-infini-3B”的训练工作,并使用无问芯穹的AI Studio PaaS平台进行构建。
据介绍,此项训练历时13.2天,过程稳定而有序,集群整体运行稳定性达到了100%。相较于单机训练,千卡集群的扩展效率提升了超过90%。
此次实训被誉为“充分证明了夸娥千卡智算集群在大模型训练中的可靠性,同时开创了国产大语言模型与国产GPU千卡智算集群深度合作的新模式”。
值得注意的是,经过此次实训,MT-infini-3B模型的性能在同类模型中名列前茅。在C-Eval、MMLU、CMMLU三个测试集中,其表现均优于其他在国际主流硬件上训练的模型。
无问芯穹的联合创始人兼CEO夏立雪表示,公司正致力于开发“M种模型”和“N种芯片”间的“MxN”中间层产品,以实现多种大模型算法在多元化芯片上的高效、统一部署。
他还透露,无问芯穹已与摩尔线程建立了深度战略合作关系,而本次“MT-infini-3B”的训练成果则是业内首例基于国产GPU芯片的从零开始到全面大模型实训的成功案例。
-
gpu
+关注
关注
28文章
4791浏览量
129473 -
语言模型
+关注
关注
0文章
544浏览量
10348 -
摩尔线程
+关注
关注
2文章
204浏览量
4685
发布评论请先 登录
相关推荐
性能提升近一倍!壁仞科技携手无问芯穹,在千卡训练集群等领域取得技术新突破
![性能提升近一倍!壁仞科技携手<b class='flag-5'>无</b><b class='flag-5'>问</b><b class='flag-5'>芯</b><b class='flag-5'>穹</b>,在<b class='flag-5'>千卡</b>训练<b class='flag-5'>集群</b>等领域取得技术新突破](https://file1.elecfans.com/web2/M00/0B/CD/wKgaomcp992AbRN3AAGdJIk3q7o409.png)
评论