0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

摩尔线程、无问芯穹合作完成国产全功能GPU千卡集群

微云疏影 来源:综合整理 作者:综合整理 2024-05-27 14:40 次阅读

近日,摩尔线程与无问芯穹共同披露,他们成功地完成了由国产全功能GPU——摩尔线程MTT S4000所构成的千卡集群驱动的大规模AI模型“MT-infini-3B”的训练工作,并使用无问芯穹的AI Studio PaaS平台进行构建。

据介绍,此项训练历时13.2天,过程稳定而有序,集群整体运行稳定性达到了100%。相较于单机训练,千卡集群的扩展效率提升了超过90%。

此次实训被誉为“充分证明了夸娥千卡智算集群在大模型训练中的可靠性,同时开创了国产大语言模型与国产GPU千卡智算集群深度合作的新模式”。

值得注意的是,经过此次实训,MT-infini-3B模型的性能在同类模型中名列前茅。在C-Eval、MMLU、CMMLU三个测试集中,其表现均优于其他在国际主流硬件上训练的模型。

无问芯穹的联合创始人兼CEO夏立雪表示,公司正致力于开发“M种模型”和“N种芯片”间的“MxN”中间层产品,以实现多种大模型算法在多元化芯片上的高效、统一部署。

他还透露,无问芯穹已与摩尔线程建立了深度战略合作关系,而本次“MT-infini-3B”的训练成果则是业内首例基于国产GPU芯片的从零开始到全面大模型实训的成功案例。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • gpu
    gpu
    +关注

    关注

    28

    文章

    4791

    浏览量

    129473
  • 语言模型
    +关注

    关注

    0

    文章

    544

    浏览量

    10348
  • 摩尔线程
    +关注

    关注

    2

    文章

    204

    浏览量

    4685
收藏 人收藏

    相关推荐

    国产千卡GPU集群完成大模型训练测试,极具高兼容性和稳定性

    集群的方式成为了必然的选择。   2023年底,摩尔线程推出首个全国产千卡千亿模型训练平台“
    的头像 发表于 06-11 07:50 3487次阅读
    <b class='flag-5'>国产</b><b class='flag-5'>千卡</b><b class='flag-5'>GPU</b><b class='flag-5'>集群</b><b class='flag-5'>完成</b>大模型训练测试,极具高兼容性和稳定性

    实现七家国产芯片DeepSeek适配

    近日,宣布了一个重大进展:其DeepSeek-R1、V3系列模型已成功适配并优化至壁仞、海光、摩尔
    的头像 发表于 02-13 16:04 79次阅读

    天数智合作突破千卡集群训练优化

    近日,天数智宣布达成深度合作,并在千卡
    的头像 发表于 01-21 14:31 246次阅读

    性能提升近一倍!壁仞科技携手,在千卡训练集群等领域取得技术新突破

    随着智能算力需求的倍增,到2024年,千卡算力集群已成为国内大模型训练的必备场景。壁仞科技,作为国内少数拥有原创训推一体架构的高端算力芯片厂商之一,与在AI算力市场具有重要影响力的
    发表于 11-05 18:45 1002次阅读
    性能提升近一倍!壁仞科技携手<b class='flag-5'>无</b><b class='flag-5'>问</b><b class='flag-5'>芯</b><b class='flag-5'>穹</b>,在<b class='flag-5'>千卡</b>训练<b class='flag-5'>集群</b>等领域取得技术新突破

    摩尔线程与羽人科技完成大语言模型训练测试

    近日,摩尔线程与羽人科技携手宣布,双方已成功实现夸娥(KUAE)千卡智算集群与羽人系列模型解决方案的训练兼容适配。在本次测试中,羽人科技通过摩尔
    的头像 发表于 08-27 16:19 600次阅读

    摩尔线程和乐创能源签署战略合作协议

    近日,摩尔线程和乐创能源签署了战略合作协议,双方将聚焦能源大模型的创新与应用,围绕新能源领域的电池、新能源发电、负荷管理、需求侧响应等产品技术方向,共同研发能源大模型。依托摩尔
    的头像 发表于 07-11 14:35 818次阅读

    摩尔线程与智谱AI完成大模型性能测试与适配

    近日,摩尔线程与智谱AI在人工智能领域开展了一轮深入的合作,共同对GPU大模型进行了适配及性能测试。此次测试不仅涵盖了大模型的推理能力,还涉及了基于
    的头像 发表于 06-14 16:40 1196次阅读

    国产GPU可替代!摩尔线程千卡集群点亮新成就

    摩尔线程联合宣布,双方已经正式完成MT-i
    的头像 发表于 05-29 11:27 867次阅读
    <b class='flag-5'>国产</b><b class='flag-5'>GPU</b>可替代!<b class='flag-5'>摩尔</b><b class='flag-5'>线程</b><b class='flag-5'>千卡</b><b class='flag-5'>集群</b>点亮新成就

    摩尔线程千卡智算集群与滴普企业大模型已完成训练及推理适配

    近日,摩尔线程与国内领先的数据智能服务商滴普科技共同宣布,摩尔线程夸娥(KUAE)千卡智算集群
    的头像 发表于 05-29 10:28 528次阅读
    <b class='flag-5'>摩尔</b><b class='flag-5'>线程</b><b class='flag-5'>千卡</b>智算<b class='flag-5'>集群</b>与滴普企业大模型已<b class='flag-5'>完成</b>训练及推理适配

    摩尔线程国产GPU上首次实现大模型实训

    近日,摩尔线程共同宣布,双方已正式完成基于
    的头像 发表于 05-27 10:59 713次阅读

    摩尔线程宣布完成基于GPU千卡集群的3B规模大模型实训

    摩尔线程联合宣布,双方已在本周正式完成基于
    的头像 发表于 05-27 10:44 538次阅读
    <b class='flag-5'>摩尔</b><b class='flag-5'>线程</b>与<b class='flag-5'>无</b><b class='flag-5'>问</b><b class='flag-5'>芯</b><b class='flag-5'>穹</b>宣布<b class='flag-5'>完成</b>基于<b class='flag-5'>GPU</b><b class='flag-5'>千卡</b><b class='flag-5'>集群</b>的3B规模大模型实训

    摩尔线程助力AI大模型训练与计算升级,共建美好数字化未来

    此外,在中关村国际技术交易大会高精尖技术产品首发会上,摩尔线程联合宣布,双方正致力于开
    的头像 发表于 04-28 16:42 1189次阅读

    俄罗斯自主芯片遇挫,超半数成废片

    摩尔线程是第一家接入并成功完成千卡级别大模型
    的头像 发表于 04-02 10:27 590次阅读
    俄罗斯自主芯片遇挫,超半数成废片

    摩尔线程联手开启千亿大模型服务新篇章

    3月31日,AI算力优化论坛暨产品发布会在上海成功举办,重磅发布了“Infini-A
    的头像 发表于 04-01 11:11 748次阅读
    <b class='flag-5'>摩尔</b><b class='flag-5'>线程</b>与<b class='flag-5'>无</b><b class='flag-5'>问</b><b class='flag-5'>芯</b><b class='flag-5'>穹</b>联手开启千亿大模型服务新篇章

    燧原科技与签约宣布共同打造千卡集群案例

    3月31日,在举办的以“多元计算·泛在链接”为主题的AI算力优化论坛暨产品发布会上,燧原科技与
    的头像 发表于 04-01 10:48 1003次阅读