近期,云天励飞推出IPU-X6000加速卡。该产品具备256T算力、128GB显存容量、486GB/S显存带宽;采用C2C Mesh互联技术,可实现卡间高速互联,带宽达64GB/s,最大可实现64张卡的互联;可应用于语言、视觉、多模态等各类大模型的推理加速,目前已适配云天天书、通义千问、百川智能、Llama2/3等近10个主流大模型。IPU-X6000加速卡内置全国产工艺打造的大算力芯片DeepEdge200,该芯片采用D2D Chiplet技术,是基于DeepEdge10芯片平台打造的最新成果。DeepEdge10是云天励飞于2023年底正式发布的全国产14nm Chiplet大模型推理芯片。IPU-X6000单卡可实现130B参数量大模型推理,在执行70B参数量大模型推理时性能达11 tokens/s,有望在大模型推理领域逐步实现国产替代。
![wKgZomagqCSAUCAoAABwbD12ozM182.png](https://file1.elecfans.com/web2/M00/FE/22/wKgZomagqCSAUCAoAABwbD12ozM182.png)
今年以来,大模型全面进入应用落地阶段,推理算力需求随之不断增长。根据IDC数据,预计到2026年中国数据中心用于推理的负载将达到62.2%。作为国内领先的人工智能企业,云天励飞不仅持续开展芯片、大模型等关键核心技术的自主研发工作,也一直持续推进大模型等创新技术的应用落地,在推理算力领域进行了完备的部署。
今年云天励飞与德元方惠签署协议,提供总算力规模约4000 PFLOPS的AI训练及推理异构算力服务,预计未来3年将为云天励飞贡献约16亿的营收。云天励飞推出的X6000加速卡,专门针对大模型推理任务设计,打造了一系列符合大模型演进趋势的统一工具链,包括分布式并行策略、基于硬件的流水线排布、先进的量化策略、多机并行的编译机制等,在同等条件下能够做到推理性能更高、消耗成本更低。未来X6000将进一步支撑云天励飞智算运营业务,为行业带来更丰富的算力服务。
-
加速卡
+关注
关注
1文章
51浏览量
10908 -
云天励飞
+关注
关注
0文章
115浏览量
11190 -
大模型
+关注
关注
2文章
2095浏览量
1894
发布评论请先 登录
相关推荐
云天励飞加速推动大模型行业落地
借助全新 AMD Alveo™ V80 计算加速卡释放计算能力
![借助<b class='flag-5'>全新</b> AMD Alveo™ V80 计算<b class='flag-5'>加速卡</b>释放计算能力](https://file1.elecfans.com/web2/M00/E6/DA/wKgaomZFo1aAbF-gAAV64asQSn0097.png)
云天励飞首届渠道大会落下帷幕,多家企业现场签约
云天励飞推出“深目”AI模盒,实现算法在线学习、自我迭代
![<b class='flag-5'>云天</b><b class='flag-5'>励</b><b class='flag-5'>飞</b><b class='flag-5'>推出</b>“深目”AI模盒,实现算法在线学习、自我迭代](https://file1.elecfans.com/web2/M00/C7/0B/wKgaomYFeJeAAmplAA_DufRruq0476.png)
云天励飞即将亮相“双数峰会”
瞬变对AI加速卡供电的影响
![瞬变对AI<b class='flag-5'>加速卡</b>供电的影响](https://file1.elecfans.com//web2/M00/B4/05/wKgZomVpsiyAI7V5AAP7wkR4pHo407.png)
介绍一款基于昆仑芯AI加速卡的高效模型推理部署框架
![介绍一款基于昆仑芯AI<b class='flag-5'>加速卡</b>的高效模型<b class='flag-5'>推理</b>部署框架](https://file1.elecfans.com/web2/M00/AA/48/wKgZomUt_SGACKw_AAA4nc2nV2o879.png)
评论