电子发烧友网报道(文/李弯弯)2022年底,以ChatGPT为标志的生成式AI场景引爆市场,引发了全行业对于AI大模型等技术的关注,AI发展跨越拐点,大模型逐渐成为新一轮科技革命和产业变革的重要驱动力量。然而大模型的训练和部署需要大量的计算资源。
训推一体机成为算力行业趋势
今年7月,华为携手伙伴联合发布昇腾AI大模型训推一体化解决方案,加速大模型在各行业应用落地,并有23家昇腾AI伙伴推出AI服务器、智能边缘与终端新品,共同为行业智能化升级提供丰富的产品与解决方案。
昇腾一体机主要是为特定的AI应用设计的集成解决方案。它们整合了昇腾AI处理器、软件平台、开发工具和其他关键组件,如存储和网络设施,以提供针对特定AI任务(如深度学习、图像处理)的优化性能。这类设备通常更加用户友好,支持即插即用,特别适合于那些需要快速部署并立即投入使用AI技术的场景。
业界认为,训推一体机是适合我国市场的优选解决方案。当前我国大模型产业正高速发展,与此同时,技术变革带来的大模型应用研发周期长、研发门槛高、业务安全隐患等问题一定程度上阻碍里技术落地,尤其是在中国存在大量的G 端和B 端客户,而训推一体机很好地解决了这些痛点:
开箱即用,直接享用新技术成果。训推一体机可实现定制化的大模型应用软硬一体解决方案,一般可集成优选的成熟大模型产品,厂家可以协助大模型预训练定制、微调定制、训练标注、技术培训等;
2、简化部署,一般一体机均会提前做好适配调优,算法迁移,帮助客户简化大模型部署;3、数据安全,我国高度重视数据安全,尤其是政企客户,常规链接通用大模型存在数据泄露安全隐患,政府等客户更希望能本地化部署,训推一体机可完成本地训练和推理,解决大模型应用数据安全难题,试用于高安全要求场景和客户。
对于训推一体机市场需求情况,云从科技此前对媒体表示,对于国产信创需求的增加和对合规、私有化部署的重视,对数据要素和基于大模型的应用侧变化的重视,预计将会涌现出较大的应用场景,市场规模庞大,尤其在IT部分的升级和场景需求明确的私有化部署方面,将有巨大的市场机会。
训推一体机已在多个场景实现落地
据介绍,昇腾AI训推一体机单体价值量比昇腾服务器提高了很多,可以将其理解为昇腾服务器叠加大模型私有化部署迁移。根据中国招标投标公共服务平台公告,中贝通信和恒为科技分别中标了AI算力一体机采购项目,该项目采购总价为21.12亿元,单价为440万元。
众多厂商与华为携手推出大模型训推一体机。云从科技表示,公司正在与华为合作推出大模型训推一体机,方式是共同打造产品。华为的代工厂会将芯片与云从的大模型集成,然后共同推广给客户。云从在这个合作中不仅卖产品,还会提供其他应用开发相关的服务。
整个市场空间不同于以往的分成模式,而是通过联合推广的方式,与华为各地销售团队一起推广。价格上训推一体机大约在三四百万元的范围内,在中档旗舰训练部分报价大致在一百万元以下,更低端的一体机报价大约在30万左右。
云天励飞近日表示,公司联合华为于今年9月推出了大模型训推一体化产品—云天天书大模型训推一体机。该产品内置了公司自主研发的天书千亿级大模型。通过与昇腾硬件加速平台的联合深度优化,并集成“开箱即用”系列训推工具,产品可满足面向多业务场景的大模型高并发高能效处理、业务快速上线的需求。同时,产品具有丰富的接口,支持灵活的二次开发和敏捷部署。
智谱AI、昇腾、华鲲振宇在今年9月也联合预发布了三款智谱GLM昇腾大模型一体机,包括智谱-昇腾ChatGLM训推一体机、智谱-昇腾CodeGeeX代码生成一体机、智谱-昇腾ChatGLM推理一体机,旨在推动千行百业数字化转型升级。
智谱AI CEO张鹏表示,智谱AI专注于大模型的自主创新,一方面通过人工智能助手产品智谱清言将大模型能力开放给公众,另一方面也践行“模型即服务”的理念,让大模型应用落地千行百业。本次基于昇腾AI打造的大模型一体机,相信将为各行各业带来更便捷、更安全的大模型软硬件协同解决方案,推动建设更完善、健全的大模型应用生态。
此外,软通动力、科大讯飞、医渡科技、安恒信息、中软国际此前都陆续发布了其昇腾一体机解决方案,有望赋能千行百业。并且不少方案已经在诸多场景中实现落地,例如AI训练开发一体机解决方案赋能山东大学科研创新、软通动力AI机器人昇腾一体机助力深圳机场国际快件海关监管EIMS系统智能化升级等。
总结
随着科技的不断发展,人工智能已经逐渐渗透到我们生活的方方面面,从智能手机、智能家居到自动驾驶汽车、医疗诊断等,都离不开人工智能技术的支持。大模型的出现更是为更多领域带来助力,然而算力也因此面临挑战。而训推一体机让企业能够便捷的构建解决方案。
-
昇腾
+关注
关注
1文章
132浏览量
6584 -
算力
+关注
关注
1文章
925浏览量
14737 -
大模型
+关注
关注
2文章
2322浏览量
2477
发布评论请先 登录
相关推荐
评论