0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

大模型引爆市场,训推一体机成算力行业趋势

Carol Li 来源:电子发烧友网 作者:李弯弯 2023-12-05 00:14 次阅读

电子发烧友网报道(文/李弯弯)2022年底,以ChatGPT为标志的生成式AI场景引爆市场,引发了全行业对于AI大模型等技术的关注,AI发展跨越拐点,大模型逐渐成为新一轮科技革命和产业变革的重要驱动力量。然而大模型的训练和部署需要大量的计算资源。

训推一体机成为算力行业趋势

今年7月,华为携手伙伴联合发布昇腾AI大模型训推一体化解决方案,加速大模型在各行业应用落地,并有23家昇腾AI伙伴推出AI服务器、智能边缘与终端新品,共同为行业智能化升级提供丰富的产品与解决方案。

昇腾一体机主要是为特定的AI应用设计的集成解决方案。它们整合了昇腾AI处理器、软件平台、开发工具和其他关键组件,如存储和网络设施,以提供针对特定AI任务(如深度学习、图像处理)的优化性能。这类设备通常更加用户友好,支持即插即用,特别适合于那些需要快速部署并立即投入使用AI技术的场景。

业界认为,训推一体机是适合我国市场的优选解决方案。当前我国大模型产业正高速发展,与此同时,技术变革带来的大模型应用研发周期长、研发门槛高、业务安全隐患等问题一定程度上阻碍里技术落地,尤其是在中国存在大量的G 端和B 端客户,而训推一体机很好地解决了这些痛点:

开箱即用,直接享用新技术成果。训推一体机可实现定制化的大模型应用软硬一体解决方案,一般可集成优选的成熟大模型产品,厂家可以协助大模型预训练定制、微调定制、训练标注、技术培训等;

2、简化部署,一般一体机均会提前做好适配调优,算法迁移,帮助客户简化大模型部署;3、数据安全,我国高度重视数据安全,尤其是政企客户,常规链接通用大模型存在数据泄露安全隐患,政府等客户更希望能本地化部署,训推一体机可完成本地训练和推理,解决大模型应用数据安全难题,试用于高安全要求场景和客户。

对于训推一体机市场需求情况,云从科技此前对媒体表示,对于国产信创需求的增加和对合规、私有化部署的重视,对数据要素和基于大模型的应用侧变化的重视,预计将会涌现出较大的应用场景,市场规模庞大,尤其在IT部分的升级和场景需求明确的私有化部署方面,将有巨大的市场机会。

训推一体机已在多个场景实现落地

据介绍,昇腾AI训推一体机单体价值量比昇腾服务器提高了很多,可以将其理解为昇腾服务器叠加大模型私有化部署迁移。根据中国招标投标公共服务平台公告,中贝通信和恒为科技分别中标了AI算力一体机采购项目,该项目采购总价为21.12亿元,单价为440万元。

众多厂商与华为携手推出大模型训推一体机。云从科技表示,公司正在与华为合作推出大模型训推一体机,方式是共同打造产品。华为的代工厂会将芯片与云从的大模型集成,然后共同推广给客户。云从在这个合作中不仅卖产品,还会提供其他应用开发相关的服务。

整个市场空间不同于以往的分成模式,而是通过联合推广的方式,与华为各地销售团队一起推广。价格上训推一体机大约在三四百万元的范围内,在中档旗舰训练部分报价大致在一百万元以下,更低端的一体机报价大约在30万左右。

云天励飞近日表示,公司联合华为于今年9月推出了大模型训推一体化产品—云天天书大模型训推一体机。该产品内置了公司自主研发的天书千亿级大模型。通过与昇腾硬件加速平台的联合深度优化,并集成“开箱即用”系列训推工具,产品可满足面向多业务场景的大模型高并发高能效处理、业务快速上线的需求。同时,产品具有丰富的接口,支持灵活的二次开发和敏捷部署。

智谱AI、昇腾、华鲲振宇在今年9月也联合预发布了三款智谱GLM昇腾大模型一体机,包括智谱-昇腾ChatGLM训推一体机、智谱-昇腾CodeGeeX代码生成一体机、智谱-昇腾ChatGLM推理一体机,旨在推动千行百业数字化转型升级。

智谱AI CEO张鹏表示,智谱AI专注于大模型的自主创新,一方面通过人工智能助手产品智谱清言将大模型能力开放给公众,另一方面也践行“模型即服务”的理念,让大模型应用落地千行百业。本次基于昇腾AI打造的大模型一体机,相信将为各行各业带来更便捷、更安全的大模型软硬件协同解决方案,推动建设更完善、健全的大模型应用生态。

此外,软通动力、科大讯飞、医渡科技、安恒信息、中软国际此前都陆续发布了其昇腾一体机解决方案,有望赋能千行百业。并且不少方案已经在诸多场景中实现落地,例如AI训练开发一体机解决方案赋能山东大学科研创新、软通动力AI机器人昇腾一体机助力深圳机场国际快件海关监管EIMS系统智能化升级等。

总结

随着科技的不断发展,人工智能已经逐渐渗透到我们生活的方方面面,从智能手机智能家居自动驾驶汽车、医疗诊断等,都离不开人工智能技术的支持。大模型的出现更是为更多领域带来助力,然而算力也因此面临挑战。而训推一体机让企业能够便捷的构建解决方案。





声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 昇腾
    +关注

    关注

    1

    文章

    132

    浏览量

    6584
  • 算力
    +关注

    关注

    1

    文章

    925

    浏览量

    14737
  • 大模型
    +关注

    关注

    2

    文章

    2322

    浏览量

    2477
收藏 人收藏

    评论

    相关推荐

    联想发布智能一体机解决方案

    近期,联想公司正式推出了全新的智能一体机解决方案,旨在为企业和教育用户提供高效、便捷的人工智能应用落地途径。该方案包含两大核心类型:面向企业用户的智能开发一体机和专注于教育领域的智
    的头像 发表于 10-31 11:19 334次阅读

    智能一体机,大模型时代叶见菩提

    轻量级,懂客户,让智能一体机成为可靠选择
    的头像 发表于 10-25 18:00 1612次阅读
    智能<b class='flag-5'>体</b><b class='flag-5'>一体机</b>,大<b class='flag-5'>模型</b>时代<b class='flag-5'>一</b>叶见菩提

    图为大模型一体机新探索,赋能智能家居行业

    图为大模型一体机新探索,赋能智能家居行业  在21世纪的今天,科技的飞速进步正以前所未有的速度重塑着我们的生活方式。从智能手机到物联网,从大数据到人工智能,每项技术创新都在为人类带来
    的头像 发表于 10-24 11:05 199次阅读

    聚徽-触摸一体机包含哪些产品

    触摸一体机包含多种产品,这些产品主要基于不同的触摸屏技术和应用场景进行分类。以下是些主要的触摸一体机产品分类:
    的头像 发表于 09-05 09:22 240次阅读

    思道SEEKVIEU一体机电脑

    一体机
    jf_69621499
    发布于 :2024年09月03日 08:50:17

    聚徽-安卓工控主板的一体机适用行业

    安卓工控主板相关的触控一体机具有广泛的应用领域,其集成的先进触摸屏、工控技术和计算机功能使得它成为多个行业提高效率和用户体验的理想选择。以下是些触控一体机适用的主要
    的头像 发表于 08-19 09:23 254次阅读

    触想工控电脑一体机在电力设备上的应用特点表现

    随着科技的飞速发展,工控一体机作为工业控制领域的重要设备,已经广泛应用于电力行业中。工控一体机的独特性能特点与显著优势为电力设备的监控、控制和管理带来了革命性的变革。
    的头像 发表于 07-01 09:49 278次阅读

    聚徽触控-工控一体机和 PLC 一体机有什么不同

    在工业自动化领域,工控一体机和 PLC 一体机都扮演着重要角色。尽管它们在某种程度上有所重叠,但它们在功能、应用和设计结构等方面存在显著的不同。工控一体机和 PLC 一体机有什么不同,
    的头像 发表于 06-21 10:05 405次阅读

    集特一体机

    显卡一体机
    jf_67464575
    发布于 :2024年05月22日 09:05:55

    工业一体机在物联网领域的应用

    工业一体机在物联网领域的应用变得愈发重要,工业一体机作为种集计算、控制、通信于一体的设备,具备了在物联网环境下应用的独特特点.
    的头像 发表于 05-18 16:54 275次阅读

    工控一体机选什么系统好

    工控一体机,作为工业控制领域的核心设备,其操作系统的选择对于整体性能、稳定性及可靠性具有至关重要的影响。面对市场上众多的操作系统选项,如何选择最适合工控一体机的系统成为了个需要仔细考
    的头像 发表于 05-17 13:49 328次阅读

    【机器视觉】欢创播报 | 百度智能云发布千帆大模型一体机

    1 百度智能云发布千帆大模型一体机 编辑 ​ 4月9日上午,百度智能云GENERATE全球生态大会在成都召开。会上,百度智能云发布千帆大模型一体机,为企业私有化部署大
    的头像 发表于 04-11 10:49 558次阅读
    【机器视觉】欢创播报 | 百度智能云发布千帆大<b class='flag-5'>模型</b><b class='flag-5'>一体机</b>

    编解码一体机的主要应用场景是什么?

    编解码一体机种集视频编解码、音频编码以及数据传输功能于一体的多媒体设备,广泛应用于各个领域。以下是编解码一体机的几个主要应用场景: 来百度APP畅享高清图片 视频会议:编解码
    的头像 发表于 01-31 14:57 596次阅读
    编解码<b class='flag-5'>一体机</b>的主要应用场景是什么?

    什么是编解码一体机

    编解码一体机种集视频编解码、音频编码以及数据传输功能于一体的多媒体设备。这种设备通常基于云计算技术和先进的编解码算法,能够高效地处理视频流,提供低延迟、高稳定性的音视频传输服务。此外,编解码
    的头像 发表于 01-31 14:19 586次阅读
    什么是编解码<b class='flag-5'>一体机</b>?

    人脸考勤打卡一体机

    一体机
    jf_66410442
    发布于 :2024年01月09日 11:09:22