第七届集微半导体峰会于6月初在厦门成功举办,上海天数智芯半导体有限公司(以下简称“天数智芯”)产品线总裁邹翾受邀参加“集微通用芯片行业应用峰会”,发表了题为“国产GPU助力大模型的实践”的主题演讲,全面介绍了天数智芯基于自研通用GPU的全栈式集群解决方案及其在支持大模型上的具体实践。
天数智芯产品线总裁邹翾
邹翾指出,顺应大模型的发展潮流,天数智芯依托通用GPU架构,从训练和推理两个角度为客户提供支撑,全力打造高性价比、通用性的全栈式集群解决方案,为大模型时代提供强大算力底座。
据介绍,天数智芯的天垓、智铠系列通用GPU产品具有高性能、广通用、开发成本低的特点,广泛支持DeepSpeed、Colossal、BM Train等各种大模型框架,基于天垓、智铠加速卡的算力集群方案不仅能够有效支持LLaMa、GPT-2、CPM、GLM等主流AIGC大模型的Pretrain和Finetune,还适配了清华、智源、复旦等在内的国内多个研究机构的开源项目,为行业伙伴提供一站式的大模型算力及赋能服务。同时面向大模型推理侧的一体机,性价比超过国内现有市场主流产品。
为全面助力大模型的发展,天数智芯还围绕底层技术支撑做了大量功课。邹翾介绍说,一方面天数智芯通过最大化数据复用、可扩展大矩阵计算和存算异步、混合精度Transformer加速、高效高带宽显存及P2P等方式来提升芯片性能。另一方面,持续提升基础软件实力,在支持前沿大模型、混合并行策略、新型Att加速、兼容APIs、模型压缩等轻量化部署方面开展布局。
邹翾表示,不论从应用还是研发角度来看,大模型需求会持续走高,天数智芯将坚持以服务国家战略为主线,始终致力于自主开发用户易用的高性能通用GPU产品,不断升级算力解决方案,适配支持更高效、更复杂算法的大模型,为我国大模型创新发展、应用落地提供更加坚实的算力支撑。
关于天数智芯
上海天数智芯半导体有限公司(简称“天数智芯”)是中国领先的通用GPU 高端芯片及超级算力系统提供商。天数智芯以“服务国家战略”为己任,坚持“四个面向”,致力于开发自主可控、国际领先的高性能通用GPU产品,探索通用GPU赶超发展道路,加快建设自主产业生态,为全产业提供高端算力解决方案。未来,天数智芯将坚持中国特色的自主自强创新发展道路,打造更可信、更高效、更绿色的世界一流算力引擎,赋能千行百业数字化转型,促进我国数字经济高质量发展,开启中国引领世界走向元宇宙、数字孪生的崭新一页。
END
原文标题:天数智芯通用GPU产品为大模型时代提供强大算力底座
文章出处:【微信公众号:天数智芯】欢迎添加关注!文章转载请注明出处。
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。
举报投诉
原文标题:天数智芯通用GPU产品为大模型时代提供强大算力底座
文章出处:【微信号:IluvatarCoreX,微信公众号:天数智芯】欢迎添加关注!文章转载请注明出处。
相关推荐
着色器(Pixel shader)是图形流水线中算力相当强大的功能单元,因为它可以为每个片段执行复杂的计算,从而为最终渲染的图像添加细节和视觉效果。
DirectX API推动 GPU
发表于 11-03 12:55
随着大模型的兴起,“GPU算力”这个词正频繁出现在人工智能、游戏、图形设计等工作场景中,什么是GPU,它与CPU的区别是什么?以及到底什么是
发表于 10-29 08:05
•258次阅读
GPU算力租用平台是一种基于云计算的服务模式,它允许用户通过互联网按需租用高性能GPU资源,而无需自行购买、部署和维护这些硬件。
发表于 10-16 10:15
•161次阅读
本帖最后由 1653149838.791300 于 2024-10-16 22:19 编辑
感谢平台提供的书籍,厚厚的一本,很有分量,感谢作者的倾力付出成书。
本书主要讲算力芯片CPU
发表于 10-15 22:08
国庆前就收到《大模型时代的基础架构》一书,感谢电子发烧友论坛。欢度国庆之余,今天才静下心来体验此书,书不厚,200余页,彩色图例,印刷精美!
当初申请此书,主要是看到副标题“大模型算
发表于 10-08 10:40
更高、更密集的应用需求。
12年前,我与本书作者相识时,他向我提出一个想法:建立中关村在线高性能计算频道。该频道隶属于核心硬件事业部,聚焦算力芯片相关的产品技术分析、评测,并为企业客户提供
发表于 09-02 10:09
以大模型为代表的新一代人工智能技术是引领新一轮科技革命和产业变革的战略性技术和重要驱动力量,随着对算力需求的日益高涨,人工智能算
发表于 08-27 16:15
•573次阅读
现在AI已进入大模型时代,各企业都争相部署大模型,但如何保证大模型的算力,以及相关的稳定性和性能
发表于 08-20 09:04
工作日内未联系,视为放弃本次试用评测资格!
书籍介绍
大模型是近年来引人注目的热点之一。大模型蓬勃发展的基础,是针对其需求设计的算力及基础架构。本书针对如何为大
发表于 08-16 18:33
DPU 是当下算力基础设施的核心创新之一。如果把 CPU 比做大脑,那么 GPU 就好比是肌肉,而 DPU 就是神经中枢。CPU 承载了应用生态,提供了
发表于 07-24 15:32
随着人工智能技术的飞速发展,高性能计算中心成为推动AI创新和应用的关键基础设施。近日,中国移动智算中心(呼和浩特)成功上线运营。国内领先的GPU企业壁仞科技的壁砺系列通用GPU
发表于 07-05 17:16
•1237次阅读
电子发烧友网报道(文/李弯弯)随着人工智能技术的快速发展,GPU作为重要的算力支撑时常被提及。国内外重要的GPU芯片公司也为人熟知,包括英伟达、AMD、英特尔,景嘉微、海光信息、
发表于 05-29 00:05
•2251次阅读
的缩写,即每秒所能够进行的浮点运算数目(每秒浮点运算量)。 算力可以分为通用算力、智能算
发表于 02-06 00:08
•6074次阅读
AI Agent的训练离不开算力,服务器作为一个强大的计算中心,为AI Agent提供算
发表于 12-21 13:34
•1138次阅读
基于英伟达混合资源及天数智芯混合资源完成训练的大模型, 也是智源研究院与天数智芯合作取得的最新成果,再次证明了
发表于 11-30 13:10
•3351次阅读
评论