超算训练大模型，不浪费一丁点计算资源

电子发烧友网报道（文/周凯扬）近年来，有关大语言模型（LLM）的开发非常活跃，尤其是在中国、美国等市场。以OpenAI开发的ChatGPT为例，其迅速普及极大影响了技术研发、经济系统等，为此不少国家政府也投入到LLM的计算资源整合中来，从而不至于落后这轮新的全球技术军备战。同样的计算资源竞争也发生在超算领域，而两者的计算资源存在一定的重合，不少人开始借助超算来进行LLM的开发。

超算训练大模型的天然优势

大语言模型的训练经常会撞上GPU的内存墙，比如训练一个万亿参数的模型，就需要至少24TB的GPU内存。好在对于现代超算系统而言，GPU已经成为不可或缺的算力资源之一，不少超算的GPU规模与云服务厂商的数据中心相比，也不遑多让。以目前排名第一的Frontier超算为例，就集成了37888块AMD MI250X GPU。

美国橡树岭国家实验室的研究人员除了用Frontier完成科学计算任务以外，也使用了一部分GPU资源训练一个万亿级参数的LLM。据他们发布的论文，使用3072块MI250X GPU，他们训练了一个一万亿参数的大语言模型，这样的规模已经与OpenAI的GPT-4在同一水平线上了。

绝大多数模型的内存要求，除了来自参数量外，也来自梯度和优化器状态。尽管对大模型训练的任务进行了并行分解，美国橡树岭国家实验室的研究人员发现训练一个万亿级别的大模型还是需要14TB的内存，好在单个MI250X就拥有64GB的显存，足以满足训练要求。

富岳大模型

日前，一队日本研究员发布了富岳-LLM，一个专门针对日语能力进行加强的大语言模型，由RIKEN的超算系统富岳训练。尽管目前GPU才是训练LLM的首选硬件，而富岳超算是基于自研的Arm架构处理器构筑的，只有CPU并没有GPU。

为了在富岳上训练大语言模型，研究员们开发了分布式的训练方案，将深度学习框架Megatron-DeepSpeed移植到富岳上，从而优化Transformer模型在富岳上的性能表现。通过加速Transformer的密集矩阵乘法库，并结合三种并行化技术优化富岳的通信性能，富岳的并行训练能力得到了最大化。

富岳大模型有130亿参数，比目前已经在日本广泛使用的70亿参数模型规模还要大，尽管市面上早已出现参数更大的模型，但对于富岳超算来说，这已经是一个平衡高性能与计算资源的选择了。

除此之外，不少日本公司开发的大模型采用持续学习，采用海外开发的公开模型，用日本数据进行持续训练。而富岳大模型则是采用团队自己的数据从头开始训练的，所以在透明度和安全性上更高一筹。

富岳大模型用到了3800万个Token和富岳超算的13824个节点，其数据60%为日语，并与英语、数学运算和代码结合。该模型在人文和社会科学任务中获得了9.18的基准跑分，可以结合敬语或日语的其他特征进行自然对话。

写在最后

随着各地区纷纷开始建设超算智算资源，如何提高这些计算资源的利用率也成了关键。而训练大模型恰好需要用到如此庞大的计算资源，也有助于为各行各业提供可用大模型应用，由此看来，未来超算上大模型训练的场景也会越来越普遍。