英伟达推出归一化Transformer，革命性提升LLM训练速度

英伟达团队近日在AI领域投下了一枚震撼弹，他们提出了一种全新的神经网络架构——归一化Transformer(nGPT)。这一创新架构基于超球面(hypersphere)进行表示学习，为AI领域带来了新的突破。

相较于传统的Transformer架构，nGPT在保持原有精度的同时，直接将大型语言模型(LLM)的训练速度提升了高达20倍。这一显著的性能提升，无疑将极大地推动AI技术的发展和应用。

在nGPT中，所有的向量(包括嵌入向量、多层感知机(MLP)向量、注意力矩阵向量以及隐藏状态向量)都被归一化为单位范数(unit norm)。这一设计不仅简化了模型训练过程，还提高了模型的稳定性和泛化能力。

英伟达团队的这一创新成果，无疑为AI领域注入了新的活力。nGPT架构的提出，不仅将推动AI技术的进一步发展，还将为各种应用场景提供更加高效、准确的解决方案。