潞晨训推一体机，画出大模型到企业的一条龙路线图-电子发烧友网

最近跟一位企业的CIO交流，对方关于大模型的认知让我惊呆了，他说，“听说做私域大模型要两千万的软件投入和两千万的算力投入，我们公司没有这个预算”。

于是我问道：“那如果按照你们公司的数据基础和业务场景，只需要十分之一甚至更少的投入，你愿意做大模型吗？”

他马上表示：“这个预算可以搞！”

如果只关注基础模型厂商和卖“铲子”的英伟达的发布会，会觉得大模型立马就可以将企业用户“带飞”。事实上，很多企业在应用大模型时，还有大量的困惑与难题。

比如以为需要大算力、大投入，要么望而却步，要么盲目囤了很多卡/服务器，却发现基座模型与业务融合的过程漫长且复杂，涉及大量试错、调优等工作，后续训练、推理、部署等环节的算力资源消耗与浪费情况，是容易被忽略的隐藏问题。

这有点像我们要去一个地形复杂、风景优美的陌生城市旅游，提前按照攻略买好了各种机酒门票，但实际行程却总被意外情况拖慢，无法高效地推进，导致很多资源都被浪费掉了。

企业做大模型也是如此。大模型开发，涉及一个相当漫长且复杂的产业链，每个环节对于企业用户来说，都有相对陌生的地方，难以将稀缺昂贵的算力发挥出最大价值。

企业能否落地大模型的关键，就在于是否能够将不同环节的技术、产品整合起来，构筑一体化的解决方案。怎么实现呢？

脑极体曾报道过，相比单纯售卖AI服务和API的商业模式，开箱即用的大模型一体机，能够缩短部署周期、深度结合场景、降低落地门槛，是更符合当下国内大模型产业现状的一种选择，解决企业在AI落地过程中的最后一公里问题。

最近，我们关注到潞晨科技也推出了训推一体机，在集成高性能硬件的基础上，还集成了Colossal-AI加速框架，支持多种微调fine-tune方式，帮助企业更轻松地实现AI技术的深度融合和业务创新。

我想，如果开篇中那位CIO更早认识了这款产品，肯定不会因软硬件成本而对大模型望而却步，可以放心大胆地踏上AI创新之旅。

本文就以潞晨训推一体机为例，聊聊一体机如何将远方未知的大模型技术，变成企业身边的AI风景，又如何打磨好“一条龙式”的一站式AI解决方案。

散装的大模型，在跋涉中折腾的企业

提到互联网，我们会想到电商、直播、手机游戏、社交媒体等丰富多彩的应用，而不是光纤、网关、路由器这些底层设施。但观察今天的企业，提到大模型，第一时间想到的依然是算卡、API、tokens这些词，而不是适配业务的AI应用。尽管企业迫切希望运用大模型来加速业务创新，但在实际操作中却可能面临各种各样的问题。

大模型训练、推理、部署的一系列环节，都是“散装”的，不成体系。企业想用业务数据做专属大模型，得一山一水地跋涉，不仅效率低，还会在选型、适配、兼容、迭代等各个阶段反复折腾，走很多弯路，吃不少闷亏。

举个例子，今天，高端AI算力依然是中小微企业难以搞定的珍稀资源，好不容易搞来了算卡，一个模型在TensorFlowPyTorch上跑一次好几天，验证一次好几天，发现问题迭代调试，流程再来一遍，眼看着友商已经用上了AI，只能干着急。这种进度，显然是追求竞争效率和创新速度的企业所难以接受的。

所以目前这个阶段，大量企业都不希望“散装”乱折腾，大模型致用，需要一条龙解决方案，即软硬件紧耦合的大模型一体机。

目前，有许多国内头部AI厂商和ICT服务商都推出大模型一体机。为什么我们会关注到潞晨科技的训推一体机呢？

企业做大模型，“散装自由行”有些昂贵和繁琐，潞晨训推一体机的深度优化与打磨，带来了“训推一条龙”路线图，在企业和大模型之间架起了一条效率高速。奔跑在潞晨训推一体机上的企业大模型之旅，能看到怎样的风景？

第一道风景：训推协同的澎湃算力，助推企业创新

做大模型，跟旅游一样，最扫兴的情况就是目的地还没到，队友已经走不动了。大模型训练中，因硬件性能不足、联接故障而中断，会带来时间成本和机会成本的损失。

高性能硬件的澎湃算力供给，是企业用好大模型的前提条件，也是潞晨训推一体机带给企业的第一道风景线。

目前，NVIDIA GPU是AI芯片 “一哥”，在AI训练领域一家独大，几乎无敌手。潞晨训推一体机，采用英伟达H20作为底层硬件，每台一体机配有8张H20卡，每卡有高达96GB的显存，在单台设备上即可完成 32B Qwen1.5 模型的全参数微调，更可支持单卡 34B Yi1.5模型的推理。

H20采用Hopper架构，卡间互联速度达到了惊人的900GB/s，整机配备4个400GB/s的IB网口，无论是多卡互联还是多机互联，都有极高的效率。这对于需要大规模并行计算和协同工作的AI任务尤为重要，可以减少等待时间，提高开发效率。

参数大代表了硬件的“发动机”强，还需要结合框架这一“动力引擎”，压榨出硬件的最优性能表现。与硬件适配度更高的框架，协同更高效，可以带来更高的训练推理效率。比如，潞晨科技就为这套硬件量身定做了极致优化的训推加速方案。

使用Colossal-AI优化，在8卡规模下的上机实测中，平均每卡算力相较原生速度提升21%，大幅度提高效率。微调Qwen 7B的大模型，仅需半天，即可完成1B数据的学习与迭代。

总结一下，潞晨训推一体机性能领先、软硬协同、训推一体的紧耦合架构，降低了使用大模型的门槛和成本。企业可以减少人力和物力的投入，“轻装上阵”踏上业务创新之旅，探索代表未来的智能世界。

第二道风景：内置软件，带来转型松弛感

算力作为动力，而模型算法才是业务价值和竞争力的创造者。企业探索AI，既要选择先进的基础模型，来确保高效、准确的预测和决策能力，又要将模型与业务深度结合，确保开发出来的AI产品能够满足业务逻辑和需求，为企业带来真正的商业价值。

那么问题来了，如何获得更适合企业业务需求的先进模型，并轻松上手？

潞晨训推一体机的“一条龙”路线图，在模型层、平台层、应用层，都内置了定制的AI软件，方便使用。

模型层：潞晨训推一体机集成了众多精选的优质开源模型，例如LLaMA3、Mixtral、Qwen等，方便企业用户调用，快速体验到不同开源模型的能力。同时，借助潞晨训推框架的优化，上述模型在一体机上的训练推理效率，会比原生硬件更高。

平台层：平台层的软件工具下接算力、上接应用，让大模型从底层算力到上层应用，实现顺畅运行和高效协作。潞晨训推一体机搭载的训推软件Colossal LLM Studio，配备了直观易用的UI界面，让非技术背景的用户也能轻松操作，通过低代码、可视化的方式进行模型训练微调，企业不再需要付费外包，一个软件就相当于一支大模型训练团队。

应用层：开箱即用的AI应用，实用性强，可以将大模型的能力快速集成到企业现有的业务系统或应用中，带来实际的价值和效益。通过潞晨训推一体机，企业用户用到潞晨科技推出的Colossal Reader，一款专为提升文档理解效率而设计的AI智能助手。一方面，经过精细调整和优化的 RAG 流程，具备长文本能力，支持深度解析复杂文档，如财务报表和法律文件，帮助用户迅速掌握关键信息，实现高效办公。同时，基于一体机的私有化部署既保证了长期使用的稳定，又保障了企业内部文档等的数据安全。

Sora开启了文生视频的新阶段，展现出AIGC在影视制作、游戏开发和广告创意等方面的诸多可能。企业想在业务中引入类Sora能力，潞晨训推一体机上，免费提供Open-Sora开源版本的本地推理部署。

潞晨科技团队倾力打造的文生视频大模型Open-Sora，自3月19日登上GitHub Trending榜，受到大量开发者关注，星数持续增长，热度仅次于Grok-1。其中LambdaLabs团队基于Open-Sora模型进行微调打造了一个具有独特艺术风格的乐高动画世界，展现了潞晨科技的技术领先性和实力。而这一优秀模型，潞晨训推一体机的用户可以直接在本地部署，基于高配硬件，结合企业的应用场景，将文生视频能力落地在自身业务中。