Mistral AI与NVIDIA推出全新语言模型Mistral NeMo 12B

Mistral NeMo 处理和生成高度准确内容的能力为企业带来了新机遇。

Mistral AI 和 NVIDIA 于近日共同发布了一款全新的领先语言模型Mistral NeMo 12B。开发者可以轻松定制和部署该模型，令其适用于支持聊天机器人、多语言任务、编码和摘要的企业应用。

Mistral NeMo 模型结合了 Mistral AI 在训练数据领域的专业知识与 NVIDIA 经过优化的软硬件生态系统，能够为各种应用提供高性能。

Mistral AI 联合创始人兼首席科学家 Guillaume Lample 表示：“我们十分幸运能与 NVIDIA 团队合作，并充分利用他们的顶尖硬件和软件。得益于NVIDIA AI Enterprise的部署，我们共同开发了一个具有前所未有的准确性、灵活性、高效率以及企业级支持和安全性的模型。”

Mistral NeMo 是在NVIDIA DGX CloudAI 平台上所训练而成，该平台提供对最新 NVIDIA 架构的专用可扩展访问。

另外，为了推进和优化进程，还使用了用于加速大语言模型推理性能的NVIDIA TensorRT-LLM和用于构建自定义生成式 AI 模型的NVIDIA NeMo开发平台。

此次合作突显了 NVIDIA 致力于支持模型构建生态系统的决心。

实现前所未有的准确性、

灵活性和效率

这款企业级 AI 模型在多轮对话、数学、常识推理、世界知识和编码方面表现出色，能够在各种任务中提供精确、可靠的性能。

Mistral NeMo 具有 128K 的上下文长度，能够更加连贯、准确地处理大量复杂信息，确保输出结果与上下文的关联性。

Mistral NeMo 是一个拥有 120 亿个参数的模型，以 Apache 2.0 许可证发布，该许可证旨在促进创新并支持更广泛的人工智能社区。此外，该模型使用 FP8 数据格式进行模型推理，在不降低准确性的前提下减少了内存大小并加快了部署速度。

这意味着该模型能够更好地了解任务，并更加有效地处理各种场景，是企业用例的理想选择。

Mistral NeMo 被打包成NVIDIA NIM 推理微服务，借助 NVIDIA TensorRT-LLM 引擎提供性能优化的推理。

这种容器化格式便于在任何地方进行部署，为各种应用带来了更大的灵活性。

因此，该模型可以部署到任何位置，而且时间也从原来的几天缩短到几分钟。

NIM 使用 NVIDIA AI Enterprise 中的企业级软件，提供专门的功能分支、严格的验证流程以及企业级安全和支持。

NIM 包含全方位的支持、与 NVIDIA AI 专家的直接连线以及明确的服务水平协议，保证了可靠、一致的性能。

由于使用的是开放模型许可证，企业可以将 Mistral NeMo 无缝集成到商业应用中。

Mistral NeMo NIM 适用于NVIDIA Ada Lovelace架构 RTX 40 系列独立 GPU，如NVIDIA GeForce RTX 4090 D或NVIDIA RTX 4500 GPU的显存，具有高效率、低计算成本以及更高的安全性和隐私性。

先进的模型开发和定制

Mistral AI 与 NVIDIA 工程师结合双方的专业知识，优化了 Mistral NeMo 的训练和推理。

该模型使用 Mistral AI 的专业知识（尤其是多语言、代码和多轮内容方面的专业知识）训练，并从 NVIDIA 全栈加速训练中获益。

它采用了具有最佳性能的设计，通过Megatron-LM实现了高效的模型并行技术、可扩展性和混合精度。

该模型使用 NVIDIA NeMo 中的 Megatron-LM 以及 DGX Cloud 上的 3072 个 80GB Tensor Core GPU 训练而成。DGX Cloud 由 NVIDIA AI 架构组成，包括加速计算、网络编织结构、软件等，可提高训练的效率。

可用性和部署

Mistral NeMo 可以灵活地在云、数据中心或 RTX 工作站等任何地方运行，随时随地为各种平台上的 AI 应用带来变革。

立刻通过https://developer.nvidia.cn/nim 了解以 NVIDIA NIM 形式提供的 Mistral NeMo。可下载的 NIM 也即将推出。