Mistral NeMo 处理和生成高度准确内容的能力为企业带来了新机遇。
Mistral AI 和 NVIDIA 于近日共同发布了一款全新的领先语言模型Mistral NeMo 12B。开发者可以轻松定制和部署该模型,令其适用于支持聊天机器人、多语言任务、编码和摘要的企业应用。
Mistral NeMo 模型结合了 Mistral AI 在训练数据领域的专业知识与 NVIDIA 经过优化的软硬件生态系统,能够为各种应用提供高性能。
Mistral AI 联合创始人兼首席科学家 Guillaume Lample 表示:“我们十分幸运能与 NVIDIA 团队合作,并充分利用他们的顶尖硬件和软件。得益于NVIDIA AI Enterprise的部署,我们共同开发了一个具有前所未有的准确性、灵活性、高效率以及企业级支持和安全性的模型。”
Mistral NeMo 是在NVIDIA DGX CloudAI 平台上所训练而成,该平台提供对最新 NVIDIA 架构的专用可扩展访问。
另外,为了推进和优化进程,还使用了用于加速大语言模型推理性能的NVIDIA TensorRT-LLM和用于构建自定义生成式 AI 模型的NVIDIA NeMo开发平台。
此次合作突显了 NVIDIA 致力于支持模型构建生态系统的决心。
实现前所未有的准确性、
灵活性和效率
这款企业级 AI 模型在多轮对话、数学、常识推理、世界知识和编码方面表现出色,能够在各种任务中提供精确、可靠的性能。
Mistral NeMo 具有 128K 的上下文长度,能够更加连贯、准确地处理大量复杂信息,确保输出结果与上下文的关联性。
Mistral NeMo 是一个拥有 120 亿个参数的模型,以 Apache 2.0 许可证发布,该许可证旨在促进创新并支持更广泛的人工智能社区。此外,该模型使用 FP8 数据格式进行模型推理,在不降低准确性的前提下减少了内存大小并加快了部署速度。
这意味着该模型能够更好地了解任务,并更加有效地处理各种场景,是企业用例的理想选择。
Mistral NeMo 被打包成NVIDIA NIM 推理微服务,借助 NVIDIA TensorRT-LLM 引擎提供性能优化的推理。
这种容器化格式便于在任何地方进行部署,为各种应用带来了更大的灵活性。
因此,该模型可以部署到任何位置,而且时间也从原来的几天缩短到几分钟。
NIM 使用 NVIDIA AI Enterprise 中的企业级软件,提供专门的功能分支、严格的验证流程以及企业级安全和支持。
NIM 包含全方位的支持、与 NVIDIA AI 专家的直接连线以及明确的服务水平协议,保证了可靠、一致的性能。
由于使用的是开放模型许可证,企业可以将 Mistral NeMo 无缝集成到商业应用中。
Mistral NeMo NIM 适用于NVIDIA Ada Lovelace架构 RTX 40 系列独立 GPU,如NVIDIA GeForce RTX 4090 D或NVIDIA RTX 4500 GPU的显存,具有高效率、低计算成本以及更高的安全性和隐私性。
先进的模型开发和定制
Mistral AI 与 NVIDIA 工程师结合双方的专业知识,优化了 Mistral NeMo 的训练和推理。
该模型使用 Mistral AI 的专业知识(尤其是多语言、代码和多轮内容方面的专业知识)训练,并从 NVIDIA 全栈加速训练中获益。
它采用了具有最佳性能的设计,通过Megatron-LM实现了高效的模型并行技术、可扩展性和混合精度。
该模型使用 NVIDIA NeMo 中的 Megatron-LM 以及 DGX Cloud 上的 3072 个 80GB Tensor Core GPU 训练而成。DGX Cloud 由 NVIDIA AI 架构组成,包括加速计算、网络编织结构、软件等,可提高训练的效率。
可用性和部署
Mistral NeMo 可以灵活地在云、数据中心或 RTX 工作站等任何地方运行,随时随地为各种平台上的 AI 应用带来变革。
立刻通过https://developer.nvidia.cn/nim 了解以 NVIDIA NIM 形式提供的 Mistral NeMo。可下载的 NIM 也即将推出。
-
NVIDIA
+关注
关注
14文章
4769浏览量
102385 -
AI
+关注
关注
87文章
28698浏览量
265959 -
模型
+关注
关注
1文章
3023浏览量
48285
原文标题:Mistral AI 与 NVIDIA 宣布推出领先的企业 AI 模型 Mistral NeMo 12B
文章出处:【微信号:NVIDIA-Enterprise,微信公众号:NVIDIA英伟达企业解决方案】欢迎添加关注!文章转载请注明出处。
发布评论请先 登录
相关推荐
Mistral Large 2现已在Amazon Bedrock中正式可用
NVIDIA AI Foundry 为全球企业打造自定义 Llama 3.1 生成式 AI 模型
![<b class='flag-5'>NVIDIA</b> <b class='flag-5'>AI</b> Foundry 为全球企业打造自定义 Llama 3.1 生成式 <b class='flag-5'>AI</b> <b class='flag-5'>模型</b>](https://file1.elecfans.com/web2/M00/FE/F8/wKgaomagW9SAbLHwAAVEfeObLRk613.png)
微软与人工智能公司Mistral AI的合作案免于英国反垄断调查
Mistral AI将达成约6亿美元融资协议
Mistral AI发布1760亿参数开源模型Mixtral 8x22B,兼容Torrent
Mistral Large模型现已在Amazon Bedrock上正式可用
微软与Mistral AI建立长期合作关系
IBM在watsonx上提供开源的Mistral AI模型
Microsoft和Mistral AI宣布建立新的合作伙伴关系 加速AI创新
Mistral AI发布旗舰大模型Mistral Large及聊天机器人Le Chat
微软携手法国AI初创企业Mistral推动AI模型商业化
微软21亿美元投资法国AI公司Mistral AI
法国AI企业Mistral推出Le Chat AI聊天机器人,与微软达成合作协议
Mistral发布Mistral Large旗舰模型,但没有开源
![<b class='flag-5'>Mistral</b>发布<b class='flag-5'>Mistral</b> Large旗舰<b class='flag-5'>模型</b>,但没有开源](https://file1.elecfans.com/web2/M00/C1/49/wKgZomXddVyAD_P7AAAXEFTXqMo606.png)
评论