0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Mistral发布Mistral Large旗舰模型,但没有开源

甲子光年 来源:甲子光年 2024-02-27 13:34 次阅读

昨夜,被称为“法国版 OpenAI”的 Mistral AI 再放大招,正式发布 Mistral Large 旗舰模型,并且推出对标 ChatGPT 的对话产品:Le Chat,直接杀到 OpenAI 家门口。

就在 Mistral Large 发布前几个小时,全球市值第一的微软宣布与 Mistral AI 达成深度合作。未来,Mistral AI 将获得 OpenAI 同等待遇,直接将模型资源放在微软云当中售卖,成为第二家在微软 Azure 云平台上提供商业 AI 模型的公司

据Mistral AI CEO Arthur Mensch 透露,开发这款新模型的成本不到 2000 万欧元(约合 2200 万美元)。

另外据外媒报道,微软收购了少数 MistralAI的股权,这意味着在投资 OpenAI 之后,Mistral AI 成为微软投资的第二家大模型公司。

但是,作为开源公司出道的 Mistral AI ,并没有将这款新旗舰模型开源。对此,埃隆·马斯克评价道:“微软是否让它们成为闭源代码?”

Mistral AI 是否走上了 OpenAI 开源再闭源的老路?

1.Mistral Large 性能直逼 GPT-4

据官方新闻稿介绍,Mistral Large 是 Mistral AI 的最新旗舰版,达到了顶级的推理能力。它可以用于复杂的多语言推理任务,包括文本理解、转换和代码生成。

在常用基准测试上 Mistral Large 表现强劲,以 81.2% 的成绩超越了Claude 2、Gemini Pro、GPT-3.5、Llama 2-70B 四款模型,仅次于 GPT-4。

10cfef04-d52f-11ee-a297-92fbcf53809c.png

在MMLU(测量大规模多任务语言理解)上,GPT-4、Mistral Large(预训练)、Claude 2、Gemini Pro 1.0、GPT 3.5和LLaMA 2 70B的比较。

Mistral Large 具有以下特点:

它在英语、法语、西班牙语、德语和意大利语方面具有天然的流利度,对语法和文化背景有细腻的理解。

它的 32K token 上下文窗口允许从大型文档中精确地回忆信息

它精确的指令遵循能力使开发者能够设计他们的审核政策——Mistral AI 用它来设置 Le Chat 的系统级审核。

它天然具备函数调用能力。这一点,加上在 la Plateforme 上实施的受限输出模式,使得应用开发和技术栈现代化能够规模化进行。

和常用基准测试上的顶级 LLM 模型相比,Mistral Large 也表现不俗。

推理和知识

10ded866-d52f-11ee-a297-92fbcf53809c.png

市场上顶级LLM模型在广泛常识、推理和知识基准测试上的性能:MMLU(测量大规模多任务语言理解)、HellaSwag(10-shot)、Wino Grande(5-shot )、Arc Challenge(5-shot)、Arc Challenge(25-shot)、TriviaQA(55-shot)和TruthfulQA。

多语言能力

Mistral Large 还是一个语言方面的“多面手”。在法语、德语、西班牙语和意大利语的 HellaSwag、Arc Challenge 和MMLU 基准测试中,它的表现远远超过 LLaMA 2 70B。

1101161a-d52f-11ee-a297-92fbcf53809c.png

在法语、德语、西班牙语和意大利语的HellaSwag、Arc Challenge和MMLU上,Mistral Large、Mixtral 8x7B和LLaMA 2 70B的比较。

数学和编码

Mistral Large 不仅有强大的语言天赋,数学和编码所代表的逻辑能力也很强。

1117c2f2-d52f-11ee-a297-92fbcf53809c.png

市场上领先LLM模型在流行的编码和数学基准测试上的性能:HumanEval pass@1、MBPP pass@1、Math maj@4、GSM8K maj@8(8-shot )和GSM8K maj@1(5-shot )。

这次和 Mistral Large 一起面世的,还有一个更“小而美”的 Mistral Small。Mistral Small 的性能超过 Mixtral 8x7B,并且延迟更低,这使它成为开放权重产品和旗舰模型之间的一个精细的中间解决方案。

Mistral Small 和 Mistral Large 在 RAG 启用和函数调用方面都有相同的创新。

目前,开发者可从两个渠道获取Mistral AI:

La Plateforme:在欧洲的 Mistral 基础设施上安全托管,这个接入点使开发者能够在全面的模型范围内创建应用和服务。

Azure:Mistral Large 可以通过 Azure AI Studio 和 Azure Machine Learning 获得,用户体验与 API 一样无缝。Beta 客户已经成功使用了它。

自我部署:Mistral Large 环境上部署,并且可以访问模型权重。

Mistral Large 在 Azure AI 上的定价如下:输出为 0.024 美元 / 1000 token,输入为 0.008 美元 / 1000 token。相比之下,128K 上下文窗口的 GPT-4 Turbo 定价为:输出为 0.03 美元/1000 token,输入 0.01 美元/ 1000 token。

此外,Mistral AI 还还发布了首个对标 ChatGPT 的对话助手 Le Chat,该助手可以在后台使用 Mistral Large 或 Mistral Small,或者一个名为 Mistral Next 的原型模型;并发布了面向企业的 Le Chat Enterprise。 值得注意的是,Le Chat 目前还不支持联网功能。

2.Mistral AI 与 OpenAI 相争,微软成最大赢家 ?

Mistral AI 创始人 Guillaume Lample 在X上官宣 Mistral Large 后,图灵奖获得者、Meta 首席科学家 Yann LeCun(杨立昆)一改往日对 OpenAI 的苛刻态度,第一时间发来祝贺

还有热心网友向杨立昆发来关切,并鼓励其发布完全开源的 LLama 3。

对此,杨立昆则希望网友多点耐心。

事实上,Mistral AI 这个成立不到 10 个月的年轻团队大有扭转局面的气势。

Mistral AI 公司成立于 2023 年 5 月,总部位于法国巴黎,以一己之力将 LLM 的聚光灯从中美的主战场拉向了欧洲。

Mistral AI 是开源、小模型领域的“先锋”选手。

Mistral AI 在 2023 年 9 月推出开源的 7B 模型,发布时间晚于 LLama 2,但并未被 LLama 2 抢了风头。其越级达到了大部分模型 20B 左右的水平,实际使用时进一步微调的表现也比其他模型更容易学到领域专用知识,得到很多开源和企业使用者的认可。

Mistral 创始团队以年轻科学家为主,其中 7 人来自 Meta(4位是 Llama 的参与者),3人来自 Hugging Face,2人来 Deepmind;之前领导过 Llama 1&2、Flamingo(Google DeepMind 论文,GPT-4V 外最重要的多模态模型)、Chinchilla(Google DeepMind 论文,建立了模型数据与参数量的标准)、RETRO(Google DeepMind 论文,第一个结合 Retrieval 和 LLM 的大模型)、BLOOM(Llama 1 出现前的最重要开源模型)等重要模型。

Mistral AI 的管理层一共四人。

其中,CEO Arthur Mensch 来自 Deepmind,参与了 Deepmind 的多个经典的模型:Flamingo、Chinchilla、Gopher。

CTO 和 首席科学家分别是 Llama & Llama2 的核心工程、研究角色(由于离职,并未在 Llama2 论文中体现)。Chief Business Officer Florian 则由创始顾问,Alan 的 CEO 推荐加入。

目前,Mistral 已完成了三轮公开融资,总额超过6亿美元。

2023 年 6 月,公司完成 1.05 亿欧元(约合 1.13 亿美元)的种子轮融资,由 Lightspeed Venture Partners(光速创投)领投,投后估值 2.4 亿欧元;

2023 年 12 月,Mistral 完成由 Andreessen Horowitz(a16z)领投,英伟达、Salesforce、法国巴黎银行、美国风投机构 General Catalyst 等投资的 3.85 亿欧元(约合 4.15 亿美元)融资。

2024 年 2 月,微软入股 Mistral。

据悉,Mistral公司估值已超过20亿欧元(约合156.2亿元人民币),成为 AI 领域的独角兽公司

自成立以来,Mistral AI 便被认为是 OpenAI 有力的竞争对手,并一直坚定站在 OpenAI 的“反面——OpenAI 闭源,Mistral AI 开源;OpenAI 坚定地走“大数据+大算力+大规模参数”的暴力美学路径,Mistral AI 则掀起一轮“小模型”热潮,在 7B 规模下不断再创辉煌。

不过,在OpenAIMistralAI的较量中,微软或成最大的赢家,将两条路线均收入囊中。

此次,微软与 Mistral AI 的合作重点关注三个核心领域:

超级计算基础设施:微软将通过 Azure AI 超级计算基础设施来支持 Mistral AI,为 Mistral AI 旗舰模型的 AI 训练和推理工作负载提供一流的性能和规模。

扩展到市场:微软和 Mistral AI 将通过Azure AI Studio和Azure 机器学习模型目录中的模型即服务 (MaaS) 向客户提供 Mistral AI 的高级模型。除了 OpenAI 模型之外,模型目录还提供开源和商业模型的多种选择。开发者可使用 Microsoft Azure 消费承诺 (MACC)来购买 Mistral AI 的模型。Azure 的 AI 优化基础设施和企业级功能为 Mistral AI 提供了向全球 Microsoft 客户推广、销售和分发其模型的额外机会。

人工智能研究和开发:微软和 Mistral AI 将探索围绕为特定客户(包括欧洲公共部门工作负载)培训特定目的模型的合作。

此外,据英国《金融时报》报道,微软对Mistral AI进行了小额投资,但不持有该公司任何股权。


审核编辑:刘清

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • OpenAI
    +关注

    关注

    9

    文章

    1079

    浏览量

    6481
  • ChatGPT
    +关注

    关注

    29

    文章

    1558

    浏览量

    7595
  • LLM
    LLM
    +关注

    关注

    0

    文章

    286

    浏览量

    327

原文标题:Mistral获微软投资,发布旗舰模型Mistral Large,但没有开源|甲子光年

文章出处:【微信号:jazzyear,微信公众号:甲子光年】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    腾讯发布开源MoE大语言模型Hunyuan-Large

    近日,腾讯公司宣布成功推出业界领先的开源MoE(Mixture of Experts,专家混合)大语言模型——Hunyuan-Large。这款模型不仅在参数量上刷新了业界纪录,更在效果
    的头像 发表于 11-06 10:57 296次阅读

    Mistral AI与NVIDIA推出全新语言模型Mistral NeMo 12B

    Mistral AI 和 NVIDIA 于近日共同发布了一款全新的领先语言模型Mistral NeMo 12B。开发者可以轻松定制和部署该模型
    的头像 发表于 07-27 11:04 655次阅读

    Mistral Large 2现已在Amazon Bedrock中正式可用

    北京2024年7月25日 /美通社/ -- 亚马逊云科技宣布,Mistral AI的Mistral Large 2(24.07)基础模型(FM)现已在Amazon Bedrock中正式
    的头像 发表于 07-26 08:07 331次阅读

    微软与人工智能公司Mistral AI的合作案免于英国反垄断调查

    今年2月底,Microsoft宣布联手被誉为“欧洲OpenAI”的法国初创企业Mistral AI。双方达成协议,Microsoft将投资20亿欧元(约合157亿元人民币)助力Mistral AI开拓全球市场,并在Azure云计算平台上提供其大型语言
    的头像 发表于 05-18 11:49 334次阅读

    Mistral AI将达成约6亿美元融资协议

    法国AI领域的佼佼者Mistral AI近日宣布,即将完成一笔高达6亿美元的融资协议。此轮融资不仅将Mistral AI的估值推高至60亿美元,更是其历史性的突破。
    的头像 发表于 05-11 10:15 366次阅读

    Mistral AI发布1760亿参数开源模型Mixtral 8x22B,兼容Torrent

    作为一家备受瞩目的新兴AI企业,Mistral AI因其“6人团队,7页PPT,8亿融资”的传奇故事而声名远扬。尤其值得一提的是,该公司曾获得微软投资,使之顺利驶入高速发展轨道。
    的头像 发表于 04-11 14:34 699次阅读

    Mistral Large模型现已在Amazon Bedrock上正式可用

    Mistral AI的Mistral Large模型现已在Amazon Bedrock上正式可用。今年三月,亚马逊云科技在Amazon Bedrock上引入了法国先锋AI初创企业
    的头像 发表于 04-08 16:26 553次阅读

    微软与Mistral AI建立长期合作关系

    微软携手人工智能领军者Mistral AI,正式宣布建立长期战略合作关系,共同迈向AI领域的新高峰。双方的合作将聚焦在超级计算基础设施、市场推广规模及AI研发三大核心领域,力求实现共赢发展。
    的头像 发表于 03-22 09:37 506次阅读

    IBM在watsonx上提供开源Mistral AI模型

    上最新的开源模型,watsonx 提供企业就绪的人工智能开发平台、数据存储和治理功能 IBM(纽约证券交易所代码:IBM)近日宣布,由 Mistral AI 公司开发的广受欢迎的开源
    的头像 发表于 03-12 19:10 1327次阅读

    Microsoft和Mistral AI宣布建立新的合作伙伴关系 加速AI创新

    微软与人工智能领域领先者Mistral AI宣布建立长期合作关系,共同推动AI发展。
    的头像 发表于 03-12 09:11 536次阅读

    微软与Mistral达成继OpenAI后的第二笔人工智能交易

    微软宣布与价值20亿欧元(约21亿美元)的法国人工智能初创公司Mistral建立新的多年合作关系。
    的头像 发表于 03-06 16:43 672次阅读

    Mistral AI发布旗舰模型Mistral Large及聊天机器人Le Chat

    近日,欧洲人工智能领域的领军企业Mistral AI发布了其旗舰模型Mistral Large
    的头像 发表于 03-04 14:04 862次阅读

    微软携手法国AI初创企业Mistral推动AI模型商业化

    微软近日与法国人工智能初创企业Mistral达成合作协议,旨在推动AI模型的商业化应用。据悉,微软将提供全方位支持,帮助这家成立仅10个月的公司将其先进的AI模型推向市场。同时,微软还将持有M
    的头像 发表于 02-28 10:23 530次阅读

    微软21亿美元投资法国AI公司Mistral AI

    微软近日宣布向法国人工智能公司Mistral AI注资20亿欧元(约合21亿美元),以推动生成式人工智能领域的发展。此举不仅加强了微软在全球AI领域的布局,也为Mistral AI带来了前所未有的商业机遇。
    的头像 发表于 02-28 10:08 456次阅读

    年度最热AI应用TOP 50,除了ChatGPT还有这么多宝藏

    还有一款开源模型Mistral AI推出的Mixtral 7B,Mixtral 7B也是开源基础模型里最强的那一档,可以越级挑战13B、3
    的头像 发表于 01-15 16:25 1200次阅读