0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

击败LLaMA?史上最强「猎鹰」排行存疑,符尧7行代码亲测,LeCun转赞

AI智胜未来 来源:新智元 2023-06-09 16:43 次阅读

【导读】前几天公布的LLM排行榜引发业内人士广泛讨论,新模型Falcon在性能上真的能打过LLaMA吗?符尧实测来了!

前段时间,初出茅庐的猎鹰(Falcon)在LLM排行榜碾压LLaMA,在整个社区激起千层浪。

但是,猎鹰真的比LLaMA好吗?

简短回答:可能不是。

19efeaf0-069d-11ee-962d-dac502259ad0.png

符尧团队对模型做了更深入的测评:

「我们在MMLU上复现了LLaMA 65B的评估,得到了61.4的分数,接近官方分数(63.4),远高于其在Open LLM Leaderboard上的分数(48.8),而且明显高于猎鹰(52.7)。」

没有花哨的提示工程,没有花哨的解码,一切都是默认设置。

19ff18c2-069d-11ee-962d-dac502259ad0.png

目前,Github上已经公开了代码和测试方法。

对于猎鹰超越LLaMA存疑,LeCun表态,测试脚本的问题...

1a1bd62e-069d-11ee-962d-dac502259ad0.png

LLaMA真·实力

目前在OpenLLM排行榜上,Falcon位列第一,超过了LLaMA,得到了包括Thomas Wolf在内的研究人员的力荐。

1a426a1e-069d-11ee-962d-dac502259ad0.png

然而,有些人对此表示疑虑。

先是一位网友质疑,LLaMA这些数字从哪来,看起来与论文数字不一致...

1a7e2be4-069d-11ee-962d-dac502259ad0.png

随后,OpenAI科学家Andrej Karpathy也对LLaMA 65B为什么在Open LLM排行榜上的分数明显低于官方(48.8 v.s. 63.4)表示关注。

并发文,到目前为止,我一直避免在推特上发表关于猎鹰的文章,因为这一点,不确定。

为了弄清楚这个问题,符尧和团队成员决定对LLaMA 65B进行一次公开的测试,结果得到61.4分。

1a8b56de-069d-11ee-962d-dac502259ad0.png

在测试中,研究者没有使用任何特殊机制,LLaMA 65B就能拿到这个分数。

这一结果恰恰证明了,如果想要模型实现接近GPT-3.5的水平,最好是在LLaMA 65B上使用RLHF。

根据就是,近来符尧团队发表的一篇Chain-of-Thought Hub论文的发现。

1ac61ce2-069d-11ee-962d-dac502259ad0.png

当然,符尧表示,他们这一测评并非想要引起LLaMA和Falcon之间的争端,毕竟这些都是伟大的开源模型,都为这个领域做出了重大的贡献!

另外,Falcon还有更加方便的使用许可,这也让它有很大的发展潜力。

对于这一最新测评,网友BlancheMinerva指出,公平的比较应该在默认设置下运行猎鹰(Falcon)在MMLU上。

对此,符尧称这是正确的,并正进行这项工作,预计在一天后可以得到结果。

1ad20016-069d-11ee-962d-dac502259ad0.png

不管最终的结果怎样,要知道GPT-4这座山峰才是开源社区真正想要追求的目标。

OpenLLM排行榜问题

来自Meta的研究人员称赞,符尧很好地再现了LLaMa的结果,并指出了OpenLLM排行榜的问题。

与此同时,他还分享了关于OpenLLM排行榜的一些问题。

1b14caa4-069d-11ee-962d-dac502259ad0.png

首先,MMLU的结果:LLaMa 65B MMLU结果在排行榜上是15分,但对7B模型来说是一样的。13B、30B模型也存在较小的性能差距。

OpenLLM真的需要在公布哪个模型是最好的之前看看这个。

1b268e92-069d-11ee-962d-dac502259ad0.png

基准:这些基准是如何选择的?

ARC 25 shot和Hellaswag 10 shot似乎与LLM并不特别相关。如果能在其中加入一些生成式基准就更好了。虽然生成式基准有其局限性,但它们仍然是有用的。

1b4a6f6a-069d-11ee-962d-dac502259ad0.png

单一平均分:将结果减少到单一分数总是很吸引人的,平均分是最容易的。

但在这种情况下,4个基准的平均值真的有用吗?在MMLU上获得1分和在HellaSwag上获得1分是一样的吗?

在LLM快速迭代的世界里,开发这样一个排行榜肯定有一定的价值。

1b574910-069d-11ee-962d-dac502259ad0.png

还有来自谷歌研究人员Lucas Beyer也发表了自己的观点,

疯狂的是,NLP研究人员对同一个基准有不同的理解,因此导致了完全不同的结果。同时,每当我的同事实现一个指标时,我都会立即问他们是否真的检查将官方代码的完美重现,如果没有,就放弃他们的结果。

1b7a43ca-069d-11ee-962d-dac502259ad0.png

另外,他还表示,据我所知,无论模型如何,它实际上都不会重现原始基准测试的结果。

1b844f0a-069d-11ee-962d-dac502259ad0.png

网友附和道,这就是LLM基准的现实...

1bb7ef18-069d-11ee-962d-dac502259ad0.png

Falcon——开源、可商用、性能强

说到Falcon,其实值得我们再好好回顾一下。

按LeCun的说法,大模型时代,开源最重要。

1be27c1a-069d-11ee-962d-dac502259ad0.png

而在Meta的LLaMA代码遭泄之后,各路开发者都开始跃跃欲试。

Falcon正是由阿联酋阿布扎比的技术创新研究所(TII)开发的一支奇兵。

刚发布时从性能上看,Falcon比LLaMA的表现更好。

目前,「Falcon」有三个版本——1B、7B和40B。

TII表示,Falcon迄今为止最强大的开源语言模型。其最大的版本,Falcon 40B,拥有400亿参数,相对于拥有650亿参数的LLaMA来说,规模上还是小了一点。

不过,此前TII曾表示,别看咱Falcon规模虽小,性能却很能打。

先进技术研究委员会(ATRC)秘书长Faisal Al Bannai认为,「Falcon」的发布将打破LLM的获取方式,并让研究人员和创业者能够以此提出最具创新性的使用案例。

1c0db22c-069d-11ee-962d-dac502259ad0.png

FalconLM的两个版本,Falcon 40B Instruct和Falcon 40B在Hugging Face OpenLLM排行榜上位列前两名,而Meta的LLaMA则位于第三。

而前文所讲的有关排行榜的问题也正是这个。

尽管「Falcon」的论文目前还没公开发布,但Falcon 40B已经在经过精心筛选的1万亿token网络数据集的上进行了大量训练。

研究人员曾透露,「Falcon」在训练过程非常重视在大规模数据上实现高性能的重要性。

我们都知道的是,LLM对训练数据的质量非常敏感,这就是为什么研究人员会花大量的精力构建一个能够在数万个CPU核心上进行高效处理的数据管道。

目的就是,在过滤和去重的基础上从网络中提取高质量的内容。

目前,TII已经发布了精炼的网络数据集,这是一个经过精心过滤和去重的数据集。实践证明,非常有效。

仅用这个数据集训练的模型可以和其它LLM打个平手,甚至在性能上超过他们。这展示出了「Falcon」卓越的质量和影响力。

1c1aa720-069d-11ee-962d-dac502259ad0.png

此外,Falcon模型也具有多语言的能力。

它理解英语、德语、西班牙语和法语,并且在荷兰语、意大利语、罗马尼亚语、葡萄牙语、捷克语、波兰语和瑞典语等一些欧洲小语种上也懂得不少。

Falcon 40B还是继H2O.ai模型发布后,第二个真正开源的模型。

另外,还有一点非常重要——Falcon是目前唯一的可以免费商用的开源模型。

在早期,TII要求,商业用途使用Falcon,如果产生了超过100万美元以上的可归因收入,将会收取10%的「使用税」。

可是财大气粗的中东土豪们没过多长时间就取消了这个限制。

至少到目前为止,所有对Falcon的商业化使用和微调都不会收取任何费用。

土豪们表示,现在暂时不需要通过这个模型挣钱。

而且,TII还在全球征集商用化方案。

对于有潜力的科研和商业化方案,他们还会提供更多的「训练算力支持」,或者提供进一步的商业化机会。

1c5e3bf2-069d-11ee-962d-dac502259ad0.png

这简直就是在说:只要项目好,模型免费用!算力管够!钱不够我们还能给你凑!

对于初创企业来说,这简直就是来自中东土豪的「AI大模型创业一站式解决方案」。

根据开发团队称,FalconLM 竞争优势的一个重要方面是训练数据的选择。

研究团队开发了一个从公共爬网数据集中提取高质量数据并删除重复数据的流程。

在彻底清理多余重复内容后,保留了 5 万亿的token——足以训练强大的语言模型。

40B的Falcon LM使用1万亿个token进行训练, 7B版本的模型训练token达到 1.5 万亿。

1cc787a6-069d-11ee-962d-dac502259ad0.png

(研究团队的目标是使用RefinedWeb数据集从Common Crawl中仅过滤出质量最高的原始数据)

此外,Falcon的训练成本相对来说更加可控。

TII称,与GPT-3相比,Falcon在只使用75%的训练计算预算的情况下,就实现了显著的性能提升。

1cd32034-069d-11ee-962d-dac502259ad0.png

1cfd8810-069d-11ee-962d-dac502259ad0.png

而且在推断(Inference)时只需要只需要20%的计算时间,成功实现了计算资源的高效利用。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 模型
    +关注

    关注

    1

    文章

    3238

    浏览量

    48824
  • 代码
    +关注

    关注

    30

    文章

    4786

    浏览量

    68558
  • GitHub
    +关注

    关注

    3

    文章

    470

    浏览量

    16435

原文标题:击败LLaMA?史上最强「猎鹰」排行存疑,符尧7行代码亲测,LeCun转赞

文章出处:【微信号:AI智胜未来,微信公众号:AI智胜未来】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    使用NVIDIA TensorRT提升Llama 3.2性能

    Llama 3.2 模型集扩展了 Meta Llama 开源模型集的模型阵容,包含视觉语言模型(VLM)、小语言模型(SLM)和支持视觉的更新版 Llama Guard 模型。与 NVIDIA 加速
    的头像 发表于 11-20 09:59 219次阅读

    Llama 3 的未来发展趋势

    在科技迅猛发展的今天,人工智能和机器学习已经成为推动社会进步的重要力量。Llama 3,作为一个划时代的产品,正以其独特的设计理念和卓越的性能,预示着未来科技的新方向。 一、Llama 3的核心
    的头像 发表于 10-27 14:44 367次阅读

    如何使用 Llama 3 进行文本生成

    使用LLaMA 3(Large Language Model Family of AI Alignment)进行文本生成,可以通过以下几种方式实现,取决于你是否愿意在本地运行模型或者使用现成的API
    的头像 发表于 10-27 14:21 382次阅读

    Llama 3 语言模型应用

    在人工智能领域,语言模型的发展一直是研究的热点。随着技术的不断进步,我们见证了从简单的关键词匹配到复杂的上下文理解的转变。 一、Llama 3 语言模型的核心功能 上下文理解 :Llama 3 能够
    的头像 发表于 10-27 14:15 275次阅读

    调用云数据库更新排行榜单

    籍)。 互动设计 点和评论:用户可以对排行榜中的项目进行点或评论。 投票机制:用户可以参与投票,影响排行榜的排名。 潜在价值 提升用户的参与感和互动性。 增强社交平台的内容活跃度,
    发表于 09-03 16:03

    Meta Llama 3.1系列模型可在Google Cloud上使用

    我们很高兴宣布,Llama 3.1 系列模型已添加到 Vertex AI Model Garden,这包括全新的 405B,即 Meta 迄今为止功能最强大、用途最广泛的模型。这些模型的添加,表明
    的头像 发表于 08-02 15:42 384次阅读

    如何将Llama3.1模型部署在英特尔酷睿Ultra处理器

    本文从搭建环境开始,一步一步帮助读者实现只用五代码便可将Llama3.1模型部署在英特尔 酷睿 Ultra 处理器上。
    的头像 发表于 07-26 09:51 2131次阅读
    如何将<b class='flag-5'>Llama</b>3.1模型部署在英特尔酷睿Ultra处理器

    PerfXCloud平台成功接入Meta Llama3.1

    近日,Meta对外宣布推出迄今为止最强大的开源模型——Llama3.1 405B,同时还发布了全新优化升级的70B和8B版本,技术革新的浪潮再次汹涌来袭!在此,我们满怀欣喜地向您宣告,PerfXCloud平台现已成功接入Llama
    的头像 发表于 07-25 10:26 636次阅读

    Llama 3 王者归来,Airbox 率先支持部署

    模型。无论是在代码生成、复杂推理,还是在遵循指令和可视化想法方面,Llama3都实现了全面领先。该模型在以下五个基准测试中均表现出色:MMLU(学科知识理解)GP
    的头像 发表于 04-22 08:33 641次阅读
    <b class='flag-5'>Llama</b> 3 王者归来,Airbox 率先支持部署

    百度智能云国内首家支持Llama3全系列训练推理!

    4月18日,Meta 正式发布 Llama 3,包括8B 和 70B 参数的大模型,官方号称有史以来最强大的开源大模型。
    的头像 发表于 04-20 09:20 401次阅读
    百度智能云国内首家支持<b class='flag-5'>Llama</b>3全系列训练推理!

    Meta推出最强开源模型Llama 3 要挑战GPT

    Meta推出最强开源模型Llama 3 要挑战GPT Facebook母公司Meta Platforms(META.US)推出了开源AI大模型“Llama”的最新升级版本“Llama
    的头像 发表于 04-19 17:00 835次阅读

    中颖电子入选Fabless 100排行榜TOP10微控制器公司榜单

    中颖电子入选 AspenCore 2024中国IC设计Fabless 100排行榜TOP10微控制器公司榜单
    的头像 发表于 04-01 14:12 558次阅读
    中颖电子入选Fabless 100<b class='flag-5'>排行</b>榜TOP10微控制器公司榜单

    LLaMA 2是什么?LLaMA 2背后的研究工作

    Meta 发布的 LLaMA 2,是新的 sota 开源大型语言模型 (LLM)。LLaMA 2 代表着 LLaMA 的下一代版本,并且具有商业许可证。
    的头像 发表于 02-21 16:00 1120次阅读

    Meta推出最新版AI代码生成模型Code Llama70B

    Meta近日宣布了其最新版本的AI代码生成模型Code Llama70B,并称其为“目前最大、最优秀的模型”。这一更新标志着Meta在AI代码生成领域的持续创新和进步。
    的头像 发表于 01-30 18:21 1446次阅读

    Meta推出“性能最优”代码生成AI模型Code Llama 70B

    据悉,Code Llama工具于去年8月份上线,面向公众开放且完全免费。此次更新的Code Llama 70B不仅能处理更多复杂查询,其在HumanEval基准测试中的准确率高达53%,超越GPT-3.5的48.1%,然而与OpenAI公布的GPT-4准确率(67%)仍有
    的头像 发表于 01-30 10:36 786次阅读