作者:文子
编辑:小迪
马斯克又一大招,直逼OpenAI。
Grok-1.5突然发布,挑战“劲敌”GPT-4
继一周前开源GroK-1后,马斯克又有了新动作,再一次剑指OpenAI。
3月29日,马斯克旗下xAI团队突然对外发布Grok-1.5大模型,主打就是一个“字少事大”。而这一次的动作,明摆着也是冲着GPT-4去的。
从Grok-1.5的基准测试结果来看,各项能力都有巨大的飞跃。其中最明显的改进之一就是在代码和数学相关方面的性能,尤其是涵盖了从小学到高中的各种竞赛问题。
比如在MATH基准测试中,Grok-1.5就取得50.6%的得分;在GSM8K基准测试中,Grok-1.5更获得90%的得分。
而在评估代码生成和解决问题能力的HumanEval基准测试中,Grok-1.5更是超越了GPT-4,得分高达74.1%,同时碾压了一众热门的开源模型 Mistral Large、Claude 2等等。
另一个重要升级之一就是Grok-1.5改进了推理能力,从原先的24 %提升至50%。该模型现在能够在上下文窗口中处理高达128K token的长文本,这相当于一部中篇小说的篇幅。这一改进使得Grok的处理能力达到了之前上下文长度的16倍,进而能够充分利用长文档中的信息。
此外,Grok-1.5模型还具备处理更长且更复杂的指令的能力,即便在上下文窗口扩大时,也能保持良好的指令遵循性。
无独有偶,在Needle In A Haystack(NIAH)评估中,Grok-1.5还展现出了强大的信息检索技能,能够在一个包含128K字节的上下文中准确检索到嵌入的文本,并实现了完美的检索结果。
根据xAI官方的介绍,Grok-1.5是基于JAX、Rust和Kubernetes构建的定制分布式训练框架之上。在大型计算集群中,维持大规模语言模型(LLMs)训练作业的稳定性和持续性是关键的挑战之一。xAI团队开发的专属训练协调器,具备自动识别并隔离训练过程中出现的故障节点的先进能力。
此外,xAI团队还对检查点的创建、数据加载以及训练作业的重启流程进行了优化,以降低故障带来的停机时间。
在未来几日内,Grok-1.5将向早期测试者和平台用户开放。随着Grok-1.5逐渐普及至更广泛的用户群体,预计还将推出多项新功能。
全面对战OpenAI,Grok-1.5开源成谜
要知道,这次Grok-1.5发布前,马斯克因为起诉了OpenAI不开源,所以选择开源了3140 亿参数的模型Grok-1,也是截至目前参数量最大的开源大语言模型,规模相当于 Meta LlaMA 2 70B的4.4倍。
其实抛开马斯克本身与OpenAI的恩怨情仇不讲,Grok的开源决策并非仓促决定,而是经过深思熟虑。
表面上看Grok占据着X平台资源优势和马斯克的影响力加持,但在大模型大爆发的当下,却并没有在大模型的“军备竞赛”中有太多竞争优势。
特别是自2024年以来,Gemini、Claude 3等模型的发布,它们的能力已经接近甚至超越了GPT-4,这三个模型基本上确立了行业的第一梯队。再加上Mistral AI和Inflection AI也在积极追赶,大模型的“虹吸效应”愈发显著,留给马斯克和Grok的时间已经不多了。
在这种形势下,如果Grok坚持闭源开发的路线,它很可能会像之前诺基亚的Symbian系统一样,被淘汰只是时间问题。这样的结果不仅无法帮助马斯克将X平台商业化,还会成为一种昂贵的沉没成本。
因此,摆在马斯克面前的只剩下一条路,就是破釜沉舟用“开源”为Grok杀出一条血路。
月之暗面CEO杨植麟就曾表示,“如果我今天有一个领先的模型,开源出来,大概率不合理。反而是落后者可能会这么做,或者开源小模型,搅局嘛,反正不开源也没价值。”
而Grok-1自开源5天后,在开源社区GitHub就获得了高达4.2万人的收藏,可见马斯克这一步棋下的赢了民心。
所以哪怕目前Grok 团队并未表示Grok-1.5是否开源,但有Grok-1打了头阵,再加上马斯克和OpenAI的官司,Grok-1.5大概率是要开源的,也就是时间长短的问题。
“all in”和混战,AI反击战打响
如果用一句话来形容现在的AI领域,就是一群疯子在“ALL IN”和混战。全球主流大模型间的比拼,仍没有减慢的迹象。大家你出你的牌,我出我的牌。
在这场混战之中,从马斯克批判GPT背后的大模型滥用会引发人类危机,到亲自下场参与大模型的开发,再到开源Grok-1,这种反差的背后更多不是技术和理念差异,而是商业利益和政治风向的变化。
马斯克的目的也非常明确,就是和OpenAI硬刚到底,推出能够匹敌ChatGPT的产品。
毕竟一旦GPT-4成功跃进到GPT-5,其他AIGC工具也会跟着实现爆发式增长,而这一切都将会大幅抹去X计划中的AI部分,到时马斯克整个商业帝国的基石就会受到严重侵蚀。这种结果对马斯克而言无论是商业考量还是个人心理层面都无法接受,也促使他立马发布了现在的Grok-1.5。
在xAI的官网里也可以看到马斯克的初创团队拥有12名核心成员,其中4名是华人。团队成员曾在人工智能领域的其他知名公司工作过,包括OpenAI、谷歌研究院、微软研究院和最近并入谷歌的DeepMind,也有来自多伦多大学的AI领域顶级学者。
目前xAI也同步开启了招人计划,招揽AI相关的技术人才加入。
其实不止马斯克在加紧脚步,被马斯克视作“宿敌”的OpenAI也在紧锣密鼓的研发大模型。就在最近,有微软工程师爆料,10万个H100基建正在紧锣密鼓地建设中,目的就是为了训练GPT-6。
同时,一张名为“OpenAI内部时间线”的图片也在网上疯传,里面清晰地标注出,OpenAI早在2022年8月-10月之间就开始了GPT-5的训练,在2023年4月就已经开始训练了GPT-4.5,而在去年9月就开始了GPT-6的测试。
所以无论消息是真是假,但有一点不可否认,马斯克和OpenAI这场战争似乎看不到终点。
而马斯克的2024年,还有好几场硬仗要打。
审核编辑 黄宇
-
AI
+关注
关注
87文章
29611浏览量
267904 -
GPT
+关注
关注
0文章
351浏览量
15266 -
马斯克
+关注
关注
1文章
797浏览量
21257 -
OpenAI
+关注
关注
9文章
1027浏览量
6374
发布评论请先 登录
相关推荐
评论