0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

谷歌声称Gemini超越GPT-4,你有何看法呢?

人工智能与大数据技术 来源:CSDN 2023-12-14 09:54 次阅读

谁能想到,一夜之间,人们对于谷歌 Gemini 的看法竟发生了 180° 转变。

昨天,谷歌在 X 上展示 Gemini 原生多模态能力的 6 分半钟视频下,几乎是清一色的赞扬:

efe279ee-9a21-11ee-8b88-92fbcf53809c.png

eff0c878-9a21-11ee-8b88-92fbcf53809c.png

eff52e90-9a21-11ee-8b88-92fbcf53809c.png

而到了今天,Gemini 还是那个 Gemini,但网友已经不买账了:

f003b7c6-9a21-11ee-8b88-92fbcf53809c.png

f00849f8-9a21-11ee-8b88-92fbcf53809c.png

发生了什么,才会让人们的态度一夜转变?原因在于那个 6 分半的 Gemini 演示视频:它是假的,是经过剪辑的,甚至在被质疑后,谷歌还承认了!

1、Gemini 的视频演示效果,是假的

相信看过 Gemini 演示视频的人,多数都对它的“多模态能力”印象深刻。例如,Gemini 看到一只鸭子从草图到填色的整个过程,可实时给出解释和反馈,还能在换杯游戏中追踪纸团、辨别各种手势、重新排列行星草图等——短短 6 分半的视频,Gemini 给人的感觉是:仿佛可以实时观察周围世界并及时做出反应,还能与人类进行流畅的语音对话。

对于 Gemini 如此强大的能力,谷歌给出的解释是:Gemini 是 AI 的新品种,即“原生多模态”。

“我们将 Gemini 设计为原生多模态,从一开始就针对不同模式进行了预训练。然后我们使用额外的多模态数据对其进行微调,以进一步完善其有效性,这有助于 Gemini 从头开始无缝地理解和推理各种输入,因此远远优于现有的多模式模型。此外,Gemini 的多模态功能几乎在每个领域都是最先进的。”

听起来似乎有理有据,于是当一众网友都沉浸于 Gemini 的强大、好奇它能否真正超越 GPT-4 的时候,彭博社作家 Parmy Olsen 突然发出了一个“不太和谐”的声音:Gemini 的视频演示效果,是假的。

一石激起千层浪!好在 Parmy Olsen 并没有吊人胃口,很干脆地将谷歌的作假手法和证据全部公开:Gemini 并不能像视频中那样实时语音回答——它看到的只是视频片段中的静态图像,其语音也只是在读出人类给它的文本提示,且响应时间比视频中展示的要长。

2、背后的人工提示过程,全部省略

举个例子,Gemini 演示视频中有一段识别动态手势的片段:通过观察左边不断变化的手势,Gemini 回答道,“我知道你在干嘛!你在玩石头剪刀布!”

这段视频乍看之下,你是不是以为可以实时向 Gemini 展示不同的东西,并与它交流?但事实并非如此:Gemini 仅支持文本交流,并不能进行语音对话。

根据谷歌公布的文档内容显示,这段视频显然是经过“加工”的:

(1)先给 Gemini 陆续展示三张单个手势的图片,问它分别看到了什么;

(2)再把三张手势图片一起发给 Gemini,问它这是在干什么,并提示是一个“游戏”;

(3)通过以上一步步的提示和引导,Gemini 最终给出了答案:你在玩石头剪刀布。

针对以上步骤,一位谷歌发言人解释道:“为了测试 Gemini 在各种挑战中的能力,我们通过捕捉录像来制作演示。然后我们使用录像中的静态图像帧提示 Gemini,并通过文本进行提示。”

Parmy Olsen 将其简单翻译了一下:“谷歌拍下了那双手做很多事情的画面,然后一张一张地向 Gemini 展示了这些镜头的照片。所以根本没有语音对话,而是跟 ChatGPT 和 Bard 一样的文本交流。”

此外,谷歌发言人还补充称,用户的配音都是从实际提示中摘录的真实内容,用于生成随后的Gemini输出结果——对此,Parmy Olsen 的翻译是:“你在视频中听到的声音,只是在朗读文字提示。”

也就是说,谷歌所展示的 Gemini 演示视频,是省略了所有引导提示、跳过了等待响应的时间、并用配音合成的最终结果。

3、都是真实的,只是“为了简洁”剪辑视频

当然,Gemini 可能也真的做到了在视频中展示的所有事情,但这两种表现形式完全不同:

以文字形式,通过人工提示分步骤直接展示其多模态效果,对于 Gemini 的能力没有过多修饰;

以视频形式,经过剪辑、省略其背后大量引导过程的视频来呈现,极大暗示了 Gemini 的实时高效。

由于 Parmy Olsen 的曝光,网友对于 Gemini 的态度瞬间改变,并发出了无数质疑。而对于被质疑造假的这个视频,谷歌 DeepMind 研究副总裁 Oriol Vinyals 今天给出了回应:

“视频中的所有用户提示和输出都是真实的,只是为了简洁起见进行了缩短。该视频展示了使用 Gemini 构建的多模态用户体验可能是什么样子,我们制作该视频是为了激发开发人员的灵感。”

换句话说,Oriol Vinyals 承认 Gemini 演示视频经过了剪辑,原因是“为了简洁”。不论其剪辑初衷是否真的只是为了“简洁”,但不得不说:在谷歌没明确说明视频经过剪辑之前,多数人对于 Gemini 的速度、准确性以及与交互的基本模式,都产生了误解。

如果在这个视频开头,谷歌就说“这是我们研究人员测试过的 Gemini 交互的理想化表现”,那网友就会有心理预期:哦,那这个视频一半是现实,一半是理想化——但事实上,该视频的开头是,“本视频重点介绍了我们与 Gemini 的一些有趣互动”,因此人们很难意识到这个视频中 Gemini 的表现是经过“加工”的。

4、网友:“这就是虚假和误导”

于是意料之中,Oriol Vinyals 的回应并没有受到网友的理解,其 X 帖子下多是谴责谷歌虚假、夸大营销:

“如果你想激励开发者,那为什么不发布真实的内容呢?提示不可能既‘真实’又‘缩短’,这就是虚假和误导。”

如今的 AI 初创公司,不就是像你们这样夸张的演示来骗取资金的吗?

“‘真实,缩短’,真的吗?只是营销罢了。”

另外值得一提的是,还有网友指出,谷歌Gemini 对比GPT-4 的测试基准也并不相同:“在MMLU测试中,Gemini下面有个灰色小字标CoT@32,即使用了思维链提示技巧、选取了32次中的最好结果,GSM8K 的性能也是用 Maj1@32 与 GPT-4 的 5-Shot CoT 进行对比的。”

f02f184e-9a21-11ee-8b88-92fbcf53809c.png

那么对于谷歌声称Gemini 超越GPT-4 的说法,你又有何看法呢?

本文转自公众号“CSDN”,ID:CSDNnews







审核编辑:刘清

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 谷歌
    +关注

    关注

    27

    文章

    6169

    浏览量

    105421
  • GPT
    GPT
    +关注

    关注

    0

    文章

    354

    浏览量

    15400
  • ChatGPT
    +关注

    关注

    29

    文章

    1562

    浏览量

    7699

原文标题:Gemini 超越 GPT-4 靠作弊?谷歌承认:是的,演示视频经过了剪辑

文章出处:【微信号:TheBigData1024,微信公众号:人工智能与大数据技术】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    Llama 3 与 GPT-4 比较

    随着人工智能技术的飞速发展,我们见证了一代又一代的AI模型不断突破界限,为各行各业带来革命性的变化。在这场技术竞赛中,Llama 3和GPT-4作为两个备受瞩目的模型,它们代表了当前AI领域的最前
    的头像 发表于 10-27 14:17 370次阅读

    OpenAI推出新模型CriticGPT,用GPT-4自我纠错

    基于GPT-4的模型——CriticGPT,这款模型专为捕获ChatGPT代码输出中的错误而设计,其独特的作用在于,让人们能够用GPT-4来查找GPT-4的错误。
    的头像 发表于 06-29 09:55 550次阅读

    OpenAI API Key获取:开发人员申请GPT-4 API Key教程

      OpenAI的GPT-4模型因其卓越的自然语言理解和生成能力,成为了许多开发者的首选工具。获取GPT-4 API Key并将其应用于项目,如开发一个ChatGPT聊天应用,不仅是实践人工智能技术
    的头像 发表于 06-24 17:40 2384次阅读
    OpenAI API Key获取:开发人员申请<b class='flag-5'>GPT-4</b> API Key教程

    开发者如何调用OpenAI的GPT-4o API以及价格详情指南

    ​目前,OpenAI新模型GPT-4o和GPT-4 Turbo的价格如下: GPT-4o 对比 GPT-4 Turbo GPT-4o 拥有与
    的头像 发表于 05-29 16:00 1.1w次阅读
    开发者如何调用OpenAI的<b class='flag-5'>GPT-4</b>o API以及价格详情指南

    GPT-4人工智能模型预测公司未来盈利胜过人类分析师

    据悉,本次研究中,研究人员仅向GPT-4提供了匿名的财务数据,包括资产负债表和损益表,并要求其预测未来盈利增长。尽管未获得其他信息,GPT-4仍能达到60%的准确度,远超人类分析师的平均水平(53%-57%)。
    的头像 发表于 05-27 16:41 603次阅读

    阿里云正式发布通义千问2.5,中文性能全面赶超GPT-4 Turbo

    在通义大模型发布一周年之际,阿里云迈出了历史性的一步。近日,阿里云正式发布通义千问2.5版本,其性能全面超越GPT-4 Turbo,荣登中文大模型之巅。
    的头像 发表于 05-13 11:16 989次阅读

    OpenAI计划宣布ChatGPT和GPT-4更新

    人工智能领域的领军企业OpenAI近日宣布,将于5月13日进行一场产品更新直播,届时将揭晓ChatGPT和GPT-4的新进展。这一消息立即引发了外界对OpenAI下一项重大技术发布的广泛猜测和期待。
    的头像 发表于 05-13 11:06 592次阅读

    阿里云发布通义千问2.5大模型,多项能力超越GPT-4

    阿里云隆重推出了通义千问 2.5 版,宣称其“技术进步,全面超越GPT-4”,尤其是在中文环境中的多种任务(如文本理解、文本生成、知识问答及生活建议、临时聊天及对话以及安全风险评估)方面表现出色,超越
    的头像 发表于 05-09 14:17 964次阅读

    讯飞星火大模型V3.5春季升级,多领域知识问答超越GPT-4 Turbo 

    刘庆峰指出,现如今,星火大模型在通用长文本处理能力方面已相当成熟,覆盖长文档信息抽取、知识问答、归纳总结、文本生成等诸多领域,整体表现已达GPT-4 Turbo今年4月最新版的97%水准;
    的头像 发表于 04-26 14:26 1065次阅读

    微软Copilot全面更新为OpenAI的GPT-4 Turbo模型

    起初,Copilot作为Bing Chat AI助手推出,初期采用GPT-3.5模型,随后升级至GPT-4取得显著进步,如今再次更新至性能卓越的GPT-4 Turbo模型,这无疑将使得Copilot功能再上新台阶。
    的头像 发表于 03-13 13:42 734次阅读

    Anthropic推出Claude 3大型语言模型,在认知任务性能上创新高

    据官方披露,Claude 3 旗舰 Opus 在大学生和研究生范畴的学术知识、复杂数理任务了解部分超越 OpenAI 的 GPT-4 以及谷歌Gemini 1.0 Ultra。
    的头像 发表于 03-05 11:16 516次阅读

    全球最强大模型易主,GPT-4超越

    近日,AI领域的领军企业Anthropic宣布推出全新的Claude 3系列模型,其中包括最强版Claude 3 Opus。据该公司称,Claude 3系列在推理、数学、编码、多语言理解和视觉方面全面超越了包括GPT-4在内的所有大型模型,重新树立了行业基准。
    的头像 发表于 03-05 09:58 664次阅读

    Anthropic推出Claude 3系列模型,全面超越GPT-4,树立AI新标杆

    近日,AI领域的领军企业Anthropic震撼发布了全新的Claude 3系列模型,该系列模型在多模态和语言能力等关键领域展现出卓越性能,成功击败了此前被广泛认为是全球最强AI模型的GPT-4,树立了新的行业基准。
    的头像 发表于 03-05 09:49 691次阅读

    全球最强大模型易主:GPT-4超越,Claude 3系列崭露头角

    近日,人工智能领域迎来了一场革命性的突破。Anthropic公司发布了全新的Claude 3系列模型,该系列模型在多模态和语言能力等关键指标上展现出卓越性能,成功超越了此前被广泛认为是全球最强AI模型的GPT-4,树立了新的行业标杆。
    的头像 发表于 03-05 09:42 660次阅读

    谷歌推出Gemini for Workspace,提供AI辅助功能,定价信息颇受关注

    谷歌声称通过此篇博客文章详尽地介绍了新的更新。最基础的“Starter”套餐收费为每个月每人6美元,如果想使用“Gemini扩展”则需额外支付20美元(折合人民币约为144元)。
    的头像 发表于 02-22 10:38 710次阅读