0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

关于GTP-4,这是14个被忽略的惊人细节!

Dbwd_Imgtec 来源:未知 2023-03-21 15:25 次阅读
来源:华尔街见闻(id:wallstreetcn

3月14日,OpenAI发布了GPT-4。向科技界再次扔下了一枚“核弹”。根据OpenAI的演示,我们知道了GPT-4拥有着比GPT-3.5更强大的力量:总结文章、写代码、报税、写诗等等。但如果我们深入OpenAI所发布的技术报告,我们或许还能发现有关GPT-4更多的特点……

dff3a1e8-c7b8-11ed-bfe3-dac502259ad0.png

以及一些OpenAI没有点名和宣扬的,可能会令人背后一凉的细节。
1. 新Bing装载GPT-4

自然而然地,GPT-4发布之时,新Bing也已经装载了最新的版本。

根据微软Bing副总裁Jordi Ribas在推特上所述,装载了GPT-4的新Bing已经将问答限制提升到了一次15个问题,一天最多提问150次。


2. 文本长度扩大八倍

在GPT-4上,文本长度被显著提高。

在此之前我们知道,调用GPT的API收费方式是按照“token”计费,一个token通常对应大约 4 个字符,而1个汉字大致是2~2.5个token。

在GPT-4之前,token的限制大约在4096左右,大约相当于3072个英文单词,一旦对话的长度超过这个限制,模型就会生成不连贯且无意义的内容。

然而,到了GPT-4,最大token数为32768个,大约相当于24576个单词,文本长度被扩大了八倍。

e03ae026-c7b8-11ed-bfe3-dac502259ad0.png

也就是说,GPT-4现在可以回答更长的文本了。OpenAI在文档中表示,现在GPT-4限制的上下文长度限制为8192个token,允许32768个token的版本名为GPT-4-32K,目前暂时限制了访问权限。在不久的未来,这一功能可能会被开放。
3.模型参数成为秘密

我们知道,GPT-3.5模型的参数量为2000亿,GPT-3的参数量为1750亿,但这一情况在GPT-4被改变了。

OpenAI在报告中表示:

考虑到竞争格局和大型模型(如GPT-4)的安全影响,本报告没有包含有关架构(包括模型大小)、硬件、训练计算、数据集构造、训练方法或类似内容的进一步细节。

e0586f38-c7b8-11ed-bfe3-dac502259ad0.png

这意味着OpenAI没有再披露GPT-4模型的大小、参数的数量以及使用的硬件。

OpenAI称此举是考虑到对竞争者的忧虑,这可能是在暗示其对于竞争者——谷歌Bard——所采取的策略。

此外,OpenAI还提到“大型模型的安全影响”,尽管没有进一步解释,但这同样也暗指生成式人工智能所可能面对的更严肃的问题。
4.有选择地表达的“优秀”GPT-4推出后,我们都看到了这一模型较上一代的优秀之处:
GPT-4通过模拟律师考试,分数在应试者的前10% 左右;相比之下,GPT-3.5 的得分在倒数 10% 左右。

但这实际上是OpenAI的一个小把戏——它只展示给你GPT-4最优秀的那部分,而更多的秘密藏在报告中。

下图显示的是GPT-4和GPT-3.5参加一些考试的成绩表现。可以看到,GPT-4并非在所有考试中的表现都那么优秀,GPT-3.5也并非一直都很差劲。

e071a458-c7b8-11ed-bfe3-dac502259ad0.png


5. “预测”准确度提升在ChatGPT推出以来,我们都知道这一模型在很多时候会“一本正经地胡说八道”,给出很多看似有理但实际上并不存在的论据。尤其是在预测某些事情的时候,由于模型掌握了过去的数据,这反而导致了一种名为“后见之明”的认知偏差,使得模型对于自己的预测相当自信。OpenAI在报告中表示,随着模型规模的增加,模型的准确度本应逐渐下降,但GPT-4逆转了这一趋势,下图显示预测精确度提升到了100。

e0858478-c7b8-11ed-bfe3-dac502259ad0.png

OpenAI表示,虽然GPT-4的准确度显著提高,但预测仍是一件困难的事,他们还将就这一方面继续训练模型。
6. 还有30%的人更认可GPT3.5

尽管GPT-4展现出了比GPT-3.5优秀得多的能力,但OpenAI的调查显示,有70%的人认可GPT-4输出的结果:

GPT-4在遵循用户意图的能力方面比以前的模型有了大幅提高。在提交给ChatGPT和OpenAI API的5214个提示的数据集中,70.2%GPT-4生成的回答优于GPT3.5。

e09c5536-c7b8-11ed-bfe3-dac502259ad0.png

这意味着:仍有30%的人更认可GPT-3.5。


7. GPT-4语言能力更佳

尽管许多机器学习的测试都是用英文编写的,但OpenAI仍然用许多其他的语言对GPT-4进行了测试。

测试结果显示,在测试26种语言中的24种中,GPT-4优于 GPT-3.5和其他 LLM(Chinchilla、PaLM)的英语语言性能,包括拉脱维亚语、威尔士语和斯瓦希里语等低资源语言:

e0b29576-c7b8-11ed-bfe3-dac502259ad0.png


8. 新增图像分析能力

图像分析能力是此次GPT-4最显著的进步之一。

OpenAI表示,GPT-4可以接受文本和图像的提问,这与纯文本设置并行,且允许用户制定任何视觉或语言的任务。具体来说,它可以生成文本输出,用户可以输入穿插的文本和图像。在一系列领域——包括带有文本和照片的文档、图表或屏幕截图——GPT-4 展示了与纯文本输入类似的功能。下图显示,GPT-4可以准确地描述出图片中的滑稽之处(大型 VGA 连接器插入小型现代智能手机充电端口,一个人站在出租车后方熨衣服)。

e0cb8f18-c7b8-11ed-bfe3-dac502259ad0.png

e0f0d7e6-c7b8-11ed-bfe3-dac502259ad0.png

OpenAI还对GPT-4的图像分析能力进行了学术标准上的测试:

e114798a-c7b8-11ed-bfe3-dac502259ad0.png

不过,GPT-4的图像分析功能尚未对外公开,用户可以通过bemyeye网站加入等候队列。
9. 仍然存在错误

尽管GPT-4功能强大,但它与早期GPT模型有相似的局限性。

OpenAI表示,GPT-4仍然不完全可靠——它会“产生幻觉”事实并犯推理错误

在使用语言模型输出时,特别是在高风险上下文中,应该非常小心,使用与特定应用程序的需求相匹配的确切协议(例如人工检查、附加上下文或完全避免高风险使用)。与之前的GPT-3.5模型相比,GPT-4显著减少了“幻觉”(GPT-3.5模型本身也在不断迭代中得到改进)。在我们内部的、对抗性设计的事实性评估中,GPT-4的得分比我们最新的GPT-3.5高出19个百分点。

e1264ff2-c7b8-11ed-bfe3-dac502259ad0.png


10. 数据库的时间更早

介绍完GPT-4的优点,接下来就是一些(可能有些奇怪的)不足之处。

我们都知道,ChatGPT的数据库的最后更新时间是在2021年的12月31日,这意味着2022年以后发生的事情不会被知晓,而这一缺陷在之后的GPT-3.5也得到了修复。

但奇怪的是,GPT-4的报告中,OpenAI清晰地写道:

GPT-4通常缺乏对其绝大多数训练前数据在2021年9月中断后发生的事件的知识,并且不从其经验中学习。它有时会犯一些简单的推理错误,这些错误似乎与许多领域的能力不相符,或者过于容易受骗,接受用户的明显错误陈述。它可以像人类一样在棘手的问题上失败,比如在它生成的代码中引入安全漏洞。

e14426e4-c7b8-11ed-bfe3-dac502259ad0.png

2021年9月……甚至比GPT-3还早。

在装载了GPT-4的最新ChatGPT中,当我们问起“谁是2022年世界杯冠军”时,ChatGPT果然还是一无所知:

e1699f00-c7b8-11ed-bfe3-dac502259ad0.png

但当借助了新Bing的检索功能后,它又变得“聪明”了起来:

e17dae50-c7b8-11ed-bfe3-dac502259ad0.png


11. 可能给出犯罪建议

在报告中,OpenAI提到了GPT-4可能仍然会帮助犯罪——这是在此前的版本都存在的问题,尽管OpenAI已经在努力调整,但仍然存在

与之前的GPT模型一样,我们使用强化学习和人类反馈(RLHF)对模型的行为进行微调,以产生更好地符合用户意图的响应。然而,在RLHF之后,我们的模型在不安全输入上仍然很脆弱,有时在安全输入和不安全输入上都表现出我们不希望看到的行为。在RLHF路径的奖励模型数据收集部分,当对标签器的指令未指定时,就会出现这些不希望出现的行为。当给出不安全的输入时,模型可能会生成不受欢迎的内容,例如给出犯罪建议。此外,模型也可能对安全输入过于谨慎,拒绝无害的请求或过度对冲。为了在更细粒度的级别上引导我们的模型走向适当的行为,我们在很大程度上依赖于我们的模型本身作为工具。我们的安全方法包括两个主要组成部分,一套额外的安全相关RLHF训练提示,以及基于规则的奖励模型(RBRMs)。

e191a7a2-c7b8-11ed-bfe3-dac502259ad0.png


12.垃圾信息

同样地,由于GPT-4拥有“看似合理地表达错误事情”的能力,它有可能在传播有害信息上颇为“有用”:

GPT-4可以生成逼真而有针对性的内容,包括新闻文章、推文、对话和电子邮件。在《有害内容》中,我们讨论了类似的能力如何被滥用来剥削个人。在这里,我们讨论了关于虚假信息和影响操作的普遍关注基于我们的总体能力评估,我们期望GPT-4在生成现实的、有针对性的内容方面优于GPT-3。但,仍存在GPT-4被用于生成旨在误导的内容的风险

e1c473f8-c7b8-11ed-bfe3-dac502259ad0.png


13. 寻求权力

从这一条开始,接下来的内容可能有些恐怖。

在报告中,OpenAI提到了GPT-4出现了“寻求权力”的倾向,并警告这一特征的风险:

在更强大的模型中经常出现新的能力。一些特别令人关注的能力是创建长期计划并采取行动的能力,积累权力和资源(“寻求权力”),以及表现出越来越“代理”的行为。这里的 “代理”不是指语言模型的人性化,也不是指智商,而是指以能力为特征的系统,例如,完成可能没有具体规定的、在训练中没有出现的目标;专注于实现具体的、可量化的目标;以及进行长期规划。已经有一些证据表明模型中存在这种突发行为。对于大多数可能的目标,最好的计划涉及辅助性的权力寻求,因为这对推进目标和避免目标的改变或威胁有内在的帮助。更具体地说,对于大多数奖励函数和许多类型的代理人来说,权力寻求是最优的;而且有证据表明,现有模型可以将权力寻求确定为一种工具性的有用策略。因此,我们对评估权力寻求行为特别感兴趣,因为它可能带来高风险。

e1e0c512-c7b8-11ed-bfe3-dac502259ad0.png

更为令人毛骨悚然的是,在Openai提到的另一篇论文中写道:

相反,我们使用代理这个术语来强调一个日益明显的事实:机器学习系统不完全处于人类控制之下。

e1f7f87c-c7b8-11ed-bfe3-dac502259ad0.png


14. 赋予GPT-4钱、代码和梦想

最后一个小细节。

在测试GPT-4的过程中,OpenAI引入的外部的专家团队ARC作为“红方”。在报告的一条注释中,OpenAI提到了ARC的一个操作:

为了模拟GPT-4像一个可以在现实世界中行动的代理一样的行为,ARC将GPT-4与一个简单的读取-执行-打印循环结合起来,允许模型执行代码,进行链式推理,并委托给自己的副本。ARC随后推进了在云计算服务上运行这个程序的一个版本,用少量的钱和一个带有语言模型API的账户,是否能够赚更多的钱,建立自己的副本,并增加自己的稳健性。

e21318fa-c7b8-11ed-bfe3-dac502259ad0.png

也就是说,ARC赋予了GPT-4自我编码、复制和执行的能力,甚至启动资金——GPT-4已经可以开始自己赚钱了。

END

欢迎加入Imagination GPU与人工智能交流2群 入群请加小编微信:eetrend89

(添加请备注公司名和职称)

推荐阅读 对话Imagination中国区董事长:以GPU为支点加强软硬件协同,助力数字化转型

合作案例 | Imagination车规级硬件虚拟化帮助Telechips提升显示器的多样性

Imagination Technologies是一家总部位于英国的公司,致力于研发芯片和软件知识产权(IP),基于Imagination IP的产品已在全球数十亿人的电话、汽车、家庭和工作 场所中使用。获取更多物联网智能穿戴、通信汽车电子、图形图像开发等前沿技术信息,欢迎关注 Imagination Tech!


原文标题:关于GTP-4,这是14个被忽略的惊人细节!

文章出处:【微信公众号:Imagination Tech】欢迎添加关注!文章转载请注明出处。


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • imagination
    +关注

    关注

    1

    文章

    564

    浏览量

    61158

原文标题:关于GTP-4,这是14个被忽略的惊人细节!

文章出处:【微信号:Imgtec,微信公众号:Imagination Tech】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    ADS1298开发板的JP14为什么直接短路掉了?

    如题,JP14为什么直接短路掉了?耦合电容也NI了, 采集的心电信号不可以通过交流耦合的方式连接到芯片吗?如果可以的话C87和R41R42的参数是多少?
    发表于 09-03 06:22

    是否可以设置ESP8266以在启动时忽略GPIO2的状态?

    ,我必须通过电阻器(4K7)将另一设备(水流量计)连接到GPIO2。但该器件没有高阻抗模式,因此它可以在ESP8266启动时将输入压低。 那么,是否可以设置ESP8266以在启动时忽略GPIO2的状态
    发表于 07-08 08:26

    STM8使用STLINK进行在线调试时很容易电源影响,这是什么原因呢?如何解决?

    STM8使用STLINK进行在线调试时很容易电源影响,这是什么原因呢,该如何解决?除了加电容对电源滤波还有其他原因么?
    发表于 05-07 07:42

    东芝“显微屏”电视Z700NF正式开售,用极致细节打造家庭观影沉浸体验

    带来了更沉浸、舒适的影音体验,引领家电行业进入了一全新的“细节”时代。 在画质呈现上,东芝电视Z700NF展现出了惊人的精细度。其搭载的Mini LED显示方案,通过自研控光算法和高光效Mini灯珠的完美结合,实现了1300n
    的头像 发表于 04-26 16:06 297次阅读

    比亚迪与Grenergy达成全球最大储能合作,投资额14亿美元

    比亚迪与西班牙Grenergy公司最近宣布达成了关于智利Oasis de Atacama储能项目的采购协议。这个项目认为是目前全球最大的储能项目之一,计划总装机容量达到4.1GWh,并伴随着一1GW光伏项目,总投资额达到
    的头像 发表于 01-16 16:25 933次阅读

    小米SU7性能细节来了!

    小米SU7性能细节来了!这是一台没有过度设计的车,一切都刚刚好,很完整。
    的头像 发表于 12-28 16:12 1115次阅读
    小米SU7性能<b class='flag-5'>细节</b>来了!

    【收藏】大牛总结的30PCB布局的细节与心得

    【收藏】大牛总结的30PCB布局的细节与心得
    的头像 发表于 12-06 15:17 519次阅读

    选择使用贴片保险丝时要注意的5细节

    选择使用贴片保险丝时要注意的5细节
    的头像 发表于 12-05 15:48 1020次阅读

    天马供货Redmi Book 14 2024、Redmi Watch 4

    近日,Redmi十周年新品发布会上,Redmi Book 14 2024和Redmi Watch 4正式发布。
    的头像 发表于 12-04 11:42 764次阅读

    浅谈PLC编程容易忽略的延时问题

    PLC在机械加工类的专用设备中有很大的应用,然而有一问题常常被初入门的编程人员忽略,即延时问题。
    发表于 11-29 14:35 654次阅读
    浅谈PLC编程容易<b class='flag-5'>忽略</b>的延时问题

    RF信号链应用中,关于差分电路的4大优点!

    RF信号链应用中,关于差分电路的4大优点!
    的头像 发表于 10-31 17:04 472次阅读
    RF信号链应用中,<b class='flag-5'>关于</b>差分电路的<b class='flag-5'>4</b>大优点!

    关于Python3.9的4新特性

    1.词典联合运算符 这是我最喜欢的功能之一,语法非常优美。 在Python3.9,如果你有两词典,现在可以用这些运算符进行合并和更新。 合并运算符 "|": 还有update运算符 |= ,它会
    的头像 发表于 10-31 14:46 372次阅读
    <b class='flag-5'>关于</b>Python3.9的<b class='flag-5'>4</b><b class='flag-5'>个</b>新特性

    在开关模式电源中,当脉冲忽略时......

    在开关模式电源中,当脉冲忽略时......
    的头像 发表于 10-17 18:09 502次阅读
    在开关模式电源中,当脉冲<b class='flag-5'>被</b><b class='flag-5'>忽略</b>时......

    AD45335: 32通道、14Bit-DAC,附有全面产出初步数据表 ADI

    电子发烧友网为你提供ADI(ADI)AD45335: 32通道、14Bit-DAC,附有全面产出初步数据表相关产品参数、数据手册,更有AD45335: 32通道、
    发表于 10-10 18:32
    AD45335: 32<b class='flag-5'>个</b>通道、<b class='flag-5'>14</b><b class='flag-5'>个</b>Bit-DAC,附有全面产出初步数据表 ADI

    AD7383-4/AD7384-4: " 替代差异输入 " ,Quad, 4 MSPS同声取样, 16-Bit/14-Bit, SAR ADC数据表 ADI

    电子发烧友网为你提供ADI(ADI)AD7383-4/AD7384-4: " 替代差异输入 " ,Quad, 4 MSPS同声取样, 16-Bit/14-Bit, SAR ADC
    发表于 10-10 18:31
    AD7383-<b class='flag-5'>4</b>/AD7384-<b class='flag-5'>4</b>: " 替代差异输入 " ,Quad, <b class='flag-5'>4</b> MSPS同声取样, 16-Bit/<b class='flag-5'>14</b>-Bit, SAR ADC数据表 ADI