0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

如何打造中文版 GPT-3?GPT-4 可能如何演化?

如意 来源:品玩 作者:Decode 2020-09-02 10:21 次阅读

既能问答、翻译、写文章,也能写代码、算公式、画图标。..。..OpenAI 2020 年 5 月推出的 GPT-3,因其神奇的通用性而走红 AI 领域。

GPT-3 是用英文语料做预训练的,主要应用于英文相关场景,而中文业界和学术界已经出现了期待中文版 GPT-3 的声音。

“GPT-3 与出门问问的技术基础紧密相关。虽然现阶段 GPT 模型还并非完美,但它是目前我们能看到,通往更加通用的语言智能的重要路径之一。”从事中文语音交互的 AI 公司出门问问创始人兼 CEO 李志飞告诉品玩。

出门问问一直对更加通用的语言智能很感兴趣。团队正深入理解 GPT-3 的相关论文,推进相关实验,尝试提升训练效率等工作。

如何打造中文版 GPT-3?

那么,如果要打造一个中文版的 GPT-3,该怎么操作?

“与英文相比,中文版 GPT-3 的诞生将经历一个从零到一的过程,可以借鉴英文 GPT-3 技术迭代的相关经验。”李志飞对品玩表示。GPT-3 的技术迭代之路,是一个不断增大训练数据量和模型参数规模的过程。

本质上,GPT-3 是一个大规模预训练 NLP(自然语言处理) 模型。大规模预训练是指,先用大量没有标注的语料做无监督学习,得到一套模型参数,然后再用少量标注语料精调,最后应用于具体的下游 NLP 任务。这种模式已经诞生了不少成功的 NLP 模型,如 Google 2018 年推出的 Bert,但其通用性上依然不足。直到 GPT-3 推出,让这类预训练模型的通用性上了一个台阶。

从 GPT 第一代到 GPT-3,其模型层面一直都是基于 Transformer(一种领先的提取语义特征方法)做预训练,没有什么改变,但训练数据量和模型规模十倍、千倍地增长。

2018 年 6 月发布的 GPT 第一代,预训练数据量仅为 5GB。GPT-2 增长为 40GB,GPT-3 更是猛增到 45TB(等于 45000GB)。而模型规模方面,从 GPT 第一代的 1.17 亿参数量,指数增长为 1750 亿。

随着数据量和模型规模的增大,GPT 逐渐舍弃了用少数标注语料精调这一步,完全基于预训练得出的参数,去做下游任务,精确度依然有一定保证。

GPT 所需算力也越来越夸张,初代 GPT 在 8 个 GPU 上训练一个月就行,而 GPT-2 需要在 256 个 Google Cloud TPU v3 上训练(256 美元每小时),训练时长未知。到 GPT-3,预估训练一个模型的费用超过 460 万美元。

相应地,参与到 GPT 论文的作者从初代的 4 位,增加到第三代的 31 位。并且,31 位作者分工明确,有人负责训练模型,有人负责收集和过滤数据,有人负责实施具体的自然语言任务,有人负责开发更快的 GPU 内核。

借鉴 GPT-3 的迭代经验,李志飞认为开展中文 GPT-3 模型训练比较合理的路径是:“从中小规模的模型入手,开展研究及实验,达到一定效果后再推广到大模型上进行验证”。

至于人力方面的配置,他表示 GPT 是一个非常综合的大系统工程,涉及到学术、工程、商业等团队之间的大规模协同。一般需要搭建几十人的团队,其中包括科学家、工程师、项目经理等角色。

虽然可以借鉴英文 GPT-3 技术迭代的相关经验,但是在创建中文版 GPT-3 的过程中,也需要解决很多独特的问题,如中文训练数据、算力等。

“一方面,我们需要将更多的时间精力,投入在高质量、多样性的训练文本的获取上。”李志飞说,“另一方面,计算的效率问题,也是目前大规模深度学习模型训练所面临的共同挑战。”

从总体规模、数据质量及多样性上看,目前能够从互联网上获取到的高质量中文数据,相比英文数据要少一些,这可能会影响到中文模型的训练效果。不过,从已有的研究分析结果来看,数据并非越多越好。

“我们可以结合数据优化、数据生成等方式来提高训练语料的有效性。初步来看,具体训练语料,主要包括百科问答、新闻资讯、博客电子书类数据及其它泛爬数据,经过数据处理后其规模在 500GB 左右。”李志飞说。

GPT-3 模型参数到达 1750 亿,其背后训练资源的开销非常庞大,预估训练一个模型的费用超过 460 万美元。不过,随着国内外各项研究的推进,预训练模型的训练效率将会不断提升。

“我们可以借鉴其他预训练语言模型的优化经验,在训练语料、网络结构、模型压缩等方面多做工作,预计将模型的单次训练成本降低一个数量级。”李志飞说。

看上去,构建中文 GPT-3 是一件很费劲的事情,但这项工作带来的回报也非常可观。李志飞对品玩表示,GPT-3 展现出的通用能力,可以将其视为下一代搜索引擎和 AI 助理,所以这项技术本身的商业应用场景可以很广阔。

其次,构建 GPT 模型的过程中,将涉及到超算中心和AI算法平台的建设,这些算力和算法平台可以为企业、科研机构、政府提供底层服务,通过开放平台为产业赋能,如智能车载、智慧城市、科技金融等领域。

另外,虽然 GPT 本质是一个关于语言的时序模型,但语言之外的其它时序问题,如经济、股票、交通等行为预测,也有可能成为潜在应用场景。

GPT-4 可能如何演化?

GPT-3 目前的表现虽然令人震惊,但它本身还存在着很多问题,比如它并不能真正理解文本的含义,只是对词语进行排列组合。而且,研究员也并未完全了解它的工作机制。李志飞预测,下一个版本 GPT-4 将会在模型规模、小样本学习、多模态、学习反馈机制和与任务执行结合方面进行改进。

毫无疑问,GPT-4 模型会更加暴力。李志飞说:“下一代 GPT 模型必然在数据规模、模型参数、算力等方面都会有很大提升。另外,下一代的 GPT 模型可能不局限于英文,将能处理更多跨语言层面的任务。”

目前的 GPT-3 模型还严重依赖小样本学习机制。虽然 GPT-3 不需要精调,但是在完成具体的 NLP 任务时,还是会把少量和任务相关的实例给模型。在零样本和单样本的任务上,GPT-3 退化比较明显,事实上后面两个任务才是更普遍遇到的问题。

“下一代 GPT 模型需要加强在理论上的泛化能力,以便更好地处理零样本和单样本的任务。”李志飞表示。

下一代的 GPT 模型极有可能是一个多模态的模型。OpenAI 认为,纯文本的自回归预训练模型达到当下的规模,已经快接近极限了,需要往多模态模型方向发展,把文本、语音、图像这些内容结合起来进行学习。李志飞认为,多模态模型,一方面可以引入语言之外的更多维度的信息,另外一方面可以促使模型学习完成更通用化的表示,以此加强模型的泛化能力。

另外一个重要的进化,是引入学习反馈机制。目前GPT模型只是能够在完全无监督的条件下,读取海量互联网文本数据进行学习,但是人类的学习过程是跟物理世界有交互的,只有这样才能建立更多物理世界的“常识”,比如说杯子应该在桌子上面而不是下面。如果要到达更加通用的状态,除了多模态外,还要在学习过程中引入物理世界的反馈机制。

“当然,这个反馈也是通过数据来实现的,而不是让GPT真正像人一样去探索物理世界。”李志飞说道,“另外,鉴于 GPT 希望实现完全无监督学习的初衷,这个反馈更多是隐式的和延迟的,而不是显式的和及时的。为了做到这些,需要引入强化学习(re-inforcement learning)之类的机制。”

李志飞还认为,GPT-4 可能引入任务执行能力。现在的 GPT 主要是一个预测和生成的引擎,而不是一个任务的执行器。

比如,你跟GPT说“帮我订一下明天下午三点左右北京去上海的经济舱的机票”,目前GPT也许能理解这句话的意思,但还没有能力自动调取订票网站的 API(应用程序接口)去执行任务。如果不具备这种执行能力,GPT的通用性就很有限,因为每一个任务都需要额外增加代码用以执行理解后的任务。所以,GPT 必须学习怎么直接执行任务。

总体而言,李志飞对 GPT 的未来发展非常乐观:“未来互联网上的很多内容或知识,都会是由类 GPT 模型产生或加工过的。所以某种程度上,GPT的发展代表着语言主权的演进,且它将有潜力成为一种生态系统。”
责编AJX

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 人机交互
    +关注

    关注

    12

    文章

    1206

    浏览量

    55384
  • AI
    AI
    +关注

    关注

    87

    文章

    30746

    浏览量

    268896
  • 应用程序
    +关注

    关注

    37

    文章

    3266

    浏览量

    57679
收藏 人收藏

    评论

    相关推荐

    Llama 3GPT-4 比较

    随着人工智能技术的飞速发展,我们见证了一代又一代的AI模型不断突破界限,为各行各业带来革命性的变化。在这场技术竞赛中,Llama 3GPT-4作为两个备受瞩目的模型,它们代表了当前AI领域的最前
    的头像 发表于 10-27 14:17 333次阅读

    Jim Fan展望:机器人领域即将迎来GPT-3式突破

    英伟达科学家9月19日,科技媒体The Decoder发布了一则引人关注的报道,英伟达高级科学家Jim Fan在近期预测,机器人技术将在未来两到三年内迎来类似GPT-3在语言处理领域的革命性突破,他称之为机器人领域的“GPT-3时刻”。
    的头像 发表于 09-19 15:13 566次阅读

    OpenAI推出新模型CriticGPT,用GPT-4自我纠错

    基于GPT-4的模型——CriticGPT,这款模型专为捕获ChatGPT代码输出中的错误而设计,其独特的作用在于,让人们能够用GPT-4来查找GPT-4的错误。
    的头像 发表于 06-29 09:55 541次阅读

    OpenAI API Key获取:开发人员申请GPT-4 API Key教程

      OpenAI的GPT-4模型因其卓越的自然语言理解和生成能力,成为了许多开发者的首选工具。获取GPT-4 API Key并将其应用于项目,如开发一个ChatGPT聊天应用,不仅是实践人工智能技术
    的头像 发表于 06-24 17:40 2338次阅读
    OpenAI API Key获取:开发人员申请<b class='flag-5'>GPT-4</b> API Key教程

    开发者如何调用OpenAI的GPT-4o API以及价格详情指南

    ​目前,OpenAI新模型GPT-4o和GPT-4 Turbo的价格如下: GPT-4o 对比 GPT-4 Turbo GPT-4o 拥有与
    的头像 发表于 05-29 16:00 1.1w次阅读
    开发者如何调用OpenAI的<b class='flag-5'>GPT-4</b>o API以及价格详情指南

    GPT-4人工智能模型预测公司未来盈利胜过人类分析师

    据悉,本次研究中,研究人员仅向GPT-4提供了匿名的财务数据,包括资产负债表和损益表,并要求其预测未来盈利增长。尽管未获得其他信息,GPT-4仍能达到60%的准确度,远超人类分析师的平均水平(53%-57%)。
    的头像 发表于 05-27 16:41 584次阅读

    OpenAI全新GPT-4o能力炸场!速度快/成本低,能读懂人类情绪

    ”的意思。GPT-4o文本、推理、编码能力达到GPT-4 Turbo水平,速度是上一代AI大模型GPT-4 Turbo的两倍,但成本仅为GPT-4 Turbo的一半,视频、音频功能得到
    的头像 发表于 05-15 00:15 7817次阅读

    阿里云正式发布通义千问2.5,中文性能全面赶超GPT-4 Turbo

    在通义大模型发布一周年之际,阿里云迈出了历史性的一步。近日,阿里云正式发布通义千问2.5版本,其性能全面超越GPT-4 Turbo,荣登中文大模型之巅。
    的头像 发表于 05-13 11:16 966次阅读

    OpenAI计划宣布ChatGPT和GPT-4更新

    人工智能领域的领军企业OpenAI近日宣布,将于5月13日进行一场产品更新直播,届时将揭晓ChatGPT和GPT-4的新进展。这一消息立即引发了外界对OpenAI下一项重大技术发布的广泛猜测和期待。
    的头像 发表于 05-13 11:06 581次阅读

    阿里云发布通义千问2.5大模型,多项能力超越GPT-4

    阿里云隆重推出了通义千问 2.5 版,宣称其“技术进步,全面超越GPT-4”,尤其是在中文环境中的多种任务(如文本理解、文本生成、知识问答及生活建议、临时聊天及对话以及安全风险评估)方面表现出色,超越了GPT-4
    的头像 发表于 05-09 14:17 951次阅读

    微软Copilot全面更新为OpenAI的GPT-4 Turbo模型

    起初,Copilot作为Bing Chat AI助手推出,初期采用GPT-3.5模型,随后升级至GPT-4取得显著进步,如今再次更新至性能卓越的GPT-4 Turbo模型,这无疑将使得Copilot功能再上新台阶。
    的头像 发表于 03-13 13:42 724次阅读

    新火种AI|秒杀GPT-4,狙杀GPT-5,横空出世的Claude 3振奋人心!

    GPT-4被拉下神坛, Claude 3可能GPT-4实现全方位的碾压 。 Anthropic发布3个模型,全方位实现
    的头像 发表于 03-06 22:22 635次阅读
    新火种AI|秒杀<b class='flag-5'>GPT-4</b>,狙杀<b class='flag-5'>GPT</b>-5,横空出世的Claude <b class='flag-5'>3</b>振奋人心!

    OpenAI推出ChatGPT新功能:朗读,支持37种语言,兼容GPT-4GPT-3

    据悉,“朗读”功能支持37种语言,且能够自主识别文本类型并对应相应的发音。值得关注的是,该功能对GPT-4以及GPT-3.5版本的ChatGPT均适用。此举彰显了OpenAI致力于“多模态交互”(multimodal capabilities)的方向
    的头像 发表于 03-05 15:48 913次阅读

    全球最强大模型易主,GPT-4被超越

    近日,AI领域的领军企业Anthropic宣布推出全新的Claude 3系列模型,其中包括最强版Claude 3 Opus。据该公司称,Claude 3系列在推理、数学、编码、多语言理解和视觉方面全面超越了包括
    的头像 发表于 03-05 09:58 648次阅读

    Anthropic推出Claude 3系列模型,全面超越GPT-4,树立AI新标杆

    近日,AI领域的领军企业Anthropic震撼发布了全新的Claude 3系列模型,该系列模型在多模态和语言能力等关键领域展现出卓越性能,成功击败了此前被广泛认为是全球最强AI模型的GPT-4,树立了新的行业基准。
    的头像 发表于 03-05 09:49 680次阅读