0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Google研究人提议对引擎重新设计并用单一大型AI语言模型代替

hl5C_deeptechch 来源:DeepTech深科技 作者:DeepTech深科技 2021-06-01 09:42 次阅读

1998 年,一些斯坦福大学的研究生发表了一篇论文,描述了一种新型的搜索引擎:“在本文中,我们将会介绍 Google 这种大型搜索引擎的原型。该原型大量使用了超文本形式的结构。Google 旨在有效地对万维网数据进行检索和编制索引,并生成比现有系统更令人满意的搜索结果。”

该研究的关键创新是一种称为 PageRank 的算法,该算法通过基于用户在网络上查询内容与网络上其他页面链接的相关性来计算搜索结果,并且对搜索结果进行排序。在 PageRank 的支持下,Google 成为了通往互联网的门户,而谢尔盖・布林和拉里・佩奇建立了世界上最大的公司之一。

现在,一组 Google 研究人员发布了一项提议,要求对引擎进行彻底的重新设计,从而排除现有排序的方法,并用单一的大型 AI 语言模型(例如 BERT 或 GPT-3,以及它们的未来版本)来代替。

这样一来,用户将不再用在庞大的网页列表中搜索信息,而是通过对这些页面上经过训练的语言模型提出问题来直接寻找答案。

这种方法不但可以改变搜索引擎的工作方式,而且可以改变它们可以做的事情,以及我们如何与之互动的方式。

即使网络的规模激增,搜索引擎也在变得越来越快,且越来越准确。现在我们使用 AI 来对结果进行排序,而 Google 可以通过 BERT 来更好地理解用户搜索的内容。

然而,在这些调整之下,所有主流搜索引擎的工作方式仍与 20 年前相同:爬虫将网页编入索引(可不间断地读取网络并维护找到的所有内容的列表的软件),在与用户查询相匹配的结果索引中收集数据,然后对结果进行排序。

唐纳德・麦茨勒(Donald Metzler)和他在 Google 研究部的同事写道:“这种索引检索然后排序的蓝图经受得住时间的考验,但也很少受到挑战或被认真地重新考虑一下。”

问题就在于,即使是当今最好的搜索引擎,它仍然会以包含所需信息的文档列表来进行响应,而不是包含信息本身。

搜索引擎也并不擅长回答需要从多个来源获得答案的查询任务,就像你看病时,医生给你一篇需要阅读的文章列表,而不是直接给你答案一样。

麦茨勒和他的同事对能像真人专家那样工作的搜索引擎十分感兴趣,它应当以自然语言生成答案,并由多个文档合成,而且像维基百科的文章一样,以支持证据的形式备份其答案。

大型语言模型为这样的想法奠定了一些基础,GPT-3 在大多数网络和数百本书上都接受过培训,它可以从多种来源中获取信息,以自然语言回答问题。

现在的问题在于它无法跟踪这些来源,也无法提供证据来支持这些答案。我们无法判断 GPT-3 是在模仿可信赖的信息还是虚假信息,或者只是散播自己的废话。

麦茨勒和他的同事们称语言模型为 Dilettantes——“人们以为它懂的很多,但实际上它的知识很肤浅。”

他们声称,解决方案是构建和培训未来的 BERT 和 GPT-3,以保留其单词来源的记录。目前尚无此类模型能够做到这一点,但原则上是可行的,并且朝着这个方向的早期工作也已被提上日程。

来自英国谢菲尔德大学研究网络信息检索的张子琦说,在不同的搜索领域,从响应用户查询、到总结文档、再到结构化信息,已经有了数十年的发展。

但是,这些技术都没有彻底改革过搜索,因为它们每个都只是解决特定的问题而无法被通用化。他说,这篇论文中提到的令人兴奋的事情就是一些大型语言模型能够同时完成所有这些操作。

然而,张也指出,语言模型在技术性或专业学科上表现不佳,因为训练这些语言的文本中很少有这类范例。

他说:“网络上关于电子商务的数据可能比有关量子力学的数据多数百倍。” 而且当今的语言模型也偏向英语,这会使网络上的非英语部分无法得到充分服务。

但张还是很喜欢这个主意,他说:“要是在过去,这么做是不可能的,因为大型语言模型只是最近才兴起的。如果成功了,它将改变我们的搜索体验。”

原文标题:GPT-3或宣告新型搜索引擎的诞生:通过语言模型提问即可找到答案

文章出处:【微信公众号:DeepTech深科技】欢迎添加关注!文章转载请注明出处。

责任编辑:haq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    87

    文章

    30979

    浏览量

    269247
  • 语言
    +关注

    关注

    1

    文章

    97

    浏览量

    24252
  • GPT
    GPT
    +关注

    关注

    0

    文章

    354

    浏览量

    15404

原文标题:GPT-3或宣告新型搜索引擎的诞生:通过语言模型提问即可找到答案

文章出处:【微信号:deeptechchina,微信公众号:deeptechchina】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    Google两款先进生成式AI模型登陆Vertex AI平台

    新的 AI 模型,包括最先进的视频生成模型Veo以及最高品质的图像生成模型Imagen 3。近日,我们在 Google Cloud 上进
    的头像 发表于 12-30 09:56 67次阅读

    AI语言模型开发步骤

    开发个高效、准确的大语言模型个复杂且多阶段的过程,涉及数据收集与预处理、模型架构设计、训练与优化、评估与调试等多个环节。接下来,
    的头像 发表于 12-19 11:29 114次阅读

    NaVILA:加州大学与英伟达联合发布新型视觉语言模型

    日前,加州大学的研究人员携手英伟达,共同推出了款创新的视觉语言模型——NaVILA。该模型在机器
    的头像 发表于 12-13 10:51 278次阅读

    语言模型开发框架是什么

    语言模型开发框架是指用于训练、推理和部署大型语言模型的软件工具和库。下面,AI部落小编为您介绍
    的头像 发表于 12-06 10:28 131次阅读

    如何利用大型语言模型驱动的搜索为公司创造价值

    ,IlanaGolbinBlumenfeld和JacobT.Wilson等三位PwC合伙,在《如何利用大型语言模型驱动的搜索为公司创造价值》书中,探讨
    的头像 发表于 10-13 08:07 177次阅读
    如何利用<b class='flag-5'>大型</b><b class='flag-5'>语言</b><b class='flag-5'>模型</b>驱动的搜索为公司创造价值

    2024 年 19 种最佳大型语言模型

    大型语言模型是2023年生成式人工智能热潮背后的推动力。然而,它们已经存在了段时间了。LLM是黑盒AI系统,它使用深度学习对超大数据集进行
    的头像 发表于 08-30 12:56 538次阅读
    2024 年 19 种最佳<b class='flag-5'>大型</b><b class='flag-5'>语言</b><b class='flag-5'>模型</b>

    基于CPU的大型语言模型推理实验

    随着计算和数据处理变得越来越分散和复杂,AI 的重点正在从初始训练转向更高效的AI 推理。Meta 的 Llama3 是功能强大的公开可用的大型语言
    的头像 发表于 07-18 14:28 559次阅读
    基于CPU的<b class='flag-5'>大型</b><b class='flag-5'>语言</b><b class='flag-5'>模型</b>推理实验

    AI模型与传统AI的区别

    AI模型(如LLM,即大型语言模型)与传统AI在多个方面存在显著的区别。以下将从技术层面、应用
    的头像 发表于 07-15 11:37 2791次阅读

    Al大模型机器

    金航标kinghelm萨科微slkor总经理宋仕强介绍说,萨科微Al大模型机器有哪些的优势?萨科微AI模型机器由清华大学毕业的天才少年
    发表于 07-05 08:52

    模型时代,程序员当下如何应对 AI 的挑战

    和应用都集中在完成项特定的任务中,例如:分类图片、总结文章、多语言翻译等,然而随着模型参数的增加, ChatGPT 的出现体现了“大模型”在通用领域内令人惊叹的能力,
    的头像 发表于 06-28 16:19 547次阅读
    大<b class='flag-5'>模型</b>时代,程序员当下如何应对 <b class='flag-5'>AI</b> 的挑战

    LLM之外的性价比之选,小语言模型

      电子发烧友网报道(文/周凯扬)大语言模型的风靡给AI应用创造了不少机会,无论是效率还是创意上,大语言模型都带来了前所未有的表现,这些大
    的头像 发表于 06-03 05:15 2247次阅读
    LLM之外的性价比之选,小<b class='flag-5'>语言</b><b class='flag-5'>模型</b>

    了解大型语言模型 (LLM) 领域中的25个关键术语

    1.LLM(大语言模型大型语言模型(LLMs)是先进的人工智能系统,经过大量文本数据集的训练,可以理解和生成类似人类的文本。他们使用深度学
    的头像 发表于 05-10 08:27 1268次阅读
    了解<b class='flag-5'>大型</b><b class='flag-5'>语言</b><b class='flag-5'>模型</b> (LLM) 领域中的25个关键术语

    Snowflake推出面向企业AI的大语言模型

    Snowflake公司近日推出了企业级AI模型——Snowflake Arctic,这是大型语言模型
    的头像 发表于 05-07 10:03 477次阅读

    【大语言模型:原理与工程实践】大语言模型的基础技术

    处理各种自然语言任务时都表现出了惊人的能力。这促使个新的研究方向诞生——基于Transformer 的预训练语言模型。这类
    发表于 05-05 12:17

    【大语言模型:原理与工程实践】揭开大语言模型的面纱

    复用和优化效果。这些趋势共同推动了大语言模型在深度学习研究和应用中的重要地位。数据效应指出大型模型需要更多数据进行训练,以提高性能。其次,表示能力使得大
    发表于 05-04 23:55