0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

谷歌Transformer八子全部“出逃”,他们创作了ChatGPT中的“T”

半导体产业纵横 来源:半导体产业纵横 2023-07-16 15:03 次阅读

各自上路,改写AI故事。

谷歌人工智能领域最有影响力的论文之一《Attention Is All You Need》的共同作者之一的人工智能研究员Llion Jones证实,他将于本月晚些时候离开谷歌日本公司并计划在休假后创办一家公司。

Llion Jones对媒体表示:"离开谷歌并不是一个容易的决定,与谷歌一起度过了美妙的十年,但现在是时候尝试一些不同的东西了。考虑到人工智能的发展势头和进展,我觉得现在也是建立新公司的好时机"。

自2017年出版以来,《Attention Is All You Need》轰动硅谷。该论文介绍了Transformer的概念,这种系统可以帮助人工智能模型将其正在分析的数据中最重要的信息归零。Transformer 现在是大型语言模型的关键构建块,该技术是 OpenAI 的 ChatGPT 等流行人工智能产品的基础。

随着Llion Jones的离开,这篇论文所有八位作者都已离开谷歌。

人们也许不认识他们的脸,或者没听过他的名字,但只需要5秒钟,就可以介绍他们的身份——“他们创作了ChatGPT中的“T”。

0c96a4e6-2391-11ee-962d-dac502259ad0.png

来源:PitchBook

谷歌为何失去“Transformer八子”

Transfomer是谷歌最重要的发明之一,它最初是在午餐时设计出来的。2017年,Alphabet公司加利福尼亚山景城总部的研究人员在中午用餐时谈论如何让计算机更高效地生成文本。在接下来的5个月里,他们进行了实验,并在没有意识到他们所发现的问题的重要性的情况下,将他们的发现写成了一篇名为 《Attention is All You Need 》的研究论文。

随后,他们带来了人工智能的飞跃。

这篇论文的八位作者创建了Transformer系统,使机器能够比以往任何时候都更高效地生成类似人类的文本、图像、DNA序列和许多其他类型的数据。他们的论文最终被其他研究人员引用了8万多次,他们设计的人工智能架构为OpenAI的ChatGPT("T "代表Transformer)、Midjourney等图像生成工具提供了基础。

谷歌与全世界分享了这一发现,科技公司经常开源新技术,以获得反馈、吸引人才和建立支持者社区。

但谷歌本身并没有立即使用这项新技术。在谷歌努力将其尖端研究成果转化为可用服务的过程中,该系统处于相对休眠状态长达数年之久。但另一家公司OpenAI,它利用了谷歌的发明,对这家搜索巨头发起了多年来最严重的威胁。

谷歌哪里出了问题?

一个明显的问题是规模。根据人工智能公司 Glass.ai 的估计,谷歌拥有一支由 7,133 名员工组成的队伍,而其员工总数约为 140,000 人。Glass.ai 今年早些时候扫描了 LinkedIn 的个人资料,以识别大型科技公司的人工智能员工。相比之下,OpenAI 引发了一场 AI 军备竞赛,其员工规模要小得多——到 2023 年,大约 375 名员工中约有 150 名 AI 研究人员。

谷歌的庞大规模意味着科学家和工程师在创建 Transformer 时必须经过多层管理才能批准想法。谷歌智库(该公司主要人工智能部门之一)的研究人员也缺乏明确的战略方向,导致许多人沉迷于职业发展和研究论文的知名度。

另一个问题在于,将创意转化为新产品的门槛也非常高。25 岁的伊利亚·波洛苏欣 (Illia Polosukhin) 第一次与研究员同事阿什什·瓦斯瓦尼 (Ashish Vaswani) 和雅各布·乌兹科雷特 (Jakob Uszkoreit) 在谷歌食堂坐下来时说道,“除非(一个想法)能成为一项价值十亿美元的业务,否则谷歌不会采取行动。”但建立一个价值十亿美元的业务需要不断的迭代和面对大量问题,这是谷歌并不总是容忍的。

谷歌的一位女发言人表示,该公司 "为我们在Transformer的行业定义性、突破性工作感到自豪,并为它所创造的人工智能生态系统而感到振奋,包括让我们的研究员在谷歌公司外推进他们的研究与其他人合作并且发现新机会。"

德语流利的 Uszkoreit 注意到,这项新技术可以比谷歌翻译更准确地将英语翻译成德语。但谷歌本身花了很长时间才将该技术应用到其免费翻译工具或其语言模型 BERT 中,而且该公司从未将其部署在任何人都可以测试的聊天机器人中。也就是说,直到 2022 年底 ChatGPT 的推出才迫使谷歌在 2023 年 3 月迅速发布了Bard。

多年来,这些研究员们见证了他们的想法被其他人应用到一系列任务中,从 OpenAI 的 ChatGPT 早期迭代到 DALL-E,从 Midjourney 的图像工具到 DeepMind 的蛋白质折叠系统 AlphaFold。很难不注意到最令人兴奋的创新发生在山景城之外。

在某种程度上,谷歌成为了自身成功的受害者。它的队伍中有像 Geoffrey Hinton 这样的传奇人工智能科学家,并且在 2017 年就已经在使用尖端的人工智能技术来处理文本。许多研究人员的心态是“如果它没有坏,就不要修理它。”

价值40亿美元的AI巨星们

共同撰写2017年论文的研究人员离开谷歌后,他们继续创办创业公司,包括生产企业软件的Cohere,以及由Noam Shazeer创办的Character.ai,Noam Shazeer是该小组中在谷歌任职时间最长的人,曾被视为公司的人工智能传奇人物。

根据研究公司Pitchbook和价格追踪网站CoinMarketCap的估值统计,他们的企业总价值约为41亿美元。可以说,他们是硅谷的人工智能的“贵族”。

0d23867c-2391-11ee-962d-dac502259ad0.png

八位作者在谷歌的工作时长

Polosukhin此后创办了一家区块链公司。Vaswani和 Niki Parmar 创办了企业软件公司 Essential.ai。Uszkoreit 喜欢挑战人工智能研究的现状——他的观点是,如果它还没有被打破,那就打破它,此后他与他人共同创立了一家名为 Inceptive Nucleics 的生物技术公司。

2016 年,Uszkoreit探索了人工智能中“注意力”的概念,即计算机区分数据集中最重要的信息。一年后的午餐时,三人讨论了如何利用这个想法来更有效地翻译单词。当时的谷歌翻译很笨拙,尤其是对于非拉丁语言。“汉语转俄语太糟糕了,”Polosukhin回忆道。

其中一个问题在于循环神经网络处理序列中的单词。它很慢并且没有充分利用可以同时处理大量任务的芯片。家用计算机中的 CPU 可能有四个“核心”,用于处理和执行指令,但用于处理人工智能系统的服务器中的 CPU 有数千个核心。这意味着人工智能模型可以同时“读取”句子中的许多单词。没有人充分利用这一点。

Uszkoreit 会在 Google 办公室里走来走去,在白板上画出新架构的图表,并且经常遭到怀疑。琼斯说,他的团队希望删除当时使用的循环神经网络中的“循环”部分,这“听起来很疯狂”。但随着Parmar, Aidan Gomez和 Lukasz Kaiser等其他一些研究人员加入该小组,他们开始看到进展。

曾经,硅谷“八叛逆”改变了集成电路的历史,如今谷歌的“八叛逆”会给世界带来怎样的变化?

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 人工智能
    +关注

    关注

    1791

    文章

    47206

    浏览量

    238276
  • ChatGPT
    +关注

    关注

    29

    文章

    1560

    浏览量

    7598

原文标题:谷歌Transformer八子全部“出逃”,他们创作了ChatGPT中的“T”

文章出处:【微信号:ICViews,微信公众号:半导体产业纵横】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    ChatGPT新增实时搜索与高级语音功能

    在OpenAI的第天技术分享直播ChatGPT的搜索功能迎来了重大更新。此次更新不仅丰富了ChatGPT的功能体系,更提升了其实用性和竞争力。 新增的实时搜索功能,是此次更新的亮
    的头像 发表于 12-17 14:08 142次阅读

    ChatGPT服务中断,OpenAI正积极恢复

    回应,表示他们正在积极调查问题的原因,并努力尽快恢复ChatGPT的功能。他们深知这一服务对用户的重要性,因此全力以赴地投入到问题的解决。 经过一段时间的紧急处理,OpenAI最新回
    的头像 发表于 11-11 13:38 483次阅读

    怎样搭建基于 ChatGPT 的聊天系统

    开发者将ChatGPT集成到他们的应用程序。 2. 获取API访问权限 在开始之前,你需要从OpenAI获取API密钥。这通常涉
    的头像 发表于 10-25 16:23 496次阅读

    如何使用 ChatGPT 进行内容创作

    使用ChatGPT进行内容创作是一个高效且富有创意的过程。以下是一些关键步骤和建议,帮助您充分利用ChatGPT进行内容创作: 一、准备阶段 注册与登录 : 确保您已注册
    的头像 发表于 10-25 16:08 435次阅读

    Transformer语言模型简介与实现过程

    在自然语言处理(NLP)领域,Transformer模型以其卓越的性能和广泛的应用前景,成为了近年来最引人注目的技术之一。Transformer模型由谷歌在2017年提出,并首次应用于神经机器翻译
    的头像 发表于 07-10 11:48 1631次阅读

    llm模型和chatGPT的区别

    ,有许多不同的LLM模型,如BERT、GPT、T5等。 ChatGPT是一种基于GPT(Generative Pre-trained Transformer)模型的聊天机器人。GPT模型是一种
    的头像 发表于 07-09 09:55 1038次阅读

    aigc和chatGPT区别和联系

    AIGC(Artificial Intelligence Generated Content)和ChatGPT(Chat Generative Pre-trained Transformer)是两个
    的头像 发表于 07-04 09:53 956次阅读

    OpenAI 深夜抛出王炸 “ChatGPT- 4o”, “她” 来了

    当地时间5月13日OpenAI推出ChatGPT-4o,代表了人工智能向前迈出的一大步。在GPT-4turbo的强大基础上,这种迭代拥有显著的改进。在发布会的演示,OpenAI展示该模型的高级
    发表于 05-27 15:43

    OpenAI推出ChatGPT新功能:连接微软OneDrive谷歌Drive云盘服务

    据5月17日消息,Kristi Hines发布推文透露,OpenAI为企业客户量身打造了ChatGPT全新版的“Connect Apps”,支持与微软OneDrive及谷歌Drive云盘服务的无缝对接。
    的头像 发表于 05-17 10:21 546次阅读

    截杀ChatGPT-4o,谷歌系AI产品迎来全面升级

    和应用。近日举办的谷歌I/O大会上,谷歌宣布全面进入Gemini时代,并发布了一系列与AI相关的更新。   对标 ChatGPT-4o , 谷歌发布 Project Astra   相
    的头像 发表于 05-16 01:58 2722次阅读
    截杀<b class='flag-5'>ChatGPT</b>-4o,<b class='flag-5'>谷歌</b>系AI产品迎来全面升级

    在FPGA设计是否可以应用ChatGPT生成想要的程序呢

    当下AI人工智能崛起,很多开发领域都可看到ChatGPT的身影,FPGA设计,是否也可以用ChatGPT辅助设计呢?
    发表于 03-28 23:41

    ChatGPT答非所问胡言乱语 OpenAI 已修复该问题

    ChatGPT答非所问胡言乱语 OpenAI 已修复该问题 20日ChatGPT突发故障,ChatGPT在回答用户问题时出现了胡说道的现象;Cha
    的头像 发表于 02-23 11:34 772次阅读

    谷歌大型模型终于开放源代码,迟到但重要的开源战略

    在人工智能领域,谷歌可以算是开源的鼻祖。今天几乎所有的大语言模型,都基于谷歌在 2017 年发布的 Transformer 论文;谷歌的发布的 BERT、
    发表于 02-22 18:14 436次阅读
    <b class='flag-5'>谷歌</b>大型模型终于开放源代码,迟到但重要的开源战略

    【国产FPGA+OMAPL138开发板体验】(原创)6.FPGA连接ChatGPT 4

    ChatGPT4的智慧结晶加载到chat_response chat_response <= poke_stick.get_response(); // 并且心里默念:“感谢伟大
    发表于 02-14 21:58

    大众汽车将ChatGPT批量集成到多种汽车

    大众汽车在官网宣布,他们已经成功将ChatGPT集成到其电动和内燃机汽车。这一创新将为用户提供更加智能、便捷的交互体验。
    的头像 发表于 01-11 14:32 386次阅读