0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

文心4.0,启动大模型时代的飞轮效应

脑极体 来源: 脑极体 作者: 脑极体 2023-10-19 09:34 次阅读

从物理学到经济学、商学当中,有一个著名的“飞轮效应”(Flywheel Effect),是指刚开始推动飞轮旋转时,需要花费非常大的力气却转速很慢,而一旦速度达到某个临界点后,飞轮就会非常轻松地高速运转。这一原理能应用到方方面面,比如健身最难熬的是前几天,一旦形成习惯就会越来越轻松。

一个企业,一个行业要显现飞轮效应,需要让各个业务模块、技术模块之间形成如齿轮咬合般的带动关系。初期要承受巨大的探索压力,而当飞轮踏上正轨,就会发展迅猛,领先优势不断加大。

AI大模型,正显现出如此前互联网产业一样的“飞轮效应”。

10月17日,以“生成未来”为主题的百度世界2023在北京首钢园举办。其间,百度CEO李彦宏表示,“大模型正成为新型工业化的重要推动力”,并且表示,文心大模型4.0实现了基础模型的全面升级,在理解、生成、逻辑和记忆能力上都有着明显提升,综合水平“与GPT-4相比毫不逊色”。

为什么在极短的时间内,业界关注重点就从“中国能否有大模型”,变成了“文心大模型与GPT-4”并驾齐驱?文心大模型飞速进化背后的奥秘是什么?

wKgaomUv1ASARNYsAAOJI4hNEO0415.jpg

同样在百度世界大会期间,百度首席技术官王海峰解读了文心大模型4.0背后的关键技术和最新进展。

在这当中,我们能读懂文心大模型如何全维度发力,造就了属于AI时代的飞轮效应。

技术飞轮,文心大模型4.0全面进化

文心大模型已经显现出飞轮效应的证据是多方面的。从体验效果、用户规模、落地场景三个最主要领域来考察,都可以发现文心大模型处在难以置信的进化速度当中。

王海峰介绍,文心大模型4.0的理解、生成、逻辑、记忆四大能力都有显著提升,9月已开始小流量上线,过去一个多月效果又提升了近30%。8月31日文心一言面向全社会开放至今,用户规模已经达到4500万、开发者5.4万、场景4300个、应用825个、插件超过500个。

wKgZomUv1AWABEa-AAPNn4EGA-o622.jpg

在各界非常关注的代码生成领域,基于文心大模型研制的智能代码助手Comate,在百度内部应用效果良好,整体代码采纳率达到40%,高频用户的代码采纳率达到60%。目前阶段,百度每天的新增代码中有20%是由Comate所生成。

而这些数字,还在快速增长。

文心大模型能够快速更新至4.0版本,并且体验与成绩不断提升,背后的逻辑是什么?

答案在于,百度通过多年在深度学习基础技术以及模型训练、推理、应用等方面的布局积累,已经构筑了大模型层面的全栈技术优势。换言之,百度已经率先度过了飞轮效应的投入期。聚集起来的技术动能不断累加,让文心大模型的“技术飞轮”高速运转。

纵观文心大模型的升级之路,就可以清楚地看到飞轮效应的运作模式。文心大模型自诞生起,就准确把握了知识增强和产业级两大关键突破点,既集成了百度的AI技术优势,又找准了未来的可持续发力方向。今年5月,作为文心一言的基础模型,文心大模型升级到3.5版本,就在基础模型升级、精调技术创新、知识点增强、逻辑推理增强、插件机制等方面实现了全面突破。而到4.0版本阶段,其基本技术架构与3.0和3.5版本一脉相承,并且在多个关键技术进一步突破。回顾文心大模型的升级历程,可以发现在练算法效率方面,3月份以来文心已累计提升3.6倍,训练稳定性方面,周均训练有效率已超过98%。

wKgaomUv1AaAOjDrAAOehnjIY4I915.jpg

带着百度超过十年积累的AI技术与研发矩阵,文心大模型4.0展现出了巨大的升级幅度。我们可以将其关键节点,总结为三个强化:

1.模型强化。

模型训练、推理能力,是大模型的基础,也是大模型走向产业化的核心。在这方面,文心大模型4.0延续了此前的高速进化模式。通过在万卡算力上运行飞桨平台,构筑集群基础设施和调度系统、飞桨框架的软硬协同优化,支持了文心大模型的稳定高效训练。

同时,百度还构建了多维数据体系,形成了数据挖掘、分析、合成、标注、评估闭环,可以充分释放数据价值,大幅提升模型效果,并且基于有监督精调、偏好学习、强化学习等技术进行多阶段对齐,保证模型更好与人类的判断和选择对齐,再通过可再生训练技术完成增量式的参数调优,节省了训练资源和时间,加快了模型迭代速度。

由此可见,文心大模型保持高效、大幅的迭代,原因是由多方面构成的。算力平台、数据平台、训练工具,以及一系列新型模型训练技术都参与其中。尤其与飞桨的联合调优,不断扮演着更加重要的角色。

2.知识强化。

文心大模型实现了准确率好,效率也高,关键在于知识点增强技术的运用。而在文心大模型4.0阶段,知识点增强技术开始应用于输入和输出的双阶段。在用户输入问题时,文心4.0会拆解回答问题所需的知识点,进而在搜索引擎、知识图谱、数据库中查找准确知识,再将知识组装进Prompt送入大模型。另一方面,大模型还将对输出结果进行反思,从生成结果总结知识点,进而通过以上方式进行确认验证,对结果差错进行修正。

如此一来,相当于大模型既要理解用户提到的知识,又将反思自身输出的知识。我们发现大模型偶尔会“胡说八道”,甚至怀疑输出结果,知识点增强的双向运用,将极大提升生成内容准确率。

3.机制强化。

近段时间以来,智能体机制得到了行业的广泛关注,成为大模型发展新的风口。在这一方面,百度进一步研发了智能体机制,包括理解、规划、反思和进化,能够做到可靠执行、自我进化,并将智能体的思考过程白盒化。从而让AI可以具有与人类相近的理性思考能力,由此可以自主完成复杂任务,在环境中持续学习实现自主进化。

可以看到,文心大模型的核心技术升级环环相扣,彼此推动。在大模型训练效率、AIGC效果、前沿技术探索等方面构成了正向的驱动循环。比如说,文心与飞桨的联合优化,目前可以看到价值越来越大,对于模型迭代效率提升、模型成本降低等方面有着巨大的作用,而这就是将百度潜心打造十年的深度学习开发平台能力,释放到了大模型当中。

高投入,广积累、坚持前沿探索,把核心技术组成环环相扣的齿轮。

这种技术战略的坚定笃行,正在全球AI赛道中进化着文心大模型的飞轮效应。

应用飞轮,行业落地全面深化

从技术飞轮向外看,大模型必须带动场景的飞轮旋转,才能最终让技术获得价值。在这方面,可以看到文心大模型正在破解应用道路上的关键难题:深度。

从目前来看,文心大模型带来的应用价值,已经能给出肯定的回答。在百度世界大会现场,王海峰分享了两个大模型的应用案例。

其一是百度与中国国家图书馆展开战略合作。利用国家图书馆拥有的全球最大古代方志资源,文心大模型通过学习古代方志与家谱数据,从而帮助全球华人获取寻根线索,实现寻根愿望。在这一场景中,我们可以看到使用了方志这种极少见、非传统的数据资料,极度考验大模型的理解与逻辑能力。而最终文心大模型经受了考验,构筑了海外华人梦回乡梓的智能之桥。

wKgZomUv1AaAZSocAAPLtiZMPOw422.jpg

其二是百度与国家跳水队合作,基于文心一言等百度大模型技术,帮助国家跳水队实现AI辅助训练系统全面升级。大模型通过掌握丰富的跳水知识,理解和执行教练员和运动员的复杂指令,及时对运动员的动作进行实时打分、完成精准量化分析,提供有价值的智能化指导。

这两个场景,全面展示了文心大模型4.0的场景应用深度。在技术不断提升的情况下,大模型的行业落地门槛不断降低,应用空间不断加大。各行业都愿意来和百度合作,探索大模型的可能性。

这些行业的意愿与探索,形成了应用合力,正在千行百业中深化着文心大模型的飞轮效应。

人才飞轮,大模型人才培养全面强化

大模型时代的最终需求是什么?从2012年以来开启的AI热潮其实早就告诉了我们答案:智能化,最终靠人才。巨大的人才缺口、难以获得的教育资源、不连贯的产学研合作,始终是困扰AI技术发展的根本难题。

wKgaomUv1AeAEG0gAANhHtaZ0zI627.jpg

为了解决这个问题,需要各界的携手发力,也需要头雁企业的抉择与担当。我们还记得,百度早在2020年就提出了5年为全社会培养500万AI人才的目标。如今来看,这一目标的提出和推进,对今天中国大模型事业的发展起到了底座与引擎的作用。在百度世界大会现场,王海峰公布了百度AI人才培养的最新数据,面向5年培养500万AI人才的目标,截至目前百度已经培养了420万AI人才。但显然,大模型的到来将加大AI人才缺口,给AI人才培养带来新的课题与挑战。

在这方面,可以看到百度主动承担起了大模型时代的人才培养承诺。为了高强度培养了解大模型技术,适应大模型发展需求的人才,王海峰发布了百度人才培养的“星河计划”。他表示:“我们将与产学研各界密切合作,深化产教融合,为社会再培养500万大模型人才,让人工智能科技的‘创新之花’,结出更多‘产业之果’,服务国家战略,服务社会发展,服务人民福祉。”

人才是持续发展的根本,是创新可能性的来源。持续的人才培养投入,不断完善和升级的人才培养模式,都强化了这种原动力。

来自“星河计划”中的500万大模型人才,将在更广阔的未来,强化文心大模型的飞轮效应。

一个飞轮,万个飞轮

从一个算力节点,一项训练方案,一项算法机制的创新,到千万家企业的参与,千万个行业的参与,千万名开发者的参与。文心大模型的飞轮结构正在变得愈发紧密,联接范围变得更加广阔。

一项大模型核心技术的升级,或许就将通过某个Prompt改变一个人的生活,通过某个AI原生应用影响一家企业的发展,通过某个落地场景升级一个行业的生产力。当技术、产业、人才的飞轮全速转动,我们就将进入真正的大模型时代。

文心大模型4.0的飞轮效应,其实是一个缩影。其明确从启动期进入飞速提升期,意味着中国大模型产业的整体进化速度更快、核心竞争力更强,从全球AI机遇的参与者逐渐变成引领者。

中国大模型的技术正不断加快,核心创新正不断增强,从文心大模型4.0的理解、生成、逻辑、记忆能力全面提升中就可以看到。

中国大模型的产业门槛不断下降,各行业的AI原生应用可能性极大增强。在国家图书馆、中国跳水队的智能化尝试中就可以看到。

中国大模型的人才培养路径更加清晰,人才供给更加完善,创新动力源源不绝,在500万大模型人才培养计划中就可以看到。

目前的实际情况是,中国大模型产业正在踏上正轨。领军企业有能力也有雄心,在大模型时代完成更大的探索和突破。文心大模型4.0可以与GPT-4并驾齐驱,答案正在于此。

文心大模型的飞轮,带动百度的AI飞轮;百度的一个飞轮,又会通过各种平台、应用、工具与合作通道将影响力扩散,带动千行百业的万个飞轮。

文心4.0的飞轮转动,中国智能化的飞轮轰鸣。

大模型的列车,正疾驰在智能中国的铁轨上。去下一站,去更远的一站,去星辰大海之间。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    87

    文章

    30841

    浏览量

    268999
  • 百度
    +关注

    关注

    9

    文章

    2268

    浏览量

    90381
  • 文心一言
    +关注

    关注

    0

    文章

    124

    浏览量

    1277
  • 大模型
    +关注

    关注

    2

    文章

    2441

    浏览量

    2683
收藏 人收藏

    评论

    相关推荐

    模力无限,星河共创:启明云端与您共赴模型生态大会

    在人工智能的浪潮中,我们即将迎来一场科技界的盛会——模型生态大会。这场将于12月26日在上海·张江科学会堂举行的大会,由深度学习技术及应用国家工程研究中心主办,百度飞桨及
    的头像 发表于 12-24 18:01 256次阅读
    模力无限,星河共创:启明云端与您共赴<b class='flag-5'>文</b><b class='flag-5'>心</b>大<b class='flag-5'>模型</b>生态大会

    天工大模型4.0 O1版即将启动邀测

    昆仑万维公司近日宣布,其自主研发的“天工大模型4.0 O1版”(Skywork O1)将于2024年11月27日正式启动邀请测试。这款模型是国内首款具备中文逻辑推理能力的O1
    的头像 发表于 11-18 15:08 569次阅读

    百度模型日均调用量超15亿

    近日,百度在上海世博中心举办了主题为“应用来了”的百度世界2024大会。会上,百度董事长李彦宏分享了关于大模型行业的最新动态和百度模型的显著进展。
    的头像 发表于 11-12 15:28 285次阅读

    李彦宏宣布:百度模型日调用量超15亿

    在百度世界2024大会上,百度公司创始人李彦宏宣布了一项令人瞩目的数据:百度模型的日调用量已经超过15亿次。这一数据不仅彰显了百度在人工智能领域的领先地位,也预示着人工智能技术的广泛应用
    的头像 发表于 11-12 10:40 207次阅读

    【附实操视频】聆思CSK6大模型开发板接入国内主流大模型(星火大模型一言、豆包、kimi、智谱glm、通义千问)

    接入一言、通义千问、豆包、智谱glm、kimi等国内的大模型,但由于各家接口和数据格式不一样,调试验证会浪费很多时间。因此本篇以聆思CSK6大模型开发板接入为例,分享具体的接入步骤
    发表于 08-22 10:12

    百度模型4.0免费了 百度心智能体平台免费开放模型4.0

    据悉;7月5日起 百度心智能体平台(AgentBuilder) 免费开放模型4.0。 开发者在
    的头像 发表于 07-06 17:12 1227次阅读

    百度发布模型4.0 Turbo与飞桨框架3.0,引领AI技术新篇章

    SUMMIT深度学习开发者大会2024上,向世界展示了百度在AI领域的最新成果——模型4.0 Turbo和飞桨框架3.0,并详细披露了飞桨
    的头像 发表于 06-29 16:03 633次阅读

    百度模型4.0 Turbo,正式发布 用户规模已达3亿

    的最新数据,并正式发布模型4.0 Turbo、飞桨框架3.0等最新技术,披露飞桨生态最
    的头像 发表于 06-29 10:06 864次阅读

    百度WAVE SUMMIT深度学习开发者大会,模型4.0 Turbo震撼发布

    及应用国家工程研究中心主任王海峰正式发布了模型4.0 Turbo,标志着百度在人工智能领域的又一重大突破。
    的头像 发表于 06-28 16:30 477次阅读

    百度预计2025年下半年推出文模型5.0版本

    根据李彦宏去年十月份的披露,模型4.0在发布后已经在性能方面全面超越了GPT-4。据已知信息,百度世界大会通常在每年下半年举行,据此推测,
    的头像 发表于 05-29 11:27 518次阅读

    全球首款基于模型的学习机—小度学习机Z30重磅发布

    AI时代,大模型成为推动智能教育升维发展的新质生产力。5月27日小度科技召开新品发布会,全球首款基于模型的学习机——小度学习机Z30重
    的头像 发表于 05-28 09:30 650次阅读

    百度模型扩展合作领域

    百度创始人兼CEO李彦宏在2024年第一季度财报电话会上宣布,模型API在继与中国三星、荣耀成功合作后,本季度再度实现重要突破。小米、OPPO、vivo等主流手机厂商已全面接入
    的头像 发表于 05-17 11:17 562次阅读

    李彦宏:开源模型将逐渐滞后,模型提升训练与推理效率

    李彦宏解释道,百度自研的基础模型—— 4.0,能够根据需求塑造出适应各类场景的微型版模型,并支持精细调整以及后预训练。相较于直接使用开源
    的头像 发表于 04-16 14:37 443次阅读

    优必选宣布人形机器人Walker S接入百度模型

    优必选宣布人形机器人Walker S接入百度模型,共同探索中国AI大模型+人形机器人的应用。
    的头像 发表于 04-07 10:17 917次阅读

    百度模型首批通过大模型标准符合性测试

    12月22日,在全国信息技术标准化技术委员会人工智能分委会全体会议上,百度模型首批通过大模型标准符合性测试。
    的头像 发表于 12-28 11:33 626次阅读
    百度<b class='flag-5'>文</b><b class='flag-5'>心</b>大<b class='flag-5'>模型</b>首批通过大<b class='flag-5'>模型</b>标准符合性测试