0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

从AI远见到中国速度:Scaling Law发现者为何引全球热议?

脑极体 来源:脑极体 作者:脑极体 2025-01-02 10:01 次阅读

wKgZPGd0j56AOnsTAAoVKGcMjA4974.jpg

从20世纪50年代起,AI技术经历了70多年的发展。其间多种技术曾占据不同时代的高位,而当时间来到21世纪20年代,抵达我们今天正在经历的新一轮AI崛起,预训练大模型毫无疑问就是这个时代的主角。

那么,究竟是谁点燃了这次AI爆发的星星之火,推开了大模型的大门?相信你把这个问题抛给不那么了解AI的朋友,他也会脱口而出:是OpenAI啊。但就像大模型会出现幻觉一样,最近外网全面热议的一件事告诉我们,这个答案也可能掺杂了一些幻觉成分。

Scaling Law规模化法则,也被称为大模型的尺度定律。这一定律揭示了大语言模型的模型性能与其规模、训练数据集大小,以及训练资源之间存在着一种可预测的关系。也就是说投入资源越多,模型规模越大,最终的模型效果也就可能越好。从AI模型走向AI大模型,以及采取预训练机制的必要性都是由此而产生。因此Scaling Law也被业界广泛认为是模型预训练的第一性原理。

但就这项核心理论的起源,最近却有一项讨论火爆外网。根据AI大佬爆料,以及《南华早报》等权威媒体的报道,中国科技巨头百度比OpenAI更早发现了这一原理。这也意味着中国AI在大模型时代的前瞻性探索上可能更为超前。

而“AI突破总来自百度”这一现象的背后,更展示了体系化AI创新的核心价值。如何在全球AI竞赛的大背景下,全面释放出百度的体系化AI创新价值,将是未来中国AI发展的核心课题。

wKgZPGd0j6CARJi4AAKENT7TeGk383.jpg

事情的起源是这样的。11月12日,在Lex Fridman的播客节目中,Anthropic联合创始人&CEO Dario Amodei探讨了Claude、AI模型的扩展规律、AGI、AI未来等多个话题。其中,作为AI领军人物的Dario Amodei也谈到了Scaling Law这个关键规律的发现。他提到了他最早发现这个规律,始于此前在百度工作时的相关研究。根据资料显示,Dario Amodei于2014 年 11 月到2015 年 10 月期间在百度工作,当时他在百度硅谷人工智能实验室(SVAIL)工作,致力于将深度学习模型扩展到大规模高性能计算系统。

Dario Amodei提到,2014年与吴恩达在百度研究AI的时候,他就已经发现了模型发展的规律Scaling Law,“随着你给它们提供更多数据,随着你让模型变大,随着你训练它们的时间越来越长,模型的表现开始越来越好。当时我并没有精确地衡量,但我和同事们都非常非正式的感觉到,给这些模型的数据越多、计算越多、训练越多,它们的表现就越好”。

这个说法很快也得到了其他途径的权威证明。11月27日,Meta研究员、康奈尔大学博士候选人Jack Morris在X上表示,“大多数人不知道,关于Scaling Law的原始研究来自2017年的百度,而不是2020年的OpenAI”。

这个说法的来源是,在百度于2017年发表的论文《DEEP LEARNING SCALING IS PREDICTABLE, EMPIRICALLY》论文当中,已经对Scaling Law做出了详细研究,并探讨了机器翻译、语言建模等领域的Scaling现象。业内人士认为,这篇论文的重要性被严重忽视了。

而透过这次全球AI界的正本清源,我们真正能够看到的是百度在AI领域的前瞻性与系统化创新能力。很多AI的答案总是由百度来找到,已经成为业界的全新共识。

wKgZPGd0j6GAdRQ2AAIJDicu7_g848.jpg

十年之前,互联网技术正在持续发展,移动时代正处在高位。当时几乎没有哪家科技公司愿意从眼前的利益中抽身,去看看更遥远的未来。

但如果每家科技企业都固守短期利益,那么当科技拐点到来,下一轮技术突破开启,整个社会的科技竞争力不足就会暴露出来。我们只能重复一次又一次科技模仿者的角色。

好在百度决定打破这个循环,用预判能力提前点燃AI的星星之火。这种预判性,已经为百度,乃至为整个中国AI领域带来了极大效益。比如尽管外部刚刚爆料出百度更早发现Scaling Law的信息。但百度早已经基于对Scaling Law的研究和理解,很早就投入到预训练大模型的工作当中。于是可以在全球第一梯队发布大模型技术,率先打造投入应用的AIGC产品

早在2013年1月的百度年会上,李彦宏宣布成立了深度学习研究院,并亲自任院长。李彦宏认为,“这应该是全球企业界第一家用深度学习来命名的研究院”。这意味着,在全球大多数科技企业对AI的认知停留在科幻电影的阶段,百度已经率先将AI技术作为学术研究与业务落地的发展方向,继而开始体系化、系统化进行AI创新。

多年以来,百度在硬件、基础软件、模型算法、业务落地等维度进行了AI探索。后来的事实也证明,对单项AI技术的投入只能是模仿,只有从源头上进行体系化研发投入,才能提供源源不断的AI创新成果。由李彦宏的前瞻性出发,启动搭建的百度AI系统,让百度十年来成为AI人才、AI技术与AI基础设施的策源地。

从人才角度看,全球AI人才看到了百度AI的未来,争相加入到这个体系中来。比如说2014年,吴恩达加入百度并在研究院首席科学家,担任百度公司首席科学家,负责百度研究院的领导工作。2014年5月19日,百度宣布任命吴恩达博士为百度首席科学家,全面负责百度研究院。同样在2014年,Dario Amodei斯坦福博士后毕业后加入百度硅谷AI实验室。之后,Dario amodei又招募了Jim fan来百度实习。这些人后来都成为AI爆发的全球领军人物,将百度的AI积淀带向世界。

从业务发展的角度看,百度在自然语言处理、机器视觉、知识图谱等领域打下了坚实的技术底座,并率先将AI技术带到搜索、信息流、地图、自动驾驶等核心业务,全面迭代了科技行业与AI技术的关系,为未来千行百业的智能化指定了航标。

wKgZO2d0j6KACBkMAAEGvfuoUdA926.jpg

从基础设施的角度看,百度打造的飞桨+文心大模型体系已经成为AI开发者与产业智能化共同依托的技术底座。目前,飞桨文心开发者数量已达1808万,服务了43万家企业,创建了101万个模型。百度已经成为AI模型与AI开发者的摇篮。

不至Scaling Law,百度在AI领域点燃了无数星星之火。它们燃烧盛放,成为中国AI在全球赛场上的动力引擎。

wKgZPGd0j6KAFenJAAI_1dt3V74825.jpg

时间来到今天,预训练大模型驱动全球新一轮科技革命。在这个阶段当中,百度凭借跨越十年的AI洞见,以及由此打造的体系化AI创新,全面提升了中国AI的发展加速度。

比如说,百度在2019年发布了第一代文心大模型,几乎与OpenAI处于同一时期;2023年,百度是全球第一家推出生成式AI产品的科技大厂,让中国用户有了与无时间差的AI革命体验。

今天,百度文心大模型日调用量已经超过15亿。对比今年5月2亿的日调用量,半年时间达到了原来的7.5倍,对比一年前5000万的日调用量,达到了30倍。文心已经真正成为中国预训练大模型的底牌与王炸。

而把百度的前瞻能力与体系化AI创新,放在更大的全球科技竞赛背景中看,会发现其有着极其深远的意义。

日前,外媒Axios援引知情人士消息,美国候选总统特朗普计划任命一位人工智能部长(AI czar),以协调联邦政策和政府对新兴技术的使用。“AI部长”将在集中公共和私人资源方面发挥作用,确保美国在全球范围内占有人工智能发展的领先地位。这预示着特朗普下一个任期内AI技术发展将加速迎来变局。AI对于社会经济、国家战略的意义正被推升到史无前例的高度。

在全球AI竞赛的必然趋势下,百度的深入积累的AI技术路径、研究方法与工程化实践、应用探索,都将成为未来中国AI加速度的来源。

如何透过Scaling Law的全球热议,看清百度AI基座的不可替代性,并将这种价值应用在未来必将发生的AI竞赛中,将是中国AI接下来一个深刻且富有想象力的命题。

wKgZPGd0j6OACrhwAAHf5oVXuhw127.jpg

审核编辑 黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    87

    文章

    30998

    浏览量

    269325
  • 大模型
    +关注

    关注

    2

    文章

    2476

    浏览量

    2806
收藏 人收藏

    评论

    相关推荐

    行芯亮相2024中国AI芯片开发论坛

    此前,2024年12月5日-6日,由车乾信息和设计网联合主办的“2024中国AI芯片开发论坛”在深圳召开。在数字化、智能化时代背景下,人工智能技术正以前所未有的
    的头像 发表于 12-09 11:17 246次阅读

    讯飞星火低代码智能体平台全新升级

    Scaling Law魔法触达瓶颈,智能体正在创造下一个风口。
    的头像 发表于 11-28 14:42 493次阅读

    2024深圳 | 中国AI芯片开发论坛

    “2024中国AI芯片开发论坛”将于12月5-6日在深圳举办。本次论坛由车乾信息&设计网主办,深圳工业展协办,本次论坛重点探讨:高算力AI
    的头像 发表于 11-20 01:02 796次阅读
    2024深圳 | <b class='flag-5'>中国</b><b class='flag-5'>AI</b>芯片开发<b class='flag-5'>者</b>论坛

    OpenAI开启推理算力新Scaling LawAI PC和CPU的机会来了

    大模型应用的角度看,知识检索和AI推理将不再泾渭分明,而是深度交织、彼此强化。在这样一个智能融合的未来图景中,CPU作为连接存储、网络和各类加速器的纽带,其地位将变得举足轻重。
    的头像 发表于 09-27 16:20 624次阅读
    OpenAI开启推理算力新<b class='flag-5'>Scaling</b> <b class='flag-5'>Law</b>,<b class='flag-5'>AI</b> PC和CPU的机会来了

    多项AI新成果发布,涂鸦智能引领全球开发共绘GenAI发展蓝图

    9月25日,在TUYA全球开发大会上,涂鸦智能发布了搭载AI大模型的“小智管家”和全面革新的园区能源管理平台,并宣布正式成立亚太首个GenAI硬件工作组,为全球开发
    的头像 发表于 09-27 10:00 542次阅读
    多项<b class='flag-5'>AI</b>新成果发布,涂鸦智能引领<b class='flag-5'>全球</b>开发<b class='flag-5'>者</b>共绘GenAI发展蓝图

    浪潮信息赵帅:开放计算创新 应对Scaling Law挑战

    Scaling Law带来的AI基础设施Scale up和Scale out的挑战,数据中心需要以开放创新加速算力系统、管理和基础设施的全向Scale进程,推动AI产业的创新发展。  
    的头像 发表于 08-15 16:02 292次阅读
    浪潮信息赵帅:开放计算创新 应对<b class='flag-5'>Scaling</b> <b class='flag-5'>Law</b>挑战

    RISC-V在中国的发展机遇有哪些场景?

    联网市场的重要参与,拥有庞大的用户基数和丰富的应用场景。RISC-V在中国的发展将受益于这一市场需求的增长。 2. 人工智能(AIAI算力需求:随着人工智能技术的广泛应用,对算力
    发表于 07-29 17:14

    全球智慧领袖共襄2024 TUYA全球开发大会,开启智慧商业新纪元

    ,深入探讨了生成式AI在千行百业的创新应用和最佳实践。其中,以“开发引领行业创新发展”为主题的分论坛引发全场。Delos亚洲区总裁、国际WELL建筑研究院亚洲区总
    的头像 发表于 06-07 08:15 445次阅读
    <b class='flag-5'>全球</b>智慧领袖共襄2024 TUYA<b class='flag-5'>全球</b>开发<b class='flag-5'>者</b>大会,开启智慧商业新纪元

    全球智慧领袖共襄2024 TUYA全球开发大会,开启智慧商业新纪元

    涂鸦智能(NYSE: TUYA,HKEX: 2391)携手来自全球开发,深入探讨了生成式AI在千行百业的创新应用和最佳实践。 其中,以“开发引领行业创新发展”为主题的分论坛引发全场
    的头像 发表于 06-03 14:51 596次阅读
    <b class='flag-5'>全球</b>智慧领袖共襄2024 TUYA<b class='flag-5'>全球</b>开发<b class='flag-5'>者</b>大会,开启智慧商业新纪元

    2024 TUYA全球开发大会盛大启幕,Cube AI大模型重磅首发!

    AI浪潮席卷全球的当下,把握时代脉搏,全面拥抱生成式AI已成为共识。面对AI带来的无限可能,开发们纷纷投身其中,积极探寻
    的头像 发表于 05-31 08:15 371次阅读
    2024 TUYA<b class='flag-5'>全球</b>开发<b class='flag-5'>者</b>大会盛大启幕,Cube <b class='flag-5'>AI</b>大模型重磅首发!

    2024 TUYA全球开发大会盛大启幕,Cube AI大模型重磅首发!

    AI浪潮席卷全球的当下,把握时代脉搏,全面拥抱生成式AI已成为共识。面对AI带来的无限可能,开发们纷纷投身其中,积极探寻
    发表于 05-30 09:13 233次阅读
    2024 TUYA<b class='flag-5'>全球</b>开发<b class='flag-5'>者</b>大会盛大启幕,Cube <b class='flag-5'>AI</b>大模型重磅首发!

    王力新一代AI灵犀系列旗舰新品震撼发布,遥感技术3.0行业

    AI灵犀,前“锁”未见。5月21日,全国安防门锁首家上市企业王力新一代AI灵犀系列旗舰新品全球发布会在中国永康隆重举行。王力董事长王跃斌、王力研究院执行院长徐念龙博士等公司领导,
    的头像 发表于 05-22 13:35 323次阅读

    华为Pura70 Ultra手机AI消除功能公众

    然而,近日有网友在网络平台展示利用该手机图库里的AI消除功能,对照片中女性胸部衣物进行涂抹的操作,该功能成功地将涂抹区域进行了修补,生成了相应的画面,从而引起广泛关注。随后,官方已修复此问题。
    的头像 发表于 04-26 15:18 1187次阅读

    吉利多款轿车与小米SU7撞期,行业,杨学良发声

    领克于较近发布的07 EM-P引发网络,某位博主甚至言辞激烈,称此举直接让小米SU7多添一位竞争对手。然而吉利控股集团高级副总裁杨学良在后续的转发声明中提出希望公众避免将吉利新车与小米SU7进行类比或对立
    的头像 发表于 03-10 10:50 1418次阅读

    机构预测:今年全球AI服务器数量可超160万台,增长40%

    160万台,年成长率达40%,而后续预期CSP也将会更积极投入。JAEALOT2024年1月22日1月17日,TrendForce集邦咨询指出,AI话题,2024
    的头像 发表于 01-26 08:26 909次阅读
    机构预测:今年<b class='flag-5'>全球</b><b class='flag-5'>AI</b>服务器数量可超160万台,增长40%