0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

AI开源的硬核战场:领军者百度如何亮剑?

jf_1689824270.4192 来源:InfoQ 作者:jf_1689824270.4192 2020-01-12 09:54 次阅读

AI 开源的黄金时代已来,百度的开源理想要实现了吗?

《西部世界》中的 AI 机器人引发了人们对于 AI 技术的惶恐——因为它描绘出了一个机器人拥有意识和意志的世界。埃隆·马斯克不止一次在公开场合重申了他对超级 AI 潜在崛起的担忧。他说:“请记住我的话,AI 比核武器危险得多。”

核武器没有开源,而 AI 开源的战场却硝烟弥漫。

近几年来,全球科技巨头不约而同地在做同一件事:将旗下的 AI 项目开源,与全世界的开发者共享。对这些 AI 科技巨头而言,为什么要开源其最先进的技术呢?

今天我们来聊聊 AI 与开源的故事。

AI开源是科技公司的价值名片

AI 的火热,得益于大批成功的开源深度学习框架的不断涌现。

2015 年,谷歌推出深度学习框架 TensorFlow,它是在 DistBelief 的基础上研发的第二代人工智能学习系统,目前已发展为最受欢迎的深度学习框架之一,被广泛地应用于语音识别或图像识别等多项机器学习和深度学习等领域。

在谷歌开源 TensorFlow 一年以后,百度宣布开源其深度学习平台飞桨(英文名 PaddlePaddle)。飞桨发展到现在,已经具备了开发便捷的核心框架、支持超大规模深度学习模型训练、多端多平台部署的高性能推理引擎和产业级开源模型库等领先技术。飞桨是中国首个也是目前国内唯一开源开放、功能完备的产业级深度学习平台,正是因为它的出现,百度成为继 Facebook、谷歌和 IBM 之后世界上又一个开源深度学习框架的科技公司。

从传统观念来看,开源深度学习框架的决定很奇怪。许多科技公司对于自己的产品、技术一直是保密的,核心算法更是秘而不宣。为什么要开源深度学习框架?

首先看市场需求。AI 具有较高的技术门槛,对于多数中小企业难以长期自主研发。而在产业互联网的浪潮下,谁能率先拥抱 AI ,谁就能在未来发展的不确定性中赢得更多主动权。所以借助成熟的、开源的深度学习框架是很多公司的首选。

其次,对于开源的公司而言,这是一次绝佳的展示机会。将深度学习框架开源,嵌入到其他公司的产品中去,以便更好地扩大巨头的领域。以 TensorFlow 为例,当一个用户在使用它的数据库时,能更加顺畅地连接谷歌的云服务。也就是说,在使用这个免费的工具时,用户会很自然地被引导到需要付费的服务。

这就是为什么处于技术前沿的公司要公开自己的重要技术,这既是对人工智能领域的资源争夺,也是提升自己在行业内话语权的绝佳机会。

飞桨开源,诚意更大

开源是一张王牌,可以让企业走近价值链的中心

IDC 发布的 2019 年下半年《深度学习框架和平台市场份额》报告显示,在深度学习平台市场,谷歌、Facebook、百度三强鼎立态势稳固,已占据接近 80% 的市场份额,其中百度的市场份额在过去半年里增长迅猛,占比提升 5.98 个百分点。AWS、微软等国外平台的份额下滑明显。

能在激烈的市场竞争中保持稳步增长,与百度多年来深耕 AI 关系密切。百度的血液里有两个词非常关键:一个是搜索,2010 年以前百度靠搜索技术打下江山;另一个就是 AI,从 2010 年以后,AI 成为百度最鲜明的竞争力。

在 AI 领域,百度做了两件非常牛的事,一是开源了深度学习平台飞桨,它是中国首个、也是当前国内唯一开源开放的深度学习平台;另一件是开源了自动驾驶平台 Apollo。前者让百度在国外巨头垄断的深度学习平台的市场份额里硬是撕出了一道口子;后者则奠定了百度在全球自动驾驶生态里的核心地位。

百度其实一直走在深度学习研究和应用的前沿,对于深度学习而言,百度在一开始就把握住了机遇。早在 2012 年百度就将深度学习 DNN 模型成功应用到语音识别、OCR 等任务中。随后在 2013 年,百度成立了深度学习研究院(IDL)。自此,百度全面进入深度学习阶段,在深度学习的框架开发、平台建设以及应用创新方面都走在行业前列,在企业内的应用具有很高的实用性、很大的规模化特色。

百度为什么要开源深度学习平台飞桨?

对于深度学习框架的价值,百度首席技术官(CTO)王海峰曾经如此表示:“在智能时代,深度学习框架起到了承上启下的作用,下接芯片,上承各种业务模型、行业应用。”

国内绝大多数企业,基本是依赖国外框架,并不掌握最核心的技术。他们通常是基于 TensorFlow、PyTorch 之类的国外框架和模型进行训练,然后再进行部署,加上边缘的工具等,就可以直接使用(例如 XDL,其后台实际上就是 TensorFlow)。因此,虽然国内有一些企业声称自己有深度学习框架,但很少有企业敢于将深度学习框架开源。

百度为什么敢?

一位亲历百度开源的工程师曾感慨道:“到目前为止,我仍然坚定的认为,百度是中国最适合做技术的公司。”百度飞桨的开发,是一行一行的代码敲出来的,具有完全自主知识产权。独立研发一个深度学习平台,需要深厚的深度学习专业功底、极强的软件开发经验和大量的时间,和独立写出一个操作系统的难度相差无几,而百度将飞桨百万行代码整体开源,足可见其对技术的自信和对开源的诚意。截至目前,全球范围内做得比较成功的深度学习框架,也只有谷歌、Facebook 和百度。

当然,TensorFlow 和飞桨也有很大的不同。

飞桨的核心框架采用基于编程逻辑的组网范式,对于普通开发者而言更容易上手,符合他们的开发习惯。同时,飞桨支持声明式和命令式编程,兼具开发的灵活性和高性能,网络结构自动设计,模型效果超越人类专家。

飞桨突破了超大规模深度学习模型训练技术,实现了世界上首个支持千亿特征、万亿参数、数百节点的开源大规模训练平台。据了解,TensorFlow 只支持千亿级规模的模型参数训练,是飞桨的十分之一。

飞桨不仅兼容其他开源框架训练的模型,还可以轻松地部署到不同架构的平台设备上。同时,飞桨的推理速度也是全面领先的。比如,在质检线上,一个零件停留的时间可能只有数十毫秒,因此,速度快就有更大的优势。飞桨适配的国产硬件(华为、寒武纪等)更多,同样都是跑在华为麒麟芯片上,飞桨的速度会比 TensorFlow 更快。在与北京大恒图像视觉有限公司的合作中,使用百度飞桨分割库 PaddleSeg,可在收集数据后快速地完成模型训练和部署,结合传统算法对隔膜生产中的缺陷进行实时的检测和分类。

PaddleSeg 集成了丰富的数据增广方法和最新的网络模型,使用方便、功能强大。训练出来的模型有良好的泛化能力,能检测出不同工艺和不同亮度的图像的缺陷 20 余种,分类精度达到 0.98,预测速度 0.12ms/img,分割模型 iou0.82。安装调试时间也缩短到 2 周,质检设备的通用及易用性都得到了较大的提高。

百度飞桨已累计服务了 150 多万开发者,这一数字约占中国软件平均从业人数的 1/4。此外,其定制化训练平台上企业用户超过 6.5 万,发布了 16.9 万个模型,2019 年第二季度百度飞桨深度学习平台开发者下载量环比增加 45%。

虽然当下飞桨的生态规模和国外框架想比还有一些差距。但对于国内的开发者而言,深度学习平台飞桨的开源,提供了一个跟国际潮流技术比肩的选择。

Apollo 在自动驾驶生态的特别地位

百度除了开源深度学习平台飞桨之外,在应用层面还开源了自动驾驶平台 Apollo。

百度自动驾驶研发项目启动于 2013 年,早年技术核心是“百度汽车大脑”,包括高精度地图、定位、感知、智能决策与控制四大模块;2014 年,正式启动“百度无人驾驶汽车”研发计划,一年后,成立自动驾驶事业部成立,大规模投入研发。

2017 年 7 月,百度 Apollo 发布 1.0 版本并正式对外开源,历时两年零五个月后,Apollo 5.5 版本发布,重点便是开放了“点到点城市自动驾驶”能力,以及面向量产落地自动驾驶场景的解决方案。

与以往版本比,Apollo 5.5 增加了三项新能力,分别是:

语义地图深度学习方法。该方法是将高精地图加上交通规则、车辆信息等语义,然后生成图片,用深度学习的 CNN 网络进行学习,从而应用于包括感知、预测在内的多个模块中。

Apollo 还对规划算法进行了更新。通过灵活的换道策略、智能的路权处理以及优化的速度决策几个方面的提升,提高问题的可求解性。

Apollo 5.5 引入最新的、基于非线性速度规划的数学表述,在优化器和优化器求解上做了大量的改进,保证在有限时间内也可以求出最优解。

在 CVPR(全球计算机视觉及模式识别领域顶级学术会议)2019 会议期间,百度 Apollo 公开了国内唯一的自动驾驶纯视觉城市道路闭环解决方案——百度 Apollo Lite。据悉,这是一套自动驾驶纯视觉城市道路闭环解决方案,能够支持对 10 路摄像头、200 帧 / 秒数据量的并行处理,单视觉链路最高丢帧率能够控制在 5‰ 以下,实现全方位 360° 实时环境感知,前向障碍物的稳定检测视距达到 240 米。

前不久,知名投资咨询公司广证恒生发布了《自动驾驶专题研究之企业评估指标体系——立体分析企业核心竞争力》,对国内外数家自动驾驶公司进行排名分析,百度以 3.6 分的综合评分位居世界第一,谷歌旗下的自动驾驶企业 Waymo 以 0.2 分之差紧随其后。

Apollo 平台是百度自动驾驶的技术基石。自发布至今,Apollo 平台共进行了 8 次迭代,分别是 1.0、1.5、2.0、2.5、3.0、3.5、5.0、5.5。以最新的 Apollo 5.5 为例,不仅在开放数据的基础上新增了帮助自动驾驶车辆快速学习交通规则,理解路面环境的语义地图深度学习方法,还为开发者开放了一个“技能库”,提供传感器标定和深度学习模型训练的服务,进一步提升开发效率。

截至目前,百度 L4 级别自动驾驶城市道路测试里程已经突破 300 万公里,已经在 23 个城市进行测试,智能汽车专利 1237 项,位列全国第一。

在保定,百度智能交通信控系统帮助保定交通延误时间减少 20%~30%。而在长沙“两个 100 公里”项目建设中,百度 Apollo 参与 135 公里车路协同道路改造。据悉,该项目建成后可直接支持进一步开展 Robotaxi 业务,从而加速推进自动驾驶规模化、商业化的落地进程。

此外,百度与重庆达成战略合作,围绕自动驾驶、智能城市、智能政务、区块链等多层面达成合作。2019 年 9 月 12 日,百度 Apollo 来到“渤海之滨”狮城,与沧州市人民政府正式签署战略合作框架协议,双方将自动驾驶、智能交通、电子政务等多个方面展开全面合作,共同打造“智能沧州”。

除了 Apollo 自动驾驶平台,百度还在车联网和车路协同领域不断推出新产品。据了解,2019 年,百度 Apollo 在全球 97 个国家拥有 3.6 万名开发者,是 2018 年的 2.4 倍。Apollo 目前共拥有 177 位生态合作伙伴,拥有 56 万行开源代码。Apollo 自动驾驶平台已成为全球最强大、最开放、最活跃的自动驾驶平台。

百度在 AI 和开源上的投入,有目共睹。

将 AI 开源进行到底

据了解,谷歌开源 TensorFlow 的想法最初是由是其首席架构师 Jeff Dean 提出的,他认为常规的科学发展缓慢,阻碍了公司的创新。开源 TensorFlow 能够加快研究人员与科学界的实时协作。谷歌之外的人才也能改善源代码,通过更广泛地分享机器学习技术,还能为该领域培养更加专业的人才。

“我们决定开源后,代码运行更快了,可以做更多的事情,也更加便捷。”TensorFlow 团队负责人 Rajat Monga 说。

百度 CTO 王海峰也曾在多个场合提出开源开放对人工智能时代的重要价值。他认为,一方面,人工智能技术的发展和突破需要所有人齐心协力、共同推动,因此开源、开放就尤为重要;另一方面,人工智能技术会赋能各行各业,开源、开放让各行各业可以便捷地使用人工智能,让社会各界都受益。

在百度,很多人对开源文化颇有感触。一位百度开源负责人曾在一篇文章中写道,他所在的工程效率部门, 2017 年至今都在整体组织和推进百度开源的工作,包括引入开源、内部开源和对外开源。而他也看到,在开源世界里面,中国公司和中国人不再仅仅是以索取者的身份出现,领先企业华为、阿里巴巴、百度、腾讯等在开源界的声音也越来越大,投入和实际贡献也越来越多。对开源的玩法越来越熟悉,玩得也越来越溜,在遵守社区规则、理解社区精神的前提下,慢慢走上了前台和中心。“这是非常令人欣喜的变化。”

除了以上提到的飞桨和 Apollo 的开源,百度还有很多非常有代表性的开源项目,比如 2019 年春晚红包中扛住超大用户压力、数次流量波峰的转发引擎——百度的统一七层流量转发平台 BFE、中国首个开源的边缘计算框架 BAETYL 等等。

此外,除了将重磅技术开源外,各大巨头也通过收购的方式加紧自己的开源生态建设。2018 年 10 月,微软以 75 亿美元的价格收购 GitHub,这个举措被认为是微软拥抱开源与布局企业市场的关键;2019 年 7 月,IBM 宣布以 340 亿美元的价格收购红帽(Red Hat),红帽将成为 IBM 混合云部门的一部分。国内对开源生态也表现出前所未有的重视。腾讯收购 Codig.net,推出腾讯云开发者平台;阿里巴巴收购 Teambition,支持开发者团队沟通协作。

2019 年 12 月 6 日,开源中国获得百度最新战略投资。百度除了把飞桨入驻到 Gitee 之外,其他百度系优秀的开源产品也将陆续入驻。

开源生态之争,寸土寸金。云 + AI 的行业背景之下,对于开发者生态的重视,让开源事业迎来了春天。开源社区和代码托管平台是科技公司与开发者建立联系的关键点,自然成为了必争之地。“一流企业定标准,二流企业做品牌,三流企业做产品”,想要在未来竞争的商业市场里占据话语权,就需要加快产品的研发和迭代速度,让产品被更多人喜欢和使用,并积极地参与开源组织和标准的制定。

当下,越来越多的企业开始意识到开源的重要性,中国的互联网企业也需要像百度一样,给开发者足够信任的时间和空间去做开源项目、维护开源项目,毕竟在开发者数量占绝对优势的背景下,我们需要让世界看到中国的开源力量。

百度笃信于此,并时刻做好“领路人”的准备。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    87

    文章

    30887

    浏览量

    269083
  • 百度
    +关注

    关注

    9

    文章

    2269

    浏览量

    90392
  • 开源硬件
    +关注

    关注

    8

    文章

    208

    浏览量

    29817
收藏 人收藏

    评论

    相关推荐

    百度将发布AI智能眼镜

    近日,有知情人士透露,百度旗下的人工智能品牌小计划在即将举行的百度世界大会上推出一款全新的AI智能眼镜。这款眼镜将内置先进的人工智能助手,并配备摄像头,为用户提供前所未有的智能体验。
    的头像 发表于 11-11 14:50 424次阅读

    百度AI计算平台4.0震撼发布

    在2024年百度云智大会的璀璨舞台上,百度智能云重磅推出了AI异构计算平台的全新力作——4.0版本。此次升级,标志着百度
    的头像 发表于 09-26 14:46 480次阅读

    百度搜索AI生成内容占比达11%

    在2024年举办的百度移动生态万象大会上,百度集团资深副总裁、百度移动生态事业群组总经理何俊杰分享了一系列令人瞩目的数据。他透露,百度新搜索正基于强大的
    的头像 发表于 05-31 09:24 733次阅读

    2024百度移动生态万象大会:百度新搜索11%内容已AI生成

    2024百度移动生态万象大会:百度新搜索11%内容已AI生成 今天2024百度移动生态万象大会在江苏苏州举办,特别是AI搜索与
    发表于 05-30 18:58 413次阅读

    百度文心大模型日处理Tokens文本已达2490亿

    近日,国内外AI领域迎来新一轮技术革新。百度作为行业领军者,率先发布了大模型的最新进展及相关应用。百度指出,闭源大模型结合公有云已成为全球AI
    的头像 发表于 05-16 10:08 412次阅读

    日产汽车将搭载百度AI解决方案

    日产汽车与百度达成战略合作,双方正式签署谅解备忘录,共同探索智能技术在汽车领域的应用。根据协议,日产将在中国市场的车型上搭载百度AI解决方案,进一步提升车辆智能化水平。
    的头像 发表于 05-06 14:14 452次阅读

    百度搜索重磅推出AI图片助手

    近日,百度搜索全新上线了一款名为“百度AI图片助手”的智能工具,该工具赋予了用户一键处理图片的强大能力。无论是搜索中的图片还是用户自主上传的图片,均可轻松实现涂抹消除、去水印以及画质修复等功能。
    的头像 发表于 05-06 10:20 1469次阅读

    Create2024百度AI开发者大会深圳开幕

    Create2024百度AI开发者大会深圳开幕 4月16日至17日,以“创造未来(Create the Future)”为主题的百度Create AI开发者大会在深圳国际会展中心(宝安
    的头像 发表于 04-16 15:13 870次阅读
    Create2024<b class='flag-5'>百度</b><b class='flag-5'>AI</b>开发者大会深圳开幕

    百度将为苹果新品提供AI功能

    据知情人士透露,百度已确定将为苹果即将发布的iPhone16、Mac系统和iOS18提供AI功能。此前,苹果曾与阿里等其他国内大模型公司进行过洽谈,但最终选择了百度作为合作伙伴。
    的头像 发表于 03-26 09:15 531次阅读

    苹果iPhone将采用百度AI技术

    近期,科创板日报亦转载此类消息,声称收到可靠线报,今年秋季即将推出的iPhone16、Mac系统乃至iOS 18版本都将搭载百度提供的AI插件。
    的头像 发表于 03-25 13:47 414次阅读

    百度地图AI向导用户破亿,日均提供超千万次对话

    百度地图AI向导用户破亿,日均提供超千万次对话
    的头像 发表于 03-21 09:44 409次阅读
    <b class='flag-5'>百度</b>地图<b class='flag-5'>AI</b>向导用户破亿,日均提供超千万次对话

    新火种AI|百度AI赚翻了!全年营收1346亿,碾压OpenAI成盈利第一?

    狂飙的AI风口,为什么百度赚到钱了?
    的头像 发表于 03-02 09:10 997次阅读
    新火种<b class='flag-5'>AI</b>|<b class='flag-5'>百度</b><b class='flag-5'>AI</b>赚翻了!全年营收1346亿,碾压OpenAI成盈利第一?

    百度搜索推出AI拜年新能力

    随着人工智能技术的迅猛发展,百度搜索始终站在技术前沿,致力于为用户提供更加智能化、便捷的服务。百度搜索重磅推出了AI拜年新能力,在春节期间,让用户能够更加轻松地表达祝福、传递情感。
    的头像 发表于 02-05 10:54 6116次阅读

    百度搜索推出AI拜年新能力 AI春节仪式感拉满

    春节AI拜年新体验,百度搜索春节期间推出AI拜年大礼包!
    的头像 发表于 02-05 10:38 2.2w次阅读

    三星Galaxy AI集成百度文心大模型

    近日,中国三星与百度智能云宣布正式结成AI生态战略合作伙伴,共同推动AI技术在智能手机等设备上的应用。作为这一合作的一部分,三星Galaxy AI深度集成了
    的头像 发表于 01-29 17:03 1242次阅读