0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

AI框架历史演进和趋势探索

lPCU_elecfans 来源:未知 2022-10-20 11:28 次阅读
电子发烧友网报道(文/李弯弯)AI框架是一种底层开发工具,是集深度学习核心训练和推理框架、基础模型库、端到端开发套件、丰富的工具组件于一体的平台。有了AI框架,工程师在工作时调试算法,就可以更快速、更高效。通俗一点讲,AI框架相当于是AI时代的操作系统,如同PC时代Windows,移动互联网时代的iOS和安卓。

AI框架发展现状和趋势

AI框架的历史并不算长,从2010年诞生的Theano算起,至今不过十二年时间。2017年后,早期的Theano、Caffe、Torch等框架逐渐销声匿迹,2016年前后出现的TensorFlow(谷歌)、PyTorch(Facebook)、飞桨(百度)逐渐占据市场。从目前市场占有情况看,产业界以TensorFlow为主,学术界以PyTorch为主。与TensorFlow过于注重工业,PyTorch专注学界不同,飞桨的特性在于工业学界两手抓,通过动态图自动解析编译静态图的技术,兼顾了学界的灵活,同时也实现了产业界希望的高效。除了TensorFlow、PyTorch、飞桨,深度学习框架还包括由Amazon设计研发并开源的MXNet、微软在github上开源的CNTK、华为推出的MindSpore、北京一流科技有限公司开发的OneFlow,以及清华大学自研的Jittor,和腾讯、字节跳动、360开源的Angel、BytePS、TensorNet。过去这些年,AI框架已形成较为完整的技术体系,当前主流AI框架的核心技术演化出三大层次,分为基础层、组件层和生态层,其中基础层实现AI框架最基础核心的功能,具体包括编程开发、编译优化以及硬件使能三个子层。从技术生态体系中的功能定位看,AI框架对下调用底层硬件计算资源,对上支撑AI应用算法模型搭建,提供算法工程化实现的标准环境,是AI技术体系的关键核心。AI框架技术持续演进,历经萌芽阶段、成长阶段、稳定阶段,当前已进入深化阶段。AI框架正向着超大规模AI、全场景支持、安全可信等技术特性深化探索。

AI框架面临的挑战

然而在这个探索的过程中,面临诸多挑战。在超大规模AI方面,当前超大规模AI成为新的深度学习范式。OpenAI于2020年5月发布GPT-3模型,包含1750亿参数,数据集达到45T,在多项NLP任务中超越了人类水平。这种超大规模的模型参数及超大规模的数据集的AI大模型范式,实现了深度学习新的突破。产业界和学术界看到这种新型范式的潜力后纷纷入局,继OpenAI后,华为基于MindSpore框架发布了盘古大模型、智源发布了悟道模型、阿里发布了M6模型、百度发布了文心模型等。超大规模AI正成为下一代人工智能的突破口,也是最有潜力的强人工智能技术。超大规模AI需要大模型、大数据、大算力的三重支持,这就对AI框架提出了新的挑战,比如内存墙,大模型训练过程中需要存储参数、激活、梯度、优化器状态,鹏程 盘古一个模型的训练就需要近4TB的内存。算力墙,以鹏程 . 盘古2000亿参数量的大模型为例,需要3.6EFLOPS的算力支持,要求必须构建大规模的异构AI计算集群才能满足这样的算力需求,同时算力平台要满足智能调度来提升算力资源的利用率。还有通信墙、调优墙、部署墙等。在全场景支持方面,随着云服务器、边缘设备、终端设备等人工智能硬件运算设备的不断涌现,以及各类人工智能运算库、中间表示工具以及编程框架的快速发展,人工智能软硬件生态呈现多样化发展趋势。但主流框架训练出来的模型却不能通用,学术科研项目间难以合作延伸,造成了深度学习框架的“碎片化”。目前业界并没有统一的中间表示层标准,导致各硬件厂商解决方案存在一定差异,以致应用模型迁移不畅,增加了应用部署难度。因此,基于AI框架训练出来的模型进行标准化互通将是未来的挑战。然而即使面临诸多挑战,过去两年,行业一直在持续探索,并取得一定突破,如2020年华为推出昇思MindSpore,在全场景协同、可信赖方面有一定的突破;旷视推出天元MegEngine,在训练推理一体化方面深度布局等。整体而言,在人工智能体系中,AI框架处于贯通上下的腰部位置,下接芯片、上承应用,是一个关键枢纽,是推动AI应用大规模落地的关键力量。因此对于企业来说,克服AI框架当前面临的挑战,不断探索新趋势,进行技术创新,完善技术、功能和生态是关键。

ea050618-501c-11ed-a3b6-dac502259ad0.png

ea49f8fe-501c-11ed-a3b6-dac502259ad0.png

声明:本文由电子发烧友原创,转载请注明以上来源。如需入群交流,请添加微信elecfans999,投稿爆料采访需求,请发邮箱huangjingjing@elecfans.com。

更多热点文章阅读


原文标题:AI框架历史演进和趋势探索

文章出处:【微信公众号:电子发烧友网】欢迎添加关注!文章转载请注明出处。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    87

    文章

    30072

    浏览量

    268339
收藏 人收藏

    评论

    相关推荐

    RISC-V如何支持不同的AI和机器学习框架和库?

    RISC-V如何支持不同的AI和机器学习框架和库?还请坛友们多多指教一下。
    发表于 10-10 22:24

    探索手机震动马达的种类与应用:技术演进与市场趋势

    手机震动马达,作为手机中不可或缺的一个组件,扮演着提醒、通知和反馈的重要角色。然而,随着技术的不断发展和市场需求的变化,手机震动马达也在不断演进和多样化。本文将深入分析手机震动马达的种类、技术特点以及应用场景,为读者呈现手机震动马达领域的最新动态。
    的头像 发表于 09-19 15:06 300次阅读
    <b class='flag-5'>探索</b>手机震动马达的种类与应用:技术<b class='flag-5'>演进</b>与市场<b class='flag-5'>趋势</b>

    简述微处理器的发展历史

    微处理器的发展历史是一部充满创新与突破的技术演进史,它见证了计算机技术的飞速发展和人类社会的巨大变革。以下是对微处理器发展历史的详细回顾,内容将涵盖其关键节点、重要里程碑以及技术演进
    的头像 发表于 08-22 14:22 2104次阅读

    中国AI长卷(二):框架立基

    AI框架可以看到,更强的产业化能力,就是中国AI的底色
    的头像 发表于 07-24 12:27 2529次阅读
    中国<b class='flag-5'>AI</b>长卷(二):<b class='flag-5'>框架</b>立基

    英伟达推出Flextron AI框架:赋能灵活高效的AI模型部署

    在人工智能与机器学习领域,随着技术的不断演进,模型的高效部署与适应性成为研究的新热点。近日,英伟达与德克萨斯大学奥斯汀分校携手宣布了一项重大突破——推出了一种名为FLEXTRON的新型灵活模型架构及训练后优化框架,这一创新成果为AI
    的头像 发表于 07-18 15:22 2692次阅读

    AI算法/模型/框架/模型库的含义、区别与联系

    在人工智能(Artificial Intelligence,简称AI)的广阔领域中,算法、模型、框架和模型库是构成其技术生态的重要基石。它们各自承担着不同的角色,但又紧密相连,共同推动着AI技术的不断发展。以下是对这四者含义、区
    的头像 发表于 07-17 17:11 2958次阅读

    ai大模型和ai框架的关系是什么

    AI大模型和AI框架是人工智能领域中两个重要的概念,它们之间的关系密切且复杂。 AI大模型的定义和特点 AI大模型是指具有大量参数的深度学习
    的头像 发表于 07-16 10:07 4w次阅读

    AI大模型与AI框架的关系

    在探讨AI大模型与AI框架的关系时,我们首先需要明确两者的基本概念及其在人工智能领域中的角色。AI大模型通常指的是具有极大规模、高度复杂性和强大能力的人工智能系统,它们能够处理复杂的任
    的头像 发表于 07-15 11:42 915次阅读

    CubeIDE生成的代码框架会卡在MX_X_CUBE_AI_Process()函数中是怎么回事?

    当我将网络模型部署到STM32F407VGT6中时,CubeIDE生成的代码框架会卡在MX_X_CUBE_AI_Process()函数中是怎么回事?CUbeAI库的版本是9.0。期待您的回复,谢谢
    发表于 05-30 06:11

    AI推理框架软件ONNX Runtime正式支持龙架构

    近日,知名AI推理框架开源社区ONNX Runtime正式发布支持龙架构的版本1.17.0。
    的头像 发表于 03-12 12:23 539次阅读
    <b class='flag-5'>AI</b>推理<b class='flag-5'>框架</b>软件ONNX Runtime正式支持龙架构

    中国人工智能框架的三个行业趋势

    由于历史和使用习惯的原因,TensorFlow 和 PyTorch 在中国的知名度也领先于其他人工智能框架,分别排在前两位。
    发表于 01-29 14:41 433次阅读
    中国人工智能<b class='flag-5'>框架</b>的三个行业<b class='flag-5'>趋势</b>

    基于AI框架的智能工厂设计

    在当今的智能制造业中,智能化和数字化的发展已经成为制造业的主要趋势。随着人工智能(AI)技术的不断发展和进步,智能制造的智慧工厂已经成为制造业的一个重要发展方向。
    发表于 01-26 15:18 873次阅读
    基于<b class='flag-5'>AI</b><b class='flag-5'>框架</b>的智能工厂设计

    Nullmax揭秘BEV-AI技术架构加速量产方案演进

    12月19日,Nullmax首席科学家成二康博士应邀出席2023全球自动驾驶峰会(GADS 2023),在自动驾驶BEV感知技术论坛上发表《BEV-AI技术架构 – 量产方案演进》主题报告,透过Nullmax量产方案演进路线图,
    的头像 发表于 12-22 14:46 1117次阅读

    驾驭创造的力量: 生成式 AI 时代的 MLOps 演进

    以下文章来源于谷歌云服务,作者 Google Cloud 驾驭创造的力量: 生成式 AI 时代的 MLOps 演进  MLOps 是一种将机器学习模型从实验室推向生产的系统方法,它能够通过全面
    的头像 发表于 12-21 18:05 319次阅读

    PCIe标准的演进历史 各代PCIe标准之间的主要差异

    自2003年推出以来,PCIe发展至今已经从最初的1.0升级到了6.0,本文则为大家简单介绍一下PCIe标准的演进历史以及各代PCIe标准之间的主要差异。
    的头像 发表于 12-14 16:38 5134次阅读
    PCIe标准的<b class='flag-5'>演进</b><b class='flag-5'>历史</b> 各代PCIe标准之间的主要差异