0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

人工智能对计算机系统及体系结构的挑战

我快闭嘴 来源:人工智能实验室 作者:人工智能实验室 2020-06-29 19:12 次阅读

百度称得上是国内应用深度学习的先锋,早在2012年初,百度就在语音识别上开始规模应用深度学习算法并取得了非常好的效果。当年年底,百度CEO李彦宏宣布成立公司的第一个研究院:百度深度学习研究院。当时,世界上只有谷歌、微软等少数几个公司公开宣布在深度学习、人工智能领域进行战略性的资金投入。

经过四年的发展,百度深度学习技术已经渗透到百度的各个产品中,如网页搜索、广告点击率预估模型、百度杀毒等。深度学习技术极大地提高了百度产品的用户体验。例如百度的语音识别,经过四年的磨练,其识别准确率从当初的80%提高到今天的96%。

除了率先在各个产品线引入前沿的深度学习算法外,百度在人工智能应用方面还有更长远的布局:

1. 建立百度研究院,下设硅谷人工智能实验室、北京深度学习实验室、北京大数据实验室等三大前沿实验室。

2. 2014年,人工智能领域最负盛名的权威学者吴恩达加入百度。

3. 同年,在百度技术开放日发布了大数据引擎,对外开放大数据及人工智能能力。

4. 在百度技术节上,百度高级副总裁王劲描绘了“万物智能”的愿景,展示了百度为迎接万物智能时代所做的技术布局。

5. 2015年在百度世界大会上推出了“度秘”。度秘是万物皆智能的一个集中体现,可成为人们生活中的智能秘书,通过语音对话或者图像可以自然地和人进行交流,甚至都不需要事先的交互,仅凭借历史信息传感器信息、周围环境变化就能判断一个人的需求。如果你饿了,它可以帮你订餐;你生病了,可以告诉你吃什么药;如果明天下雨,会提醒你带上伞;若你需要出行,会帮你订好酒店、机票等等。不过,这些看似平常的“秘书”服务,如果要真正达到好用的状态,还需要有非常先进的人工智能技术做支撑。

人工智能对计算机系统及体系结构的挑战:

人工智能的应用包括云(数据中心)和端(智能设备)两部分。云端除了训练(离线训练),还有在线服务。训练是指利用训练数据,选择合适的训练方法,训练出一个模型。在线服务是指利用训练出来的模型在线响应用户的请求。端部分也是人工智能的一个强需求,按照“万物智能”的愿望,很多终端设备,如智能辅助驾驶、无人车、智能摄像头、工业物联网(Internet of Things,IoT)等等,都能运行人工智能的算法,智能地响应外部请求。

深度学习的离线训练是工业界和学术界研究最多、关注最多的领域。自深度学习热潮席卷而来,无论是学术界还是工业界,涌现了很多新的、面向深度学习算法和应用设计的系统,如谷歌提出的参数服务器(parameter server),其他人通过借鉴这一思想,根据不同的应用场景,设计了各种不同的系统。

在体系结构方面,深度学习训练大多是基于图形处理单元(GPU)及无限带宽(infiniband)的高速互联网络。使用图形处理单元来做大规模的矩阵计算,再用无线带宽高速网络进行分布式参数更新。这种架构在工业界应用非常普遍,很多专有的服务器里通常带有8个图形处理单元,服务器之间则通过无线带宽互联。很多论文都在研究如何利用服务器内8个图形处理单元的局部性、无限带宽的远程直接数据存取(Remote Direct Memory Acces,RDMA)以及图形处理单元的计算能力来完成完整的分布式深度学习训练任务。图形处理单元加无限带宽的硬件架构目前比较适用于深度学习的训练以及工业界的规模应用。这是因为这两种硬件的性能都不错,而供应商众多,容易获得产品及技术支持。

在线服务方面,无论是工业界还是学术界,公开的信息都比较少。能有机会进行大规模部署人工智能服务的,只有像百度这样技术驱动的大型互联网公司,而这些公司一般出于保密考虑,会延后发布自己的核心技术。至于人工智能的终端设备,虽然媒体一直在勾画这个领域的宏伟蓝图,但实际上能成功进行规模应用的并不多,所以工业界和学术界对这部分内容公开得也比较少。

其实,无论是离线训练、在线服务还是智能设备,内部运行的都是一些常用的深度学习算法,如深层神经网络(Deep Neural Networks,DNN)、递归神经网络(Recurrent Neural Network,RNN)/长短时神经网络(Long Short Term Memory,LSTM)、卷积神经网络(Convolutional Neural Network,CNN)。这些算法存在一些共性,比如(1)都是计算和访存密集型;(2)主要的计算算子是矩阵操作、卷积、激活函数等;(3)对于离线训练,考虑到分布式实现,对节点间的通信带宽和延时要求很高。

从大规模部署应用的角度看,无论是哪种类型的应用,衡量体系结构好坏的最终标准是效率,包括能耗效率和成本效率。只有这两个效率足够高,体系结构才有生命力。例如对于嵌入式终端,往往需要考虑极致的能耗效率和成本效率,有时候甚至需要对算法做些剪枝和模型规模限制。对于数据中心而言,成本和功耗也是规模部署要考虑的第一要素。

如今,人们一提到深度学习的硬件架构,首先就会想到图形处理单元。这主要是因为,在便于采购的硬件里,图形处理单元确实能提供较好的数学计算能力和访存带宽。但对于能耗和成本效率,即使应用在数据中心,图形处理单元离我们的目标也还有很大的改进空间。所以我们需要重新思考,如何面向人工智能的典型应用和算法,设计一种新的、通用的体系结构。这种体系结构既能实现极致的能耗和成本效率,也能灵活延伸扩展,易于支持离线训练、在线服务和智能终端三种场景。
责任编辑:tzh

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 计算机
    +关注

    关注

    19

    文章

    7351

    浏览量

    87625
  • 人工智能
    +关注

    关注

    1789

    文章

    46630

    浏览量

    236972
  • 工业物联网
    +关注

    关注

    25

    文章

    2356

    浏览量

    63571
收藏 人收藏

    评论

    相关推荐

    信号继电器在计算机系统中的应用

    信号继电器在计算机系统中的应用是一个重要且复杂的领域,它作为电气控制的关键元件,在计算机系统中发挥着信号转换、隔离、放大以及控制等多种作用。以下将从信号继电器的基本概念、工作原理、特性、在计算机系统中的应用场景、优势以及未来发展
    的头像 发表于 09-27 16:29 253次阅读

    计算机系统的硬件组成和主要部件

    计算机系统的硬件组成是计算机运行的基础,它包含了多个关键部件,这些部件相互协作,共同实现计算机的各种功能。
    的头像 发表于 09-10 11:41 1317次阅读

    微处理器如何控制计算机系统

    微处理器,作为计算机系统的核心部件,承担着控制整个计算机系统运行的重要任务。它不仅是计算机的运算中心,还是控制中心,负责执行程序指令、处理数据以及协调计算机各部件之间的工作。以下将详细
    的头像 发表于 08-22 14:21 418次阅读

    简述微型计算机系统的组成

    微型计算机系统,简称微机系统,是一个集硬件和软件于一体的复杂系统,旨在高效处理信息、存储数据和执行用户指令。下面将从硬件和软件两大方面对微型计算机系统的组成进行详细阐述。
    的头像 发表于 08-22 12:37 2586次阅读

    计算机系统的组成和功能

    计算机系统是一个复杂而庞大的概念,它涵盖了计算机硬件、软件以及它们之间相互作用的所有元素。为了全面而深入地探讨计算机系统,本文将从定义、组成、功能、发展历程以及未来趋势等方面进行详细阐述。
    的头像 发表于 07-24 17:41 656次阅读

    计算机系统中的关键组件有哪些

    计算机系统中,关键组件的协同工作构成了其强大的数据处理和运算能力。这些组件不仅决定了计算机的性能,还影响着用户的使用体验。以下是对计算机系统中关键组件的详细阐述,包括它们的定义、功能、特点以及相互之间的关系。
    的头像 发表于 07-15 18:18 1117次阅读

    人工智能神经元的基本结构

    ,旨在创建能够执行通常需要人类智能的任务的计算机系统。神经元是构成人脑的基本单元,也是人工智能研究的基础。本文将详细介绍人工智能神经元的基本结构
    的头像 发表于 07-11 11:19 917次阅读

    计算机视觉与人工智能的关系是什么

    引言 计算机视觉是一门研究如何使计算机能够理解和解释视觉信息的学科。它涉及到图像处理、模式识别、机器学习等多个领域的知识。人工智能则是研究如何使计算机具有
    的头像 发表于 07-09 09:25 480次阅读

    计算机视觉属于人工智能

    属于,计算机视觉是人工智能领域的一个重要分支。 引言 计算机视觉是一门研究如何使计算机具有视觉能力的学科,它涉及到图像处理、模式识别、机器学习等多个领域。
    的头像 发表于 07-09 09:11 1010次阅读

    计算机控制器的结构和功能

    随着信息技术的迅猛发展,计算机已经深入我们生活的方方面面。而计算机控制器,作为计算机系统的核心部件之一,承担着协调各部件工作、指挥整个计算机按程序运行的重要任务。本文将详细介绍
    的头像 发表于 06-17 15:47 1308次阅读

    工业控制计算机体系结构是什么

    工业控制计算机是一种专门为工业自动化控制领域设计的计算机系统,具有高性能、高可靠性、实时性、可扩展性等特点。本文将详细介绍工业控制计算机体系结构,包括其硬件
    的头像 发表于 06-16 11:38 849次阅读

    计算机系统由什么两部分组成 计算机系统的层次结构

    计算机系统是由硬件和软件两部分组成的。 硬件部分包括计算机的实体组件,如中央处理器(CPU)、内存、存储设备、输入输出设备、显示器等。CPU是计算机系统的核心部件,负责执行指令、运算和控制计算
    的头像 发表于 02-01 14:13 3371次阅读

    计算机系统如何应对大模型时代的挑战与机遇

    “操作系统管理着计算机的资源和进程,以及所有的硬件和软件。计算机的操作系统让用户在不需要了解计算机语言的情况下与
    发表于 01-23 11:06 494次阅读
    <b class='flag-5'>计算机系统</b>如何应对大模型时代的<b class='flag-5'>挑战</b>与机遇

    智能化的计算机体系结构设计方案

    未来计算机体系结构将趋向于智能化和自适应性。智能化的计算机体系结构可以根据不同的任务和场景进行智能调整,提高
    发表于 01-22 11:05 403次阅读
    <b class='flag-5'>智能</b>化的<b class='flag-5'>计算机体系结构</b>设计方案

    《RVfpga:理解计算机体系结构》3.0 版本更新上线

    《RVfpga:理解计算机体系结构》3.0版本更新上线,扫码进入官网注册申请获取。《RVfpga:理解计算机体系结构》(以下简称“《RVfpga》”)是Imagination推出的完整RISC-V
    的头像 发表于 01-18 08:27 669次阅读
    《RVfpga:理解<b class='flag-5'>计算机体系结构</b>》3.0 版本更新上线