边缘智能，AI应用的最后一里路

AI落地是大家一直在探讨的问题，因为不管技术多华丽，最终能否应用在人们的日常生活中，才是关键。那么距离AI渗透生活的那天，还有多远呢？这当中还有什么关键拼图待补？

随着Google旗下DeepMind所研发的人工智能（AI）系统AlphaGo所带起的一波人工智能热潮，***没有错过。

***科技部长陈良基将2017年订为***的「人工智慧元年」（小编注：***称人工智能作人工智能，），从建立「人工智能高速运算服务」、在台大、清大、交大、成大设立「AI创新研究中心」、打造中科与南科的「智能机器人自造者基地」，到AI计画的最后一块拼图「半导体射月计画」，都是希望强化***半导体产业于人工边缘智能（AI Edge Intelligence）的核心技术竞争力和在前瞻半导体制程与人工智能晶片系统研发。

曾经走红的万物联网让科技产业认为，这就是未来的智能样貌，直到AlphaGo击败世界棋王，科技圈才发现人工智能所带来的「智能服务」，才是真正赋予了万物联网的背后价值。

边缘智能，AI应用的最后一里路

事实上，许多具有传感器的装置早就存在我们的生活里，如摄影机、相机、喇叭与麦克风等也在过去10年左右，数位化连上网路。但连结网路摄影机与网路连接储存装置（NAS）所组成的数位监视系统相较于过去闭路式、类比讯号的监视装置，除了储存资料数位化之外，在本质上并没有太大的不同，一样需要人监看、回放，并判断实际现场状况。但当人工智能应用普及，影像辨识、语音辨识转成文字不再遥不可及，网路摄影机或现场麦克风所传回的资料都可即时透过自动辨识，判断画面中的物体，加上搜集人脸资讯及现场收音，AI都足以自动综合解读更多现场状况，让安防业者不再需要配置人力长时间全神贯注监看，仅须排除异常状态。

监视系统配上人工智能应用，仿佛在机器中加上了灵魂，如果可透过人工智能学习不同辨识内容组合的场景意义，并对应相应的处理机制，就赋予数位监视系统协助安防控制，真正达成智能化。

然而，要能够让摄影机进行影像辨识，除了可以将影像透过即时传输回主机上再进行计算判读外，也可以想办法透过摄影机上的处理器，直接计算进行辨识。前者需要占用大量网路传输资源，也有延迟时间的限制，但如果可以在摄影机里加上适当设计、可节省电力的处理器与作业系统，直接现场计算辨识，不但可以省却传输成本，也能减少辨识结果的延迟时间，加快即时反应。「边缘智能」就是指「在最终端装置上的处理器与全套作业系统」，也可说是人工智能落实到真实生活未来应用的最后一哩路。

从训练到推论，晶片是最后一块拼图

然而对企业来说，深度神经网络1（Deep Neural Networks，DNNs）所带起的人工智能浪潮，就如同遥远的国度发生了大海啸，要把如今相对成熟的图像辨识、语音辨识或文本翻译，放进真实环境做商业应用仍还有一段距离。

由于深度学习2的演算法与相关应用仍在快速演进中，无论是智能城市、智能零售、智能音箱或无人车等实际的应用场景，仍在大量搜集数据，让深度学习演算法学习辨别这些资料特征与模式的阶段，这个系统过程称为训练（Training），让电脑尝试从我们所搜集的资料来学习。

训练的过程需要极大的运算量，以图像辨识为例，要训练电脑模型认识一种特定物体，例如花朵或猫咪，可能需要至少千张、多则超过百万张各种不同角度、不同场景、不同光线下所拍摄的照片，因此这样的运算往往在云端或资料中心进行。

如果要求同样一个模型要能够辨识各种不同品种的猫，除了需要更大数量的照片，更需要人工对这些照片中的猫咪品种先进行分类标注，再交给深度学习相关的演算法进行训练，才能得到最终可应用的模型。

训练是整个人工智能应用里，最耗计算资源的工作步骤，所以通常都会透过绘图处理器（GPU）所特别擅长的平行运算来进行加速。尤其是现在最热门、常超过百层、复杂度极高的深度神经网络，都会希望使用特殊可针对大型矩阵运算做平行处理的特殊计算晶片，来加速训练过程。然而，人工智能的真实应用往往发生在终端，无论是图像、影像、语音辨识或文本翻译，透过深度学习所训练出来的模型如果放在云端，意味着每次应用发生时，终端首先要传输图片、影像、语音或文本，等云端判读后再将结果回传。就算网路频宽再大、速度再快，这段传输与回传过程都须占用资源、并造成反应时间延迟。

所以，能够在终端接收实体资料，并快速预测回应的过程称为推论（Inference）。对推论来说，在终端应用上减除那些对预测不必要的模型，或是合并对结果无足轻重的运算，来缩小计算规模非常重要。就算推论相对不消耗运算资源，但多数推论应用仍须特殊计算晶片加速来缩短反应时间，也就是说，若终端要能进行推论，每一台装置上都将以晶片来加强能力。

陈美如／制作

中西巨头投入AI晶片开发，郭台铭也要做

今年1月，新创数据平台CrunchBase所推出的2018年AI市场报告指出，亚马逊、Google与微软等网路公司已经主宰了企业AI这个市场，三巨头分别推出的人工智能即服务（AI as a Service ），已经让机器学习的新创难以独立生存。企业AI需要资料中心级的大规模投资，提升每单位电力所能换来的计算量，用更小的空间就能带来更多的计算，这是云端服务商所追求的市场，也给了Google等科技巨头除了GPU与CPU之外，开发专为资料中心进行深度学习加速晶片的好理由。

在Google以TPU这类特殊应用逻辑晶片（ASIC）提高人工智能应用训练能力的同时，云服务业者也期望将推论应用门槛降低，让推论能力渗透到更多终端应用，如此也可以回过头来进一步拉高训练需求。这也是为什么除了云端服务巨头们如Facebook、苹果，甚至中国的百度、阿里巴巴都纷纷宣布要发展自己的AI晶片，连鸿海董事长郭台铭都喊出：「半导体我们自己一定会做。」

无论是训练或推论，深度学习所推起的人工智能应用需求，无疑推动了许多公司评估各种晶片解决方案的可能性。「这将是百家争鸣的盛会，是计算机架构与封装技术的复兴，我们将在接下来1年看到比过去10年更多、更有趣的计算机。」计算架构权威、加州大学柏克莱校区的荣誉教授大卫·帕特森（David Patterson）非常乐观看待近来兴起的运算晶片热潮。陈良基也非常期待，***若能开发应用在各类智能终端装置上的关键技术与元件晶片，将可以使具有半导体制造、设计，并能够整合终端装置制造供应链的我们，再次居于世界领先地位。

AI小辞典

深度神经网络模仿生物神经网络结构所设计用以模拟学习的数学模型，因不同设计的复杂结构，可相叠达数百层，而被称为深度神经网络。

深度学习应用各种深度神经网络所进行的机器学习，被认为是目前人工智能在商业应用进展的重要研究领域。