将人工智能推向边缘的创新

AI 将允许开发人员实现更复杂的嵌入式系统行为，而新工具正在允许更多开发人员实现 AI。

作者：Richard Quinnell，AspenCore 全球总编辑

向某人询问人工智能 (AI) 的应用——无论如何是技术人员——最有可能提到的两个是亚马逊的 Alexa 和自动驾驶汽车。巧合的是，这两者也代表了实现人工智能的两种最常见的方法。Alexa 以云为中心，它的几乎所有处理都发生在远离客厅那个圆柱体的某个地方的大型计算机集群上。另一方面，自动驾驶汽车的所有处理都在车内的大量 CPU 中完成。但是第三种方法正在兴起，最近的创新提高了它的实用性。

第三种方法是在云中进行部分 AI 处理，而在使用点（即边缘）的设备中进行另一部分处理。此细分遵循 AI 实施的两个阶段性质：学习和推理。学习阶段，其中人工智能框架帮助开发神经网络的结构和权重，需要大量的计算资源，因此发生在云中。推理阶段，其中神经网络处理输入数据以做出决策和反应，可以用相当少的资源实现，因此可以在边缘进行。

这种拆分方法有几个好处。基于云的推理要求决策过程中使用的所有数据都必须通过网络传输。这不仅需要大量带宽，还会在决策和反应步骤中增加显着的延迟。将推理引擎放置在边缘可以减少这种延迟以及将原始数据传输到云的需要，从而缓解带宽问题。而且由于边缘设备不执行任何机器学习，它可以利用有限的资源——例如，使用微控制器而不是大型 CPU。这在使用时节省了成本和电力。

将 AI 应用程序的一部分处理放在边缘有助于节省带宽并减少延迟。（图片：快速逻辑）

然而，无论使用何种方法，在应用程序中实施人工智能都需要相当多的专业知识。例如，有许多 AI 框架可供选择，开发人员必须利用大量数据来训练系统。推理引擎必须具有足够的正确处理能力，以便在训练后执行 AI 算法。训练数据也需要经过深思熟虑，以避免训练 AI 做出错误的推断。例如，经过训练以区分照片中的汽车和坦克的人工智能在现场失败了，因为训练数据集使用了在阳光直射的露天拍摄的汽车照片和在模糊和光线不足的条件下拍摄的坦克照片。推理引擎训练基于照明差异而不是物体差异。

幸运的是，越来越多的创新工具和硬件进入市场，可以帮助开发人员应对所有这些挑战。最近的一个例子来自 QuickLogic。该公司上个月推出了带有 SensiML 数据分析工具包的Merced 硬件开发工具包(HDK)，供寻求将 AI 转移到边缘的开发人员使用。分析工具包可帮助非数据科学家或 AI 专家的开发人员自动选择 AI 框架、训练 AI 以及评估训练数据。HDK 帮助开发人员提升边缘设备的硬件设计，包括传感器和 AI 加速 IP 集成。

最近，该公司与 SiFive 合作创建Freedom Aware SoC 模板系列，以进一步加速定制边缘 AI 硬件设计。这些模板针对特定的边缘 AI 应用程序领域，包括物联网 (IoT)、始终在线的语音处理和预测性维护，提供预先测试的 IP 块和工具，以减少开发时间和第一块芯片的总成本。IP 块包括 CPU 内核、传感器接口、AI 加速器和电源管理。

随着越来越多的此类工具可用，开发人员将越来越多地发现自己采用了一种新的嵌入式系统控制设计方法。开发人员将创建一个 AI 加速处理器，该处理器运行通过机器学习开发的推理算法，而不是传统的处理器运行代码来实现人为定义的算法。如果做得好，人工智能推理引擎将能够处理过于复杂的任务，无法通过传统的编码方法实现经济高效且可靠的实施。现在出现的创新工具将有助于让 AI 新手更容易正确地做这件事。

本文是 AspenCore Media 深入研究边缘 AI 应用的一部分，超越了吸引大量媒体的语音和视觉系统。如需进一步了解人工智能在语音和视觉之外的硬件、实现和影响，请查看特别项目中的其他文章：

人工智能会进入测试行业吗？— 人工智能和机器学习正在逐步进入半导体测试领域，但尚未进入功能系统测试领域，至少目前还没有。

人工智能如何改变边缘计算的未来——虽然将人工智能与边缘计算相结合是有意义的，但硬件和软件组件需要解决几个挑战，包括功耗、处理能力、数据存储和安全性。

硬件帮助将 AI 迁移到边缘——将 AI 迁移到边缘需要什么类型的处理能力？供应商提出了一系列答案。

人工智能使数据存储更有效地进行分析——将数据转化为智能需要分析。正如这个概念验证演示所示，在存储控制器中实施的 AI 可以大大加快分析速度。

连接性仍然是人工智能、机器学习工作负载主流化的核心——一场让人工智能结果相关、可靠和随时可用的竞赛。只有那些在最好的机器/深度学习基础设施上训练过的人工智能模型，来自最大的数据集，才能生存下来。

审核编辑 黄昊宇