让我们来谈谈边缘智能

当出现新的行业流行语或短语时，像我们这样写这个话题的人们所面临的挑战是弄清楚一家公司的确切含义，尤其是当该公司使用该短语满足其自身的营销目标时。最新的一种是边缘人工智能或边缘AI。

由于物联网（IoT）的激增以及能够添加相当数量的计算能力或处理能力以在这些设备中实现智能的能力，因此“边缘”可能相当宽泛，并且可能意味着“网关”到“端点”。因此，我们决定确定业界在边缘与端点的定义上是否达成共识，谁愿意添加边缘AI，以及可以为边缘添加多少“智能”。

首先，边缘和端点之间有什么区别？好吧，这取决于您的观点-云中没有的任何事物都可以定义为边缘。

---

定义：边缘可以是很多东西，端点实际上是端点

沃尔夫冈·弗特纳

最清晰的定义可能来自英飞凌技术公司概念和系统工程的高级负责人沃尔夫冈·富特纳（Wolfgang Furtner）。他说：““边缘AI”一词从“边缘”本身继承了模糊性。有些人将汽车称为边缘设备，而其他人则将该术语用于具有低功率无线连接的小型能量收集传感器。边缘以相对方式使用，并且将局部性与中心性区分开。但是确实，有必要区分您在边缘发现的各种事物。有时您会听到诸如使用“边缘”或“叶节点”之类的术语。Edge AI可以包括很多东西，包括汽车中的计算服务器。”

但是他说的关键是，“端点AI驻留在网络的虚拟世界与现实世界相撞的位置，传感器和执行器都在附近。”

恩智浦半导体公司机器学习技术总监Markus Levy说，这全都与语义有关，在哪里划定了界限。边缘机器学习（ML）与“端点”机器相同，除了边缘机器学习还可以包括发生在网关甚至是雾计算环境中的机器学习。端点ML通常与分布式系统有关，例如，我们的客户甚至在传感器级别上都在增加智能。另一个例子是家庭自动化系统，其中有“卫星”设备（例如恒温器，门铃摄像头，安全摄像头或其他类型的连接设备），尽管它们可以独立执行机器学习功能，但它们也可能会馈入进行更高级ML处理的网关。”

克里斯·贝吉

从Arm的角度来看，其基础设施业务总经理兼副总裁Chris Bergey的说法略有不同，他评论了边缘服务器和端点中智能水平的提高。他说：“诸如网桥和交换机之类的基本设备已被功能强大的边缘服务器所取代，这些边缘服务器将数据中心级的硬件添加到端点和云之间的网关中。那些进入5G基站的功能强大的新型边缘服务器足够强大，可以执行复杂的AI处理-不仅包括ML推理，而且还包括培训。”

这与端点AI有何不同？Bergey评论说：“由于其强大的内部硬件，智能手机长期以来一直是端点AI的沃土测试平台。随着物联网与AI的进步和5G的推出相交，更多的设备上智能意味着更小的，对成本敏感的设备可以变得更智能，功能更强大，同时由于对云或互联网的依赖程度降低而受益于更大的隐私和可靠性。随着向端点提供更多智能的这种发展持续不断，确切地发生智能的地方的边界也将开始从端点到边缘融合在一起，从而强调了对异构计算基础架构的需求。”

对于其他人来说，优势就是云中没有的一切。例如，Edge AI and Vision Alliance的创始人Jeff Bier说：“我们将Edge AI定义为在数据中心外部全部或部分实现的任何AI。情报可能就在传感器旁边，例如在智能相机中，或者在更远的地方（例如杂货店的设备间），甚至在更远的地方（例如在蜂窝基站中）。或这些的某种组合或变化。”

尼克·尼

Xilinx采取了类似的立场。该公司负责AI，软件和生态系统的产品营销总监Nick Ni表示：“ Edge AI基本上是一种自给自足的智能，可在现场部署，而无需依赖数据中心。对于需要实时响应，安全性（例如，不向数据中心发送机密数据）和低功耗（这是大多数设备）的应用程序而言，这是至关重要的。就像人类不再依赖数据中心每天做出无数的决定一样，在未来几年中，边缘人工智能将在半自动汽车和智能零售系统等应用程序中占据市场主导地位。”

Imagination Technologies的人工智能高级总监Andrew Grant重申了这一点。“就我们而言，这都是边缘。客户决定它的去向。我们将看到非常多的混合方法，在这种情况下，云和数据中心也绝对有作用。”他补充说：“市场[走向边缘]的速度惊人。边缘已经出现了一波运动，但是对于许多应用来说，硅的实现需要时间。Grant解释说：“我们正在与一家中国的流量管理公司进行交流，该公司正在从云中来回移动数据。当我向他们解释我们的工作时，如果交通信号灯本身可以确定汽车是否在行驶，他们便立即看到不必将数据存储到云端的好处。”

吉迪恩·内特

嵌入式系统提供商Adesto Technologies的CTO Gideon Intrater表示，它们不一定区分边缘和端点，因为该公司提供用于IoT边缘服务器的设备以及IoT边缘设备。“虽然我们不倾向于在自己的通信中使用'端点'一词，但也许'端点'在定义上与边缘设备保持一致。这些设备中的AI通常是某种程度的本地推断，通过专用的加速器，通过近内存处理或内存计算，算法可以作为程序在处理器上运行。”

他补充说：“几乎所有应用程序中的边缘AI都已成为现实。我们看到了工业和建筑实施中的巨大机会，其中AI可以通过预测性和预防性维护，制造中的质量控制以及许多其他领域来提供收益。该行业才刚刚起步，并且每天过去，我们都希望AI为我们做更多的事情。当我们的没有AI的旧设备无法直观地了解我们的需求时，我们常常会感到沮丧，因为我们还有其他可以提供直观功能的设备。最终用户不知道如何使AI解决方案有效。他们只是期望它能工作。”

现在是技术采用周期的早期-那么谁会想要呢？
因此，我们在定义上很清楚：要么坐在营地中说边缘就是所有不在云中的事物，要么与其他人清楚地将端点标识为物理世界与数字世界的交汇点，主要是传感器。但是特定的应用程序将确定可能需要添加智能的点，边缘和端点之间的界限越来越模糊，并且计算基础设施有些不同。

马库斯·利维（Markus Levy）

下一个问题是谁会想要它，对边缘AI的市场期望是什么？恩智浦的Levy解释说：“这是我们所有人仍要解决的问题。”“行业领导者积极参与实施；我不能说出名字，但是我们有大量的客户在边缘进行各种机器学习。但是，如果您看一下“技术采用周期”，我仍然相信该行业的大多数甚至还没有处于“早期采用者阶段”，而这实际上将在2020年中后期开始显现。

“客户仍在理解机器学习可能带来的很棒的事情。但我通常会提供一些指导：1）可以省钱吗？例如，通过使工厂装配线的运行速度更快或更有效，例如替换以前进行目视检查的员工人数；2）它可以赚钱吗？例如，通过向产品添加一个很酷的功能使其更有用。也许这是条形码扫描仪，通过使用机器学习，它可以消除包装中以前无法精确扫描的皱纹。”

英飞凌的Furtner表示，这实际上是一个问题，即“边缘AI的好处是什么？”他说：“实际上，关于边缘的好处是，我们可以将其在约束方面的“弱点”转变为优势。人们确实关心诸如易用性，功能，隐私，安全性，成本，气候或资源的可持续利用之类的事情。这些都是我们使用Edge AI可以实现的所有好处。我们坚信，在正确的地方使用AI可以改善我们的生活，并且端点中有很多AI的用例。Edge AI用于预测性维护和进一步的自动化或机器人技术，家庭自动化或智能农业，仅举几个例子。通过我们在低功耗，支持AI的传感器上的工作，我们使直观的传感变得更加普遍，从而刺激了家庭或城市中的新应用，使生活更轻松，更安全，更绿色。

他还说，edge-AI提供了一种以更节省资源的方式，从而以可持续的方式从物联网数据的爆炸式增长中获取价值的能力，这在气候变化时期至关重要。

杰夫·比尔

Jeff Bier表示，应用程序需求将在五个关键领域推动对边缘AI的需求：

• 带宽：即使使用5G，也可能没有足够的带宽将所有原始数据发送到云端。

• 延迟：许多应用程序需要比从云中获得更快的响应时间。

• 经济性：即使给定的应用程序可以在带宽和延迟方面从技术上使用云，在边缘执行AI可能更经济。

• 可靠性：即使给定的应用程序在带宽和延迟方面可以在技术上使用云，但与云的网络连接并不总是可靠的，并且无论是否具有此连接，应用程序都可能需要运行。在这种情况下，需要边缘AI。一个例子是面部识别门锁。如果网络连接断开，您仍然希望您的门锁能够正常工作。

• 隐私：即使给定的应用程序可以在带宽，延迟，可靠性和经济性方面在技术上使用云，也可能有许多应用程序出于隐私原因需要本地处理。一个例子是婴儿监视器或卧室监控摄像头。

边缘应该有多聪明？这取决于内存容量
这似乎是一个显而易见的问题，但现实是您需要务实，每个应用程序都不同。

Levy说：“智能通常不是限制因素，限制是存储容量。”“实际上，内存限制了可以部署的机器学习模型的大小，尤其是在MCU域中。为了更深入一点，例如基于视觉的应用程序的机器学习模型将需要更多的处理能力和更多的内存。同样，当需要实时响应时，处理能力更是一个因素。”

“我举一个例子，就是一个带有内置摄像头的微波炉来确定放入哪种食物-1或2秒的响应时间就足够了，从而可以使用NXP i.MX RT1050之类的东西。内存量将决定模型的大小，进而决定机器可以识别的食物类别的数量。但是，如果插入了无法识别的食物该怎么办？现在转到网关或云计算出它是什么，然后使用该信息来允许智能边缘设备重新训练。为了直接回答有关要包含多少“智能”的问题，所有这些都归结为性能，准确性，成本和能耗之间的权衡。除此之外，我们还在开发一个将自动编码器用于另一种形式的ML（异常检测）的应用程序。简而言之，

Furtner回应了务实的态度。“ Edge AI在能耗，空间和成本方面受到严重限制。在这种情况下，问题不是“我们应该在边缘上放多少智能”，而是“我们在边缘上能买多少智能？”接下来的问题将是“哪些已知的AI技术可以以足够“微小”的方式应用于边缘而被精简？因此，功耗肯定会限制端点智能的数量。这些端点通常由小型电池供电，甚至取决于能量收集。数据传输也消耗大量能量。”

他补充说：“让我们来一个智能传感器。为了使本地AI在这些情况下正常运行，必须针对其特定的属性和行为进行优化。此外，只有通过嵌入式AI才有可能实现某些新传感器。例如用于液体和气体的环境传感器。端点AI有很多原因。智能数据的使用和减少或快速的实时本地反应是显而易见的。数据隐私和安全性是其他。可以在生成原始数据的地方处理大量传感器原始数据，而大量的计算任务仍保留在云中。最低功耗神经计算的最新进展（例如，边缘TPU，神经形态技术）使边界变得偏向边缘和端点节点。”

安德鲁·格兰特

Imagination Technologies的Grant表示：“在我们看来，将尽可能多的智能置于边缘是很明显的，然后可以在设备的使用寿命内使用软件优化。”他将其比作游戏机行业，在该行业中，供应商发布了一个新的游戏机，但随后在整个硬件寿命内对其进行了软件更新进行了优化。他补充说，从成本或尺寸的角度来看，将神经网络加速器添加到片上系统（SoC）并不重要。“因此，加速边缘的机会确实是巨大的。”

Arm的Bergey说：“随着异构计算在整个基础架构中无处不在，至关重要的是，我们能够确定对数据进行处理最有意义的地方，并且这会因应用程序而异，甚至可能会根据一天中的时间而变化。市场需要能够将不同角色移交给AI的不同层的解决方案，以便获得那种推动真正业务转型的整体见解。在边缘，人工智能将扮演双重角色。在网络级别，它可以用于分析数据流以进行网络预测和网络功能管理-将数据智能地分发到当时最有意义的位置，无论是在云还是其他地方。”

Adesto的Intrater补充说：“在边缘放置多少“智能”的决定取决于特定的应用程序，以及它可以处理多少延迟（对于实时任务关键型应用程序而言不多），功率范围是多少。 （对于电池供电的设备来说很小），安全性和隐私问题，以及是否有互联网连接。即使有Internet连接，由于带宽消耗，您也不想将所有内容都发送到云中进行分析。跨边缘和云计算的明智之举在于平衡所有这些问题。”

他继续说：“您还可以在本地边缘服务器上进行AI，当然培训和分析通常在云中完成。通常，这并不是一个简单的决定AI发生位置的决定–“智能”通常是分布式的，其中一些发生在云中，而某些发生在边缘设备中。典型的AI系统在本地完成AI和远程完成AI之间有这样的分歧。Alexa / Siri是一个很好的例子，其中设备中存在用于语音/关键字识别的算法，然后从那里进行的交互在云中进行。”

有哪些支持技术？
“边缘AI有许多关键的使能技术。Edge AI和视觉联盟的Bier说：“也许最明显的是高性能，高能效，廉价的处理器，它们善于运行AI算法。”“但是还有很多其他的。其中最重要的一些是（1）软件工具，用于有效使用这些处理器，以及（2）云平台，以聚合来自边缘设备的元数据，并管理边缘设备的配置和维护。”

如您所料，我们与之交谈的大多数公司都为边缘AI提供了一系列设备和IP。英飞凌表示，它将为物联网提供传感器，执行器，包括NN（神经网络）加速器在内的微控制器以及硬件安全模块。“电源效率，安全性和安全性是我们关键能力的一部分。通过我们的产品组合，我们帮助将真实世界与数字世界联系起来，为边缘提供安全，强大和节能的AI解决方案。” Wolfgang Furtner说。

Xilinx的Nick Ni表示，将AI边缘产品推向市场并非易事，因为工程师需要将机器学习技术与传感器融合，计算机视觉和信号转换等传统算法融合在一起。“优化所有工作负载以满足端到端响应能力，需要自适应的域特定体系结构（DSA），该体系结构允许在硬件和软件中进行编程。Xilinx SoC，FPGA和ACAP提供了这样的适应性平台，可以在满足端到端产品要求的同时进行持续创新。”

恩智浦表示，其支持技术包括硬件和软件。Levy说：“有些客户使用我们的低端Kinetis或LPC MCU来实现某些智能功能。在我们的i.MX RT交叉处理器级别上，它的确开始变得越来越有趣，我们为集成的MCU提供了Cortex M7，其工作频率为600-1000MHz。我们的新型RT600包括M33和HiFi4 DSP，通过使用DSP在异构模式下运行以加速神经网络的各个组件，我们实现了中等性能的机器学习。最新的i.MX 8M Plus将4个A53与一个专用的神经处理单元（NPU）相结合，可提供2.25 TOPS和2个数量级的推理性能（运行功率低于3W）。高端NPU对于实时语音识别（即NLP），手势识别，

从软件角度来看，Levy表示，恩智浦提供了其eIQ机器学习软件开发环境，以支持从i.MX RT到i.MX 8应用处理器等的整个恩智浦产品组合中的开源ML技术。“借助eIQ，我们为客户提供了在自己选择的计算单元上部署ML的选项，包括CPU，GPU，DSP或NPU。您甚至还会看到运行语音应用程序（例如，DSP上的关键字检测，GPU或CPU上的人脸识别，NPU上的高性能视频应用程序）的语音应用程序的异构实现，或其任意组合。”

Arm的Bergey说：“随着我们迈向一万亿个IoT设备的世界，我们面临着前所未有的基础设施和架构挑战–因此，我们为应对这一巨大机遇而需要的技术也在不断发展。在Arm，我们的重点是提供高度可配置，可扩展的解决方案，以满足性能和功耗要求，以实现无处不在的AI。”

对于边缘的AI，Adesto提供了使能技术，包括具有AI加速器的ASIC，用于将权重存储在用于语音和图像识别的AI芯片中的NOR闪存以及将旧数据和新数据连接到云分析的智能边缘服务器，例如IBM Watson。和Microsoft Azure。

Adesto正在使用我们的RRAM技术探索内存中AI计算，其中单个存储单元既充当存储元素又充当计算资源。图片：Adesto）

Intrater补充说：“我们还在通过RRAM技术探索内存中AI计算，其中单个存储单元既充当存储元素，又充当计算资源。在这种范例中，深层神经网络（DNN）的矩阵成为NVM细胞的阵列，矩阵的权重成为NVM细胞的电导。点积运算是通过对将输入电压施加到RRAM单元上而产生的电流求和来完成的。由于无需在计算资源和内存之间移动权重，因此该模型可以实现电源效率和可伸缩性的无与伦比的组合。”

我们的观点
对我来说，边缘AI和端点AI之间有非常明显的区别。端点是物理世界与数字世界交互的点。但是定义边的方式非常有弹性。供应商的不同之处在于，将数据中心中不存在的所有内容都说成是边缘（包括网关，网络边缘，汽车），还是将端点定义为边缘的子集的供应商。

最终，该定义是不相关的。这取决于应用程序，以及实际上可以在端点或边缘放置多少智能。在内存可用性，性能需求，成本和能耗之间进行权衡。这将确定可以在边缘进行多少推理和分析，需要多少神经网络加速器，这是SoC的一部分，还是与CPU，GPU或DSP一起使用。这并不是要忘记使用内存计算和AI等技术来解决挑战的创新方法。

对此达成了广泛共识：您投入多少智能取决于应用程序，并且需要基于可用资源的务实方法。