边缘AI普及的关键是软件吗？

每个人都喜欢谈论边缘AI，但却不提AI与嵌入式世界之间长期存在的鸿沟。边缘AI设计人员陷入了无休止的“优化”循环中，他们不得不在硬件上调整神经网络模型并达到可接受的精度。他们急需工具来减负。这关系到边缘AI部署的规模。

Eta Compute的CEO Evan Petridis最近表示：“如今，边缘AI正处于‘这个令人不安的路口’。边缘AI横跨两个领域，机器学习（ML）和嵌入式。这两个截然不同的领域既没有相同的语言，也没有相同的设计理念。”

最明显的差距在于技术和产品开发的速度。ML的发展速度是普通硬件设计人员从未见过的。另一方面，嵌入式领域的芯片会随着时间的推移而不断演进，其产品开发速度要稳定得多、保守得多。

最令嵌入式社区感到不安的是，两个领域的专家对其设计和工程严谨性的看法大相径庭。

数据科学家开发的神经网络模型都是统计性的。Petridis说：“因此，当他们能让一个模型正确工作时，例如92%，他们就认为自己赢了。然而，在传统的嵌入式世界中，如果你犯了一个错误，你交付的东西在100%不能正常工作，你会遇到巨大的经济问题……运营问题是巨大的。”

Petridis说，结果就是“文化冲突、领域知识冲突和开发周期冲突”。他认为这种冲突可能会“极大地阻碍边缘AI产品的部署”。

Aptos

Eta Compute刚刚推出了一款名为Aptos的云端软件平台，这标志着该公司业务模式的又一次转折。Eta Compute于2015年作为一家AI芯片初创公司起步，然后在2020年底成为一家软件IP供应商。现在，它是一家SaaS平台公司。

Eta Compute的转型反映了仍处于萌芽期的边缘AI市场的磨合期阵痛，也反映了许多AI硬件初创公司在寻找最终创收点时的挣扎。

Eta Compute解释说：“Aptos是一个新的基于网络的平台，它带来了对嵌入式系统领域的理解，包括所选芯片的软件和芯片的AI能力和局限性。”该公司声称，其基于网络的工具链“可以简化边缘ML的模型开发、部署和管理的整个流程周期”。

Petridis总结道，“我们希望打造一款处于嵌入式和ML领域交汇点的工具。”

不过，Eta Compute并不是第一个开发旨在连接嵌入式和AI领域的工具的公司。Edge Impulse成立于2019年，声称其工具集“让嵌入式ML应用的构建、部署和扩展过程变得更简单、更快速”。

Edge Impulse更专注于“漏斗的顶部”，让硬件公司“轻松上手”，而Petridis则认为，Eta Compute的Aptos将满足系统设计人员深入挖掘和开发“值得生产的edge AI模型”的需求。

边缘AI市场的格局

这两家公司的工具的潜在市场似乎都很大，因为边缘AI是人人都在拼命抢夺和快速增长的细分市场。当然，AI加速器初创公司和AI推理SoC设计公司都寄希望于边缘技术，以便在嵌入式市场中占据有意义的份额，因为Nvidia还没有像在数据中心那样占据主导地位。

包括ST、Renesas和NXP在内的传统MCU公司也在努力将AI纳入其产品组合。

例如，Silicon Labs周二发布了一款名为Series 3的嵌入式IoT平台，内置AI/ML引擎。Silicon Labs的CTO Daniel Cooley说：“有了更多的内存和算力，我们的ML能力或矢量计算能力将比现在提高100倍。”

Silicon Labs在过去15年中对经典MCU已经进行了全面的“重新思考”，Cooley说，“这些MCU从一开始就连接在一起，它们将为ML带来更多的算力。”他预测，ML将“在嵌入式领域变得更加有趣……就像在数据中心、移动和汽车领域一样”。

尽管如此，边缘AI项目的实际投产率却低得令人沮丧。

Eta Compute自身在边缘AI市场的经验告诉该公司，尽管进行了大量实验、原型和PoC，但边缘AI产品根本没有得到批量部署。早在Petridis加入之前，这就是Eta Compute的大问题，尽管它拥有专为超低功耗AIoT应用而优化的异构多核SoC。

部署延迟不仅困扰着Eta Compute，也困扰着所有AI芯片公司。

拓展问题的根源

IDC将扩展问题归咎于“成本（即硬件加速器和计算资源）、缺乏熟练人员、缺乏ML操作工具和技术、缺乏足够的数据量和数据质量，以及信任和治理问题”等。

对于边缘AI开发人员来说，基本的扩展问题可归结为三个因素：需要手工制作AI模型以实现准确性、数据科学家和硬件设计人员之间的不断来回循环，以及边缘AI应用的碎片化性质。

虽然AI芯片公司通常都配备了自己的编译器，但在ML优化方面却面临着困难。为了保留功能，编译器通常会降低表示法，例如从C语言到汇编语言，或从行为RTL到结构RTL。

ML推理IP公司Quadric的CMO Steve Roddy解释说，但对于ML优化而言，编译器并不能完成这项工作，因为“你实际上是在删除东西”。“工具链实际上是在告诉数据科学家，嘿，你的行李中有很多多余的东西，你真的不需要了。”Roddy将这种窘境比作带着超重行李出现在机场，虽然预订的是廉价航空的机票。

Roddy说：“因为所有东西都必须装进随身行李，所以我打开你的行李，开始把你所有的衣服都扔出来。”

这实际上就是数据科学家建立一个极其复杂的神经网络模型时发生的情况。ML中的剪枝、稀疏性或量化任务“与标准编译器的工作截然不同”。

但是，从我的行李中取出衣服是谁的工作呢？

Roddy解释说，通常是嵌入式人员和数据科学家。有些公司有“数据工程师”或“ML工程师”，专门负责填补空白。

Petridis喜欢行李箱的比喻。

但他补充说，ML优化涉及的参数超出了体积缩小的范围，可能会重塑模型。“ML的多维性可能会把你的包变成一个极其奇怪的形状，甚至会像一个星形包。”

Petridis说，考虑一下特定的神经网络操作。“你可以在Arm内核上运行它，或者如果你有加速器和 NPU，这可能有助于将运行速度提高20倍或50倍。但这不如通用CPU灵活。”

Petridis说，鉴于硬件和软件性能存在诸多变数，优化变得“星罗棋布”。他指出，人们通常很难跟踪工艺优化中的所有变量。有“一小撮人，通常是芯片公司的人，他们通过研究特定的架构成长起来，并开发出了一套特定的启发式方法，让你知道如何绘制出东西”。这种优化方式可能对某个项目有效，但如果让AI芯片公司只追求特定的边缘AI项目，而不去扩展，那就会酿成大祸。

有了Aptos，Eta Compute就可以省去数据科学、神经网络模型和复杂映射方面的人工雕琢。Petrides解释说，它应用ML来发现芯片性能、剖析芯片并抽象硬件。

当他在2021年加入Eta Compute时，“我们围绕着构建正确的软件基础设施这一主张重塑了公司”，以支持边缘AI。Petrides解释说，Eta Compute不再是一家芯片公司，而是加强了ML工程，将60%的专家投入ML，三分之一的专家投入嵌入式系统。

赢得嵌入式工程师的信任

Eta Compute设计的Aptos将来回优化过程简化为一个步骤。

Petridis说：“我们通过对硬件进行抽象来实现这一点。我们让它足够准确，这样嵌入式工程师就可以相信它了。最后，Aptos提供了一个模型，例如，在一个特定的芯片上实现了90%的准确率，运行时间为17毫秒，耗电量为1.1毫焦。”Petridis强调说：“这不是估计、猜测或近似值。这是测量值。因此，如果你把这个模型集成到你的软件模型中，并在你的系统上运行，你将得到完全相同的结果。”

从本质上讲，Eta Compute声称Aptos可以从嵌入式AI系统目前使用的任何架构中提取最大容量。Petridis说：“这并不神奇，因为我们的方法是使用供应商的工具，深入到他们的编译器内部，因为编译器希望以某种方式分配任务。”

据Petridis称，刚推出的Aptos仍处于测试阶段，只有少数人参加了其早期访问计划。

ML和嵌入式社区之间的鸿沟既广又深。包括Eta Compute和Edge Impulse在内的越来越多的供应商认为，软件基础设施的不足阻碍了商业边缘AI产品潜在的爆炸性增长。






审核编辑：刘清