AI边缘推理计算机设计通过EdgeBoost节点变得简单

当计算系统根据经过训练的机器学习算法进行预测时，就会发生推理。虽然推理的概念并不新鲜，但在边缘执行这些高级操作的能力相对较新。

基于边缘的推理引擎背后的技术是嵌入式计算机。但显然，它远不止于此，具有增强的计算能力、大量存储和必要的 I/O 来实时处理大量数据。目标是在尽可能靠近生成数据的位置执行操作，从而在最短的时间内获得最准确的结果。该位置通常非常靠近传感器，外部数据被输入到系统中。一旦做出决策，它们通常会被发送回边缘执行，从而推动边缘的实时决策。

基于边缘的推理引擎的一个关键问题是其部署环境。例如，它是否必须设计为能够承受冲击和振动？它会产生极高或极低的温度吗？它能否在性能加速之间提供适当的平衡？对这些问题中的每一个的回答可能会导致不同的设计，或者至少是不同的设计方式。

一些供应商为环境问题保留了全套内部测试设备。这将包括热调节的模拟，当然还有冲击和振动。在大多数应用中，专为“坚固耐用和热应用”而设计的系统意味着它可以在 -40°C 至 +70°C 的温度范围内运行，并且可以承受高达 20 G 的冲击和 3 Grms 的振动。

增强人工智能

通用嵌入式计算机和旨在处理推理算法的计算机之间存在明显的区别。首先，推理引擎需要最高的计算性能。任何设计人员都可以将高端 X86 处理器从现成中取出并集成到系统中，甚至是包含数据中心平台功能的系统。然而，在硬件和软件方面，人工智能系统需要深厚的专业知识和经验，才能设计出具有最大吞吐量的系统。Premio的专家以其强大的硬件工程和工业级计算机平台的设计符合这一要求。

Premio提出了一种称为边缘加速节点的模块化技术，可以最大限度地提高边缘的系统性能。硬件节点以物理方式连接到平台的下部，并为需要数据采集以获得实时洞察的边缘级工作负载提供硬件加速。这种两件式模块化设计有助于保持平台的坚固性，同时通过创新罐式模块和 GPU 中的非易失性存储器 （NVMe） 固态磁盘驱动器 （SSD） 提供性能加速，以实现并行计算性能。每个边缘加速节点都使用高转速主动冷却来确保这些组件的可靠性。

Premio提供了许多不同的边缘加速节点。例如，RCO-6000-CFL-2N2060S增加了一个热插拔的NVMe SSD容器，能够容纳多达两个15毫米U.2固态硬盘和一个PCIe GPU。第二种选择是RCO-6000-CFL-4NH，可增强存储能力，支持x2热插拔NVMe SSD罐，可容纳两个15毫米U.2 SSD，用于支持硬件和软件RAID的高容量NVMe存储。第三种选择是RCO-6000-CFL-8NS，专注于更多的高速NVMe存储，使系统集成商能够添加多达8个7毫米，2.5英寸。U.2 NVMe SSD，即将推出Premio的Edge Boost Node产品组合。

这种类型的拓扑非常重要，因为对于基于边缘的推理系统，存储与驻留在背板上的 I/O 分离，从而最大限度地提高性能。“秘诀”在于平衡可用的PCIe通道数量以提供最佳性能，Premio能够从其嵌入式和数据中心计算机架构设计组合中提取这种设计技术。

其他必须考虑的 I/O 包括 USB、COM 接口，甚至 5G。对于电路板供应商和 OEM 来说，处理高吞吐量 I/O 的一种好方法是通过模块化 I/O 子板来增加灵活性。通过这种方法，系统可以准确地提供所需的 I/O，并消除特定于应用程序的工作负载的不必要的 I/O 选择。

面向 ADAS 应用的 AI

当今一个流行的应用是ADAS或高级驾驶员辅助系统。这些复杂的系统基于有效的数据收集和共享为自动驾驶汽车应用提供动力，旨在为五级自动驾驶不断提供更智能的算法。

注意到这显然是基于边缘的应用，边缘加速节点设计团队确保纳入适当的加固功能和热调节。例如，系统操作员需要始终动态了解箱内的温度。在这里，可能的情况包括风扇。作为耗电组件，该风扇仅在必要时打开电源。

在Premio为其客户提供的软件开发工具包中，有一个应用程序可以让他们最大限度地利用这些风扇，确定它们应该何时打开，它们应该以什么速度运行等等。该软件还提供了一个安全阀，因为它可以将所有I/O读取操作从各种外设暂停回CPU。此操作也可以使用物理按钮和LED指示灯进行。

最大化电源效率

电源效率是基于边缘的推理引擎的重中之重。系统设计人员认识到需要将处理能力放置在更靠近物联网传感器的位置。直接的解决方案是添加各种性能加速器，通常以 GPU、NVMe 存储和 M.2 加速器的形式出现。此设计策略的权衡是，每个组件都是高功耗组件，需要解决功耗与性能预算问题。将这些任务隔离到边缘加速节点可增加处理能力并减少主机处理器上的负载，主机处理器在其坚固耐用的宽功率输入（从 9 V DC 到 48 V DC）中隔离。模块化边缘加速节点的一个独特功能是，它可以在可靠性至关重要的最苛刻边缘工作负载中为强大的性能加速模块（NVMe SSD、GPU 或 m.2 加速器）提供电源稳定性。

由于基于边缘的推理引擎会生成大量数据，因此存储是关键。边缘加速节点包括一个 6 Gbit/s SATA 接口，可以连接四个驱动器（两个内部驱动器和两个外部驱动器）。然而，集成 NVMe 驱动器是此应用的潜在游戏规则改变者。在这种特殊情况下，它通过最多四个 2.5 英寸、15 毫米驱动器和另一个选项在八个 2.5 英寸、7 毫米驱动器中进行处理。

虽然板载存储至关重要，但将数据与云协调的能力也至关重要。在此方案中，此过程通过标准千兆以太网或 10-Gbit/s 模块进行处理。WiFi或蜂窝LTE也是选项，具体取决于应用和环境。由于该设计提供灵活的I/O子板，用户甚至可以集成5G子板模块，以实现与5G部署的超低延迟连接。

安全性和下一代可升级性

虽然任何工业平台都必须包含适当的安全措施，但将系统性能推向边缘会使安全性变得更加重要。Premio 建立在公认的行业标准（如 TPM 2.0）之上，用于加密数据。然后是物理方面需要解决的问题——有人从字面上窃取了物理系统。为了解决这个问题，边缘加速节点上的 NVMe 驱动器位于锁和钥匙驱动器笼后面。

边缘加速节点的模块化使其本质上是可升级的。只需在模块可用时将其更换为更高性能的版本即可。虽然此功能可能会略微增加物料清单 （BOM），但它可以保护长期投资，因为可以保证系统具有更长的有效使用寿命。在软件方面，可以通过局域网在现场进行无线升级，并且由于内置的安全功能，可以放心地完成。随着行业转向云原生升级路径，这已成为升级的首选方法。只要系统保持“容器化”，安全问题就会得到解决和管理——无论是在系统的生命周期内，还是在不断变化的数字安全威胁环境中。

Premio认识到其本地化制造使公司在竞争中占得先机。所有组装均在其位于洛杉矶的工厂进行，无论订单规模如何。这消除了海外供应链的潜在负担，加快了上市时间并简化了部署，使客户能够非常快速地启动和运行企业规模和部署。

审核编辑：郭婷