自适应加速是将人工智能从云端带到边缘的关键

　　新兴的人工智能应用将依赖于具有可配置加速的片上系统设备，以满足日益严格的性能和效率要求。

　　随着智能安全、机器人或自动驾驶等应用越来越依赖嵌入式人工智能 （AI） 来提高性能并提供新的用户体验，托管在传统计算平台上的推理引擎可能难以在功率限制越来越严格的情况下满足现实世界的需求，延迟和物理尺寸。它们受到严格定义的推理精度、总线宽度和内存的影响，无法轻松调整以优化最佳速度、效率和芯片面积。需要一个适应性强的计算平台来满足对嵌入式 AI 运行最先进的卷积神经网络 （CNN） 的需求。

　　展望未来，适应更先进的神经网络的灵活性是一个主要问题。今天流行的 CNN 正以更快的速度被新的最先进的架构所取代。然而，传统的 SoC 必须使用当前神经网络架构的知识进行设计，从开发开始之日起，目标通常是在未来大约三年内部署。新型神经网络（例如 RNN 或胶囊网络）可能会使传统的 SoC 效率低下，并且无法提供保持竞争力所需的性能。

　　如果嵌入式人工智能要满足最终用户的期望，并且——也许更重要的是——在可预见的未来随着需求的不断发展而跟上步伐，就需要一个更灵活、更具适应性的计算平台。这可以通过利用用户可配置的多核片上系统 （MPSoC） 设备来实现，该设备将主应用处理器与可扩展的可编程逻辑架构集成在一起，该架构包含可配置的内存架构和适用于可变精度推理的信号处理。

　　推理精度

　　在传统的 SoC 中，诸如内存结构和计算精度等性能定义特性是固定的。最小值通常为 8 位，由核心 CPU 定义，尽管任何给定算法的最佳精度可能较低。MPSoC 允许将可编程逻辑优化到晶体管级别，如果需要，可以自由地将推理精度更改为低至 1 位。这些设备还包含数千个可配置的 DSP 片，以有效地处理乘法累加 （MAC） 计算。

　　如此精确地优化推理精度的自由度会产生符合平方律的计算效率：在 1 位内核中执行的一位操作最终只需要在 8 位内核中完成相同操作所需的逻辑的 1/64位核心。此外，MPSoC 允许针对神经网络的每一层对推理精度进行不同的优化，从而以尽可能高的效率提供所需的性能。

　　内存架构

　　除了通过改变推理精度来提高计算效率外，配置可编程片上存储器的带宽和结构还可以进一步提高嵌入式 AI 的性能和效率。与运行相同推理引擎的传统计算平台相比，定制的 MPSoC 可以具有四倍以上的片上内存和六倍的内存接口带宽。内存的可配置性允许用户减少瓶颈并优化芯片资源的利用率。此外，典型的子系统只有有限的片上集成缓存，并且必须经常与片外存储交互，这增加了延迟和功耗。在 MPSoC 中，大多数内存交换都可以在芯片上进行，这不仅速度更快，而且可以节省 99% 以上的片外内存交互功耗。

　　硅片区

　　解决方案的大小也正成为一个越来越重要的考虑因素，尤其是对于车载无人机、机器人或自主/自动驾驶车辆的移动 AI。在 MPSoC 的 FPGA 架构中实现的推理引擎可以占用传统 SoC 芯片面积的八分之一，从而允许开发人员在更小的设备中构建更强大的引擎。

　　此外，MPSoC 器件系列可以为设计人员提供多种选择，以能够满足系统性能要求的最具功耗、成本和尺寸效率的选项来实施推理引擎。还有一些符合汽车标准的部件，其硬件功能安全特性根据行业标准 ISO 26262 ASIL-C 安全规范进行了认证，这对于自动驾驶应用非常重要。一个例子是赛灵思的汽车 XA Zynq UltraScale+ 系列，它包含基于 64 位四核 ARM Cortex-A53 和双核 ARM Cortex-R5 的处理系统以及可扩展的可编程逻辑结构，从而有机会整合控制处理、机器-学习算法，以及在单芯片中具有容错能力的安全电路。

　　如今，嵌入式推理引擎可以在单个 MPSoC 设备中实现，功耗低至 2 瓦，这对于移动机器人或自动驾驶等应用来说是一个合适的功率预算。即使是现在，传统的计算平台也无法在这些功率水平上运行实时 CNN 应用程序，并且不太可能在未来更具挑战性的功率限制下满足对更快响应和更复杂功能的日益严格的要求。基于可编程 MPSoC 的平台也可以在 15W 以上的功率水平下提供更高的计算性能、更高的效率和尺寸/重量优势。

　　这种可配置的、多并行计算架构的优势仅具有学术兴趣，开发人员无法在自己的项目中轻松应用它们。成功取决于合适的工具来帮助开发人员优化其目标推理引擎的实现。为满足这一需求，赛灵思继续扩展其开发工具和机器学习软件堆栈生态系统，并与专业合作伙伴合作，以简化和加速计算机视觉和视频监控等应用的实施。

　　未来的灵活性

　　利用 SoC 的可配置性为手头的应用程序创建最佳平台还为 AI 开发人员提供了灵活性，以跟上神经网络架构的快速发展。该行业迁移到新型神经网络的潜力对平台开发人员来说是一个重大风险。可重新配置的 MPSoC 使开发人员能够灵活地响应神经网络构建方式的变化，通过重新配置以使用任何当代最先进的策略构建最高效的处理引擎。

　　人工智能越来越多地嵌入到工业控制、医疗设备、安全系统、机器人和自动驾驶汽车等设备中。在 MPSoC 器件中利用可编程逻辑结构的自适应加速是提供保持竞争力所需的响应性和高级功能的关键

　　审核编辑：郭婷