电子发烧友网>电子资料下载>电子资料>使用 FPGA 快速路径构建高性能、高能效的边缘 AI 应用

使用 FPGA 快速路径构建高性能、高能效的边缘 AI 应用

2512857 2022-11-24 | pdf | 439.27KB | 次下载 | 免费

资料介绍

希望在边缘推理处理器上实施人工智能 (AI) 算法的设计人员一直面临着降低功耗和缩短开发时间的压力，即使处理需求在增加。现场可编程门阵列 (FPGA) 为实现边缘 AI 所需的神经网络 (NN) 推理引擎提供了一种特别有效的速度和功率效率组合。然而，对于不熟悉 FPGA 的开发人员来说，传统的 FPGA 开发方法可能看起来很复杂，常常导致开发人员转向不太理想的解决方案。希望在边缘推理处理器上实施人工智能 (AI) 算法的设计人员一直面临着降低功耗和缩短开发时间的压力，即使处理需求在增加。现场可编程门阵列 (FPGA) 为实现边缘 AI 所需的神经网络 (NN) 推理引擎提供了一种特别有效的速度和功率效率组合。然而，对于不熟悉 FPGA 的开发人员来说，传统的 FPGA 开发方法可能看起来很复杂，常常导致开发人员转向不太理想的解决方案。本文介绍了本文介绍了Microchip TechnologyMicrochip Technology的一种更简单的方法，它让开发人员绕过传统的 FPGA 开发，使用 FPGA 和软件开发工具包 (SDK) 创建经过训练的神经网络，或者使用基于 FPGA 的视频工具包立即进入智能嵌入式视觉应用程序开发。的一种更简单的方法，它让开发人员绕过传统的 FPGA 开发，使用 FPGA 和软件开发工具包 (SDK) 创建经过训练的神经网络，或者使用基于 FPGA 的视频工具包立即进入智能嵌入式视觉应用程序开发。为什么要在边缘使用 AI？为什么要在边缘使用 AI？边缘计算为工业自动化、安全系统、智能家居等不同领域的物联网 (IoT) 应用程序带来了许多好处。在以工厂车间为目标的工业物联网 (IIoT) 应用程序中，边缘计算可以通过消除基于云的应用程序的往返延迟来显着缩短过程控制循环中的响应时间。同样，基于边缘的安全系统或智能家居门锁即使在与云的连接意外或有意断开时也能继续发挥作用。在许多情况下，在任何这些应用程序中使用边缘计算都可以通过减少产品对云资源的依赖来帮助降低总体运营成本。而不是随着对其产品的需求增加而面临对额外昂贵的云资源的意外需求，边缘计算为工业自动化、安全系统、智能家居等不同领域的物联网 (IoT) 应用程序带来了许多好处。在以工厂车间为目标的工业物联网 (IIoT) 应用程序中，边缘计算可以通过消除基于云的应用程序的往返延迟来显着缩短过程控制循环中的响应时间。同样，基于边缘的安全系统或智能家居门锁即使在与云的连接意外或有意断开时也能继续发挥作用。在许多情况下，在任何这些应用程序中使用边缘计算都可以通过减少产品对云资源的依赖来帮助降低总体运营成本。而不是随着对其产品的需求增加而面临对额外昂贵的云资源的意外需求，对机器学习 (ML) 推理模型的快速接受和不断增长的需求极大地放大了边缘计算的重要性。对于开发人员而言，推理模型的本地处理有助于减少基于云的推理所需的响应延迟和云资源成本。对于用户而言，使用本地推理模型可以增加他们的产品将继续运行的信心，尽管互联网连接偶尔会中断或产品供应商的基于云的产品发生变化。此外，对安全和隐私的担忧会进一步推动对本地处理和推理的需求，以限制通过公共互联网传输到云端的敏感信息量。对机器学习 (ML) 推理模型的快速接受和不断增长的需求极大地放大了边缘计算的重要性。对于开发人员而言，推理模型的本地处理有助于减少基于云的推理所需的响应延迟和云资源成本。对于用户而言，使用本地推理模型可以增加他们的产品将继续运行的信心，尽管互联网连接偶尔会中断或产品供应商的基于云的产品发生变化。此外，对安全和隐私的担忧会进一步推动对本地处理和推理的需求，以限制通过公共互联网传输到云端的敏感信息量。开发用于基于视觉的对象检测的神经网络推理模型是一个从模型训练开始的多步骤过程，通常使用公开可用的标记图像或自定义标记图像在 ML 框架（例如 TensorFlow）上执行。由于处理需求，模型训练通常使用云端或其他高性能计算平台中的图形处理单元 (GPU) 执行。训练完成后，模型将转换为能够在边缘或雾计算资源上运行的推理模型，并将推理结果作为一组对象类别概率提供（图 1）。开发用于基于视觉的对象检测的神经网络推理模型是一个从模型训练开始的多步骤过程，通常使用公开可用的标记图像或自定义标记图像在 ML 框架（例如 TensorFlow）上执行。由于处理需求，模型训练通常使用云端或其他高性能计算平台中的图形处理单元 (GPU) 执行。训练完成后，模型将转换为能够在边缘或雾计算资源上运行的推理模型，并将推理结果作为一组对象类别概率提供（图 1）。图 1：为边缘 AI 实施推理模型位于需要使用可用或自定义训练数据在框架上训练和优化神经网络的多步骤过程的最后。（图片来源：微芯科技）图 1：为边缘 AI 实施推理模型位于需要使用可用或自定义训练数据在框架上训练和优化神经网络的多步骤过程的最后。（图片来源：微芯科技）