在同一边缘设备上运行多个应用程序

智能空间是最丰富的边缘人工智能用例之一。从智能零售店到自主工厂，企业很快就能看到这项创新技术的价值。然而，构建和扩展智能空间需要许多不同的技术，包括多种应用。在边缘位置操作多个应用程序可能很复杂。

为此，组织可能会向某个位置添加新硬件，以便每个应用程序都有专用的计算资源，但与购买和安装每个新应用程序的新硬件相关的成本可能会很高。许多组织在同一设备上部署多个应用程序。

虽然这是一种规模解决方案，但它可能会带来不同的挑战。

许多组织依靠 GPU 的性能来支持边缘应用程序。即使使用高性能 GPU 加速系统，使用时间切片在同一设备上同时运行两个或多个 AI 应用程序也不可避免地会导致更高的延迟，而硬件优化最少。

当多个应用程序在同一设备上运行时，设备将应用程序时间切片到队列中，以便应用程序按顺序运行，而不是并发运行。当设备从一个应用程序的处理数据切换到另一个应用程序时，结果总是有延迟。每个部署的延迟量不同，但可能高达 8 毫秒。这可能会严重影响为高速操作提供动力的应用，例如制造生产线。

由于应用程序是按顺序运行的， GPU 仅在每个应用程序运行时根据需要使用。例如，如果有三个应用程序在 GPU 上顺序运行，并且每个应用程序需要 60% 的 GPU 资源，那么在任何给定时间，使用的 GPU 都不到 60% 。在每次上下文切换期间， GPU 利用率将为 0% 。

有几种方法可以避免时间分割，更好地利用 GPU 资源。

NVIDIA 多实例 GPU

NVIDIA 多实例 GPU （ MIG ） 是一种功能，使您能够将 GPU 划分为多个实例，每个实例都有自己的计算核心，从而实现 GPU 的全部计算能力。 MIG 通过隔离应用程序并为每个应用程序分配资源，缓解了应用程序争夺资源的问题。 MIG 还允许更好的资源优化和低延迟。

通过提供多达七个不同的分区，您可以支持从最小到最大的每个工作负载，并提供有效操作每个已部署应用程序所需的确切计算能力。

除了性能之外， MIG 还为每个实例的计算、内存和缓存分配了一组硬件资源，从而增加了安全性和弹性。 MIG 为工作负载提供故障隔离，其中一个实例中运行的应用程序引起的故障不会影响其他实例上运行的应用程序。如果一个工作负载失败，所有其他工作负载将继续不间断地运行，因为实例和工作负载并行运行，同时保持独立和隔离。

MIG 同样适用于容器或虚拟机（ VM ）。当使用虚拟机时，使用 NVIDIA vGPU 可以很容易地虚拟化 GPU ，可以将其配置为使用时间切片或 MIG 。

MIG 用于边缘 AI

在部署边缘人工智能时，优化成本、功率和空间都是重要的考虑因素，特别是如果您想要复制到数千个边缘节点。通过允许组织在同一 GPU 上运行多个应用程序， MIG 消除了为每个工作负载安装专用 GPU 的需要，显著降低了资源需求。

除了资源优化之外， MIG 还有助于确保可预测的应用程序性能。如果没有 MIG ，在同一 GPU 上运行的不同作业（如不同的 AI 推断请求）会争夺相同的资源，如内存和带宽。由于时间切片中固有的资源竞争，一个应用程序的性能可能会受到另一个应用程序中活动的影响。对于边缘人工智能环境，不可预测的性能可能会产生严重后果。

例如，监控生产线以检测产品缺陷的计算机视觉应用程序必须能够即时对其动态环境作出反应。它必须能够快速检查产品，并且在出现缺陷产品的情况下，能够与其他机器通信以停止生产线。为了安全和效率，组织必须知道，为其生产线供电的人工智能应用程序一直在正确且可预测地运行。

使用不同资源同时运行的作业具有可预测的性能、服务质量和最大 GPU 利用率，使 MIG 成为每个边缘部署的重要补充。

图 1 。每个 MIG 实例可以处理一个独立的工作负载，优化需要同时操作多个用例的环境

MIG on NVIDIA Fleet Command

Fleet Command 是一种云服务，集中连接边缘位置的系统，从一个仪表板安全部署、管理和扩展人工智能应用程序。专门为边缘人工智能构建， Fleet Command 是跨数百甚至数千台设备编排人工智能的最佳方式。

通过 Fleet Command 云平台，管理员可以完全控制 MIG 进行边缘人工智能部署，只需最少的配置。在 Fleet Command 上使用 MIG 只需点击几下，您就可以跨数百甚至数千个设备做出资源利用率决策。您可以轻松地添加新的 MIG 分区，缩小现有分区，并创建自定义部署，所有这些都可以从一个仪表板上完成。

Fleet Command 和 MIG 的结合为组织提供了完全控制边缘人工智能部署所需的所有功能，从而提高了工作负载的利用率和效率。

关于作者

Troy Estes 是 NVIDIA Edge 和企业计算解决方案的产品营销经理。在加入 Edge & Enterprise 业务部门之前，特洛伊曾在自主汽车业务部门和 NVIDIA 电网产品集团从事营销活动和支持产品 GTM 。

审核编辑：郭婷