使用TensorFlow Lite开发基于TPU的AI解决方案

如今，从个人设备到企业应用程序，人工智能已经无处不在，您随处可见。随着物联网的出现，对数据隐私、低功耗、低延迟和带宽限制的需求不断增长，越来越多地推动人工智能模型在边缘而不是云端运行。

在此开始时，谷歌推出了Edge TPU，也称为Coral TPU，这是其专门构建的ASIC，用于在边缘运行AI。它旨在提供出色的性能，同时占用最小的空间和功耗。

当我们训练 AI 模型时，我们最终会得到具有高存储要求和 GPU 处理能力的 AI 模型。我们无法在内存和处理占用空间不足的设备上执行它们。TensorFlow Lite 在这种情况下很有用。TensorFlow Lite 是一个开源深度学习框架，在边缘 TPU 上运行，允许在设备上进行推理和 AI 模型执行。另请注意，TensorFlow Lite仅用于在边缘执行推理，而不是用于训练模型。为了训练AI模型，我们必须使用TensorFlow。

结合边缘TPU和TensorFlow Lite

当我们谈论在边缘 TPU 上部署 AI 模型时，我们无法部署任何 AI 模型。

Edge TPU 支持 NN（神经网络）操作和设计，以低功耗实现高速神经网络性能。除了特定的网络，它只支持边缘TPU的8位量化和编译的TensorFlow Lite模型。

为了快速总结，TensorFlow Lite是专为移动和嵌入式设备设计的TensorFlow的轻量级版本。它以较小的存储大小实现了低延迟结果。有一个TensorFlow Lite转换器，允许将基于TensorFlow的AI模型文件（。 pb）转换为TensorFlow Lite文件（.tflite）。下面是在边缘 TPU 上部署应用程序的标准工作流。

边缘 TPU 上的应用程序部署

让我们看一些有趣的实际应用程序，这些应用程序可以在边缘TPU上使用TensorFlow Lite构建。

人体检测和计数

该解决方案具有许多实际应用，尤其是在商场，零售，政府办公室，银行和企业中。人们可能想知道检测和计算人类可以做些什么。数据现在具有时间和金钱的价值。让我们看看如何使用人类检测和计数的见解。

估计客流量：对于零售业来说，这很重要，因为它可以了解他们的商店是否经营良好。他们的展示是否吸引了顾客进入商店。它还帮助他们了解是否需要增加或减少支持人员。对于其他组织，它们有助于为人们采取足够的安全措施。

人群分析和队列管理：对于政府机关和企业来说，通过人工检测和计数进行队列管理有助于他们管理更长的队列并节省人们的时间。研究队列可以归因于个人和组织的绩效。人群检测可以帮助分析紧急情况、安全事件等的人群警报，并采取适当的措施。此类解决方案在边缘部署时可提供最佳结果，因为可以接近实时地采取所需的操作。

基于年龄和性别的定向广告。

该解决方案主要在零售和广告行业具有实际应用。想象一下，你走向展示女鞋广告的广告显示屏，然后广告突然变成了男鞋广告，因为它确定你是男性。有针对性的广告可以帮助零售商和制造商更好地定位他们的产品，并建立正常人在忙碌的生活中永远看不到的品牌知名度。

这不能仅限于广告，年龄和性别检测还可以通过管理零售店的适当支持人员、人们喜欢访问您的商店、企业的年龄和性别等来帮助企业快速做出决定。如果你非常迅速地确定和行动，所有这些都会更加强大和有效。因此，更重要的是，在Edge TPU上拥有此解决方案的原因。

人脸识别

第一个人脸识别系统建于1970年，迄今为止仍在开发中，变得更加强大和有效。在边缘进行人脸识别的主要优点是实时识别。另一个优点是在边缘进行人脸加密和特征提取，只需将加密和提取的数据发送到云端进行匹配，从而保护人脸图像的 PII 级隐私（因为您不会将人脸图像保存在边缘和云上）并遵守严格的隐私法。

Edge TPU与TensorFlow Lite框架相结合，开启了多个边缘AI应用机会。由于该框架是开源的，开源软件（OSS）社区也支持它，使其在机器学习用例中更加受欢迎。TensorFlow Lite的整体平台增强了嵌入式和物联网设备边缘应用程序的增长环境。

审核编辑：郭婷