用于边缘设备的深度学习AI处理器Hailo-8 DL

Hailo-8 DL 是一种专用的深度学习处理器，可为智能设备提供数据中心级计算机的性能。

似乎并不是很久以前人们对“云”到底是什么感到困惑。然后我们思考云是不是一个好主意，现在，我们大多数人都认为云的概念是理所当然的。

当然，云计算有很多好处，包括减少或消除企业购买昂贵设备以及构建和运营自己的数据中心的要求。还有一个事实是，云允许我们将大量资源投入到海量数据中，其处理的计算密集度令人难以置信。不幸的是，在延迟、可靠性（如果您失去连接）、隐私和安全性等方面也存在缺点（另请参阅“ 21 世纪安全与隐私的结合”）。

另一个考虑因素是必须在（互联网）边缘收集大量原始数据并将其馈送到云中。在许多情况下，更有意义的是在边缘对数据进行预处理，以生成有用且可操作的信息，这些信息可以在边缘使用，也可以馈送到云中进行聚合、存储以及其他处理和分析。

由于所有这些，智能和分析正在以智能传感器和更复杂的系统的形式从云端迁移到边缘设备。

智能和分析正在迁移到边缘设备。

迁移到边缘的主要好处是更低的延迟、更低的功耗、更低的成本、更高的隐私（您的宝贵数据保留在本地）、更高的安全性（如果你做对了）和更高的可靠性（边缘设备即使在失去与“母船”的联系）。

像许多事情一样，如果你说话快速并热情地挥手，这一切听起来都很棒，但实际上将智能和分析迁移到边缘设备需要它们具有适当的处理能力。传统的微控制器解决方案根本不具备处理能力，而 FPGA 和图形处理单元 (GPU) 消耗过多的功率。

所需要的是从头开始构建的一类新设备，以将云智能带入嵌入式设备。许多公司正在努力从不同角度解决这个问题。Hailo是首批推出的公司之一，它的 Hailo-8 DL处理器用于边缘设备。

 

Hailo-8 深度学习处理器（来源：Hailo.ai）

Hailo-8 DL 是一种专用的深度学习处理器，它赋予智能设备以数据中心级计算机的性能，以最小的功耗、尺寸和成本实时运行。

自包含（无需外部 DRAM）Hailo-8 DL 提供高性能（每秒 26 兆次运算，或 TOPS）、高效率（3 TOPS/W）、高灵活性（可通过全面的 SDK 完全编程），和替代部署方案（独立或协处理器模式）。

这可能是您观看此视频的好时机，该视频展示了使用 Hailo-8 DL 处理器进行分类的演示。

一方面，上面显示的分类任务非常令人兴奋；另一方面，它仅使用业界常见的 224 x 224 分辨率（尽管 Halio-8 DL 确实表现出高性能）。只是为了提高[赌注，看看这个检测视频- 与其他需要降低分辨率以满足实时要求的解决方案不同，Hailo-8 DL 无需降低分辨率即可使用全高清分辨率。使用更高的分辨率可以从更远的地方检测到相同的对象。

我发现所有这些非常有趣的一个方面是结构定义的数据流架构的概念。我们从使用类似 Google 的 TensorFlow 描述的神经网络架构开始，它会自动逐层映射到 Hailo 处理器的控制（绿色）、内存（橙色）和计算（蓝色）资源，如下图所示：

上面的插图当然是一个粗略的简化，但它可以传达整体的想法。Hailo 全面的 SDK 拥有从训练模型到部署的全栈解决方案，具有自动数值转换和准确的分析功能。

另一个让我吃惊的是，Hailo 公司成立于 2017 年，但从成立到拥有功能齐全的芯片仅用了两年时间，目前正在向第一批客户部署。

该部署的一部分包括 Hailo-8 快速通道计划，该计划具有适用于 Hailo-8 设备的开发人员套件：

 

Hailo-8 评估板（来源：Hailo.ai）

此开发人员套件可供选定的客户使用，包括上面显示的评估板、SDK 许可证、行业标准的神经网络示例、现场培训和支持。借助该套件，客户将能够开发、制作原型并评估基于 Hailo-8 DL 处理器的产品的性能。

就个人而言，我认为我们已准备好进入一个勇敢的新世界，在这个世界中，我们被智能设备所包围，其目标是让我们的生活不那么令人沮丧，更充实（我尽量不去纠缠于人工智能世界末日的可能性）。你呢？你对未来可能会发生什么感到兴奋或害怕？