边缘AI“金矿”：PC的智能和感知，Lattice sensAI有了新方案

电子发烧友网报道（文/黄晶晶）ABI研究数据表明，预计到2024年设备端的AI推理功能将覆盖近60%的设备。要实现边缘AI推理，FPGA具有自身的优势。为此，莱迪思Lattice已经发布了系列面向边缘计算的FPGA硬件和设计软件解决方案，针对边缘智能的莱迪思sensAI也更新到了4.1版本。最近，莱迪思半导体亚太区资深市场开拓经理林国松，就莱迪思最新的AI创新路线以及针对最新一代Lattice sensAI解决方案集合，包括如何轻松部署AI/ML应用及性能增强和新增的应用场景等进行了详细分享。

Lattice不断强化FPGA用于边缘AI的优势

由于网络边缘端对功耗的敏感度，以及对尺寸大小的严格要求，小封装和低功耗的FPGA是非常合适的选择，这也给了以低功耗著称的莱迪思以拓展边缘AI应用的巨大市场机会。据介绍，过去四年，莱迪思的总出货量达到10亿片以上，以出货量来看位列全球第一。

林国松表示，Lattice的网络边缘AI可以实现从一毫瓦到低于一瓦的低功耗范围，同时，我们有灵活的计算资源，FPGA可以做预处理、后处理、图像处理、滤波以及性能拓展等等。
此外，LatticeFPGA内嵌的安全功能区域，可以实现更安全的使用场景。

FPGA的硬件可编程最大的特点还是实现加速和机器算法。由于AI的算法灵活多变、推陈出新，专用芯片的成本、功耗是不太可承受的，因此FPGA相对来说更适合来实现AI的计算。FPGA可以配合AI技术随时为用户提供最佳体验。

从2012到2021年，AI分类模型创新的数量逐年递增。此次Lattice新推出的sensAI 4.1将增加支持CetusPro-NX器件。该器件具有更高的容量，计算能力和功效也得到提高。Lattice推出了相应的开发板，即声音和视觉机器学习板，提供支持这颗芯片的CNN Plus加速器，以及相应的sensAI Studio。

在此基础上，还提供三个参考设计，即人员侦测、注意力追踪和目标分类。同时，在智能家居、智慧城市、工厂、智能汽车等方面也可提供相对应的设计服务。



林国松解析，Lattice的一个训练设计方法是，通过标准的Caffe、TensorFlow、TensorFlowLite、Keras等常用训练网络训练完之后，再通过Lattice提供的神经网络编译器，编译成相对应的可执行指令，这些指令最终会由Lattice的芯片所调取使用。

在硬件优化的设计方案中，可以看到，将AI的设计方案通过Lattice Radiant和DIAMOND结合之后，产生FPGA比特流，然后再把训练后的模型录进来，这样产生一个类似于中央处理器的功能，而这里产生的量化的权重和指令更多指向于执行的代码，这两个结合之后，可以产生一个AI的体验项目。



在软件优化的设计方案中，Lattice专门提供了一个PROPEL软件，便于大家对于整个内部结果的控制，能够进行类似于C代码的控制，而不是使用比较难以上手的FPGA的开发代码，这样的代码便于初学者调用基本的指令进行控制。


最新推出的Lattice sensAI Studio，是为了解决训练环境的应用场景应用软件更新快，软件和软件之间的兼容性难题。Lattice提供的软件预安装到Container里，然后客户只需要把这个Container直接移植到他们的电脑上，就可以在这个Container上执行相对应的训练，这样就帮客户省去很多的精力和时间来配置电脑。

Lattice sensAI迎接下一代智能PC

PC是日间工作的最主要工具，下一代PC将聚焦在智能和感知，强大的协作能力和轻薄外形等方面。

LatticesensAI的智能和感知AI解决方案提供了用户检测、注意力追踪、旁观者检测及面部取景功能。通过注意力追踪可以延长电池寿命；旁观者检测可以模糊屏幕、保护用户隐私数据，而面部取景也是很多协作式会议所需的场景。



与使用CPU来驱动AI应用的设备相比，采用sensAI开发，并在莱迪思FPGA上运行的AI计算设备的电池使用时间延长了28%。sensAI还支持现场软件更新，从而保持AI算法的演进，还能让OEM厂商灵活选择不同的传感器和SoC技术来适配他们的设备。



与ASIC相比，CrossLink-NX在性能和效率上都更加强劲。



值得一提的是，LatticesensAI符合道德和合理的AI设计考量。使用Lattice sensAI可以不把图像传给电脑，直接在硬件上处理。在常规的方式下，人脸信息置于后台应用，用户图像信息有被侵害风险。而通过Lattice sensAI只会传出一个结果，而不会传输图像，因此能够防止用户的肖像权受到侵害。

此外，LatticesensAI设计使用多个公共数据集验证模型，在系统用户体验验证，覆盖典型的使用场景。同时LatticesensAI专注于用户体验，针对不同的复杂场景进行压力测试，包括灯光、场景及用户面部和头部穿戴的变化等，从而达到更佳的体验。

将Lattice的智能和感知解决方案应用于新一代的PC，需要OEM、芯片厂商、操作系统、软件厂商等生态合作伙伴的通力合作，Lattice也在大力推动这一进程。


小结：

Lattice的超低功耗iCE器件、ECP5器件、Certus和CrossLink-NX器件，包括CetusPro-NX器件，这四类FPGA器件都可以部署sensAI和提供sensAI所需的CNN引擎IP。据了解，除了PC这个典型场景外，Lattice也在积极构建全新的面向AI场景的汽车解决方案。