开放智能:聚焦边缘端部署痛点,推出边缘AI推理框架Tengine

随着越来越多的物联网终端设备在各个行业加速部署，边缘计算的重要性日益凸显，AI算法也正在逐步从云端下沉到边缘节点中去运行。据IDC预计，到2025年，全球将有1500亿个终端设备接入网络，其中超过70%的数据将在网络边缘侧被结构化处理。

36氪近期接触到的OPEN AI LAB（开放智能）成立于2016年，专注边缘智能计算及应用，提供边缘AI推理框架Tengine和AI应用开发及部署平台OmniMaster等软件产品，并以此为基础，为行业客户提供完整软硬件解决方案，加速AI产业化部署。

聚焦边缘端部署痛点，推出边缘AI推理框架Tengine

由于边缘计算相较于过去单纯的云计算来说成本低、实时性好，大量边缘计算节点开始部署，边缘节点也在逐步实现智能化。但在推进过程中，AI算法模型从云端到边缘端的迁移部署环节过程繁杂，痛点具体表现为：

芯片及硬件多样性使得前端适配兼容问题凸显：由于对性能、接口、功耗、价格、可靠性、环境适应性等因素的要求千差万别，大量AI芯片及硬件开始涌现，特别是NPU及RISC-V架构的推进，生态日益碎片化，但目前缺乏合适的中间层和计算库及统一的平台和稳定接口，使得跨硬件向上兼容成为难点；

软件层面的训练框架多样性使得模型迁移效率问题显现：在把云端上训练好的AI算法模型迁移到算力有限的前端硬件过程中，算法开发人员需要做大量模型量化、优化甚至算子层面的调整工作，过程繁杂，更非其擅长的领域。

这些问题一方面使得芯片公司不仅需要在硬件层面提升算力，还需要向上延伸提供各种配套AI应用开发的SDK工具，帮助AI算法开发者有效利用芯片的算力，另一方面导致算法公司为了避免云端模型迁移到前端出现性能差、精度低的问题，需要花费大量成本投入到边缘侧底层的适配优化中去。

于是大量AI科技初创公司在寻找到算法应用场景后做全栈工程化，包含了底层芯片及硬件的选型甚至自研，数据采集、算法训练、优化、部署，甚至业务SaaS开发，从芯片到云，形成烟囱式的垂直化，这种模式兼容性差、开发成本高。

因此从行业整体上来看，问题就体现为产业链分工并不清晰。解决好这一行业痛点是实现AI在各行业规模应用的关键突破口。由此可见，边缘AI计算产业链亟需可将算法和芯片连接、开放兼容的中间件，以细化行业分工程度。

基于此，OPEN AI LAB自2017年开始设计开发边缘AI计算框架Tengine，并对Tengine进行了项目开源，其GitHub Star 已超过4300枚，目前也面向企业客户提供商业化的Tengine产品及服务。

目前Tengine向下兼容几乎所有主流国产智能芯片，向上支撑主流训练框架及网络模型。Tengine在产品架构上主要具有以下特点：

算力兼容：跨芯片统一API接口，解决应用程序在不同开发平台上切换底层硬件接口的问题，用户使用Tengine可同时调用CPU、NPU、GPU等不同计算单元来完成AI异构计算。

框架兼容：Tengine兼容支持TensorFlow、Caffe、MXNet 、PyTorch、ONNX等业内主流框架。实际开发过程中，Tengine会将其训练框架转换为适配底层的Tengine模型，降低不同训练框架在面对不同硬件及场景的迁移成本。

迁移加速：针对AIoT应用开发流程中的算法量化重训练及前处理、后处理等繁琐环节，Tengine配置了相应的图编译、图优化、模型量化、精度调优及算法库等一系列工具包，简化和加速AI算法从云端到嵌入式边缘设备的迁移过程。

OPEN AI LAB创始人兼CEO金勇斌向36氪表示，Tengine之于AIoT，犹如Android之于移动互联网。Tengine使得上层应用程序与底层硬件基于中间的开发平台实现适配兼容，从此，开发算法应用不需要再关心底层芯片，如同开发App可以不必关心APP将在哪款手机上运行。

OmniMaster：降低开发门槛，帮助企业实现AI算法的云端训练及边缘部署

AI算法边缘端部署痛点通过Tengine得以解决，但在算法模型在部署到前端之前，一方面先要在服务器端完成数据标注清洗、模型训练、针对边缘节点上的芯片做精度量化优化、性能评测等一系列流程后，再将算法向前端边缘设备部署。

另一方面，算法的训练数据通常分布在私有化业务场景中，终端企业客户希望保证数据的私密性和安全性，而终端企业客户又往往不具备相应的技术开发能力，所以AI算法应用推进较为缓慢，成本较高。

基于此，公司进一步推出了AI应用开发及部署平台OmniMaster，OmniMaster可作为自动化工具帮助客户实现场景确认、数据清洗标注、模型训练、量化优化、边缘部署等开发环节，帮助AI技术基础薄弱的企业快速实现AI场景应用，为企业节省开发成本，提高开发效率，方便企业将算法模型从云端部署至边缘端。

如此一来，企业的基于Tengine的边缘节点可像手机上安装、升级App一样不断后装第三方算法，算法运行后与OmniMaster联动基于现场数据迭代学习、持续提升精度。

举例来说，过去设备制造与方案商陆续将人脸、车牌等目标类别相对固定的算法固化到IPC（网络摄像机）或边缘盒子中，实现硬件与软件一体化。这种事先预置固化算法的方式很难实现算法的快速升级，而部署Tengine的边缘节点则可以更加灵活地配置、升级算法。

与芯片厂商、集成商等深度合作，加速业务在多行业落地

公司基于开放的边缘AI计算框架Tengine建立广泛的合作伙伴及开发者生态，以AI应用开发及部署平台OmniMaster帮助行业客户加速AI应用。

目前，已有近30家智能芯片厂商与OPEN AI LAB在Tengine上深度合作，包括紫光展锐、晶晨半导体、瑞芯微、全志科技、地平线、寒武纪、飞腾、龙芯、恒玄、赛昉科技、芯来科技、芯驰等等，实现在Arm， MIPS， RISC-V等各类CPU及NPU上对上层算法的兼容。计算机视觉上，Tengine支持Yolo等多种网络模型的各种版本，也与OpenCV社区形成战略合作关系。

商业模式方面，目前Tengine和OmniMaster主要以软件授权或订阅模式向芯片公司、集成商或终端客户收取服务费，交付内容基于客户需求可包含工具、源码及商业服务。

公司已经在交通、能源、农牧、制造、家居等多个行业领域形成完整解决方案。例如交通出行领域，车辆配备的DMS需要通过摄像头获取车内和车外的视觉数据，实时监控驾驶员和乘客的状态，并识别是否有闯红灯、压线等违章行为。为了实现智能化识别，让各类AI算法实时运行在低功耗AI算力有限的车载DMS（Driver Monitor System，驾驶员监控系统）盒子上，并实现跑得上（兼容性高）、跑得动（实时性好）、跑得准（精度损失小），某出行服务企业选用Tengine作为DMS的底层框架，兼容多种芯片，性能方面平均提升50%以上，部分硬件的能效比提升100%以上。

智能穿戴和家居领域，基于Tengine加速的本地命令字识别算法可在极小的微控制器（MCU）上运行，客户可以通过OmniMaster基于自身需求采集针对性的语音数据、自动化训练，一键下发，快速赋予MCU以差异化语音命令功能，部分智能家电品牌企业正基于此技术将本地语音命令应用在智能穿戴、智能家居、陪伴玩具等产品上。

业务落地方面，针对能源、农牧、制造等领域的头部客户，OPEN AI LAB通常与其系统集成商合作，为企业客户提供包括前端边缘智能化升级改造、Tengine和OmniMaster边、云联动的私有化部署解决方案，帮助企业在生产安全、质量监控等方面快速实现智能化，提高生产效率。例如在钢铁冶金行业，基于Tengine的边缘AI服务器实现对钢包的红外热成像检测、洁净度判断，和对天车挂钩进行监测以及对铸坯缺陷识别等。

此外，为了让未来的AI开发者通过使用Tengine/OmniMaster，学习、理解、掌握计算机视觉与语音识别技术的开发和应用创新，OPEN AI LAB还向教育行业推出了EAIP（Edge AI Innovation Platform），EAIP将行业真实案例引入教学，学生通过EAIP理解与掌握行业+AI应用实践。

谈及AI在各行业的应用，金勇斌表示，从2018年开始，他和团队跑过油田、下过钢厂、蹲过猪圈、飘过海洋，去过的现场越多，越觉得AI需要“接地气”，产业链必须要有更加清晰的分工，通过上下游分工协作来满足客户的多样性需求，而不是家家都要成为华为或Nvidia。

OPEN AI LAB聚焦边缘AI计算框架与AI应用开发与部署平台，将与上下游的芯片、算法、方案、系统集成与部署的伙伴一起构建良好的产业生态。

发展规划

OPEN AI LAB目前有100余人，70%以上为产品研发人员，公司创始人兼CEO金勇斌曾任Arm中国市场营销与生态发展副总裁，拥有近20年边缘计算软、硬件技术与产品研发、产品管理、市场营销、大客户销售、新业务拓展经验。团队核心成员来自Arm、Broadcom、华为、中兴等芯片与系统公司。

公司曾相继获得普华资本、耀图资本、红杉资本、晨山资本的投资。目前正致力于进一步加强开源生态建设，完善产品研发，拓展方案伙伴及行业落地。
责任编辑:tzh