第二届大会回顾第2期 | 视觉大模型在OpenHarmony的端边侧应用

演讲嘉宾 | 张兆生

回顾整理 | 廖 涛

排版校对 | 李萍萍

嘉宾介绍

OS原生智能分论坛

张兆生，OpenHarmony项目群技术指导委员会委员、中软国际智能物联网军团产品与研发管理部总经理、北京理工大学外聘教师、中国矿业大学校外硕士研究生导师；北京理工大学“十四五”规划教材《OpenHarmony操作系统》作者，获中国电子信息行业联合会首届“优秀工程师”荣誉称号，OpenHarmony项目群机器人TSG项目发起人，OpenHarmony开发者手机项目发起人之一，主要从事计算机视觉、操作系统、智能物联网等领域的技术研究与产品开发工作。

正文内容

随着智能化的快速发展，大模型在端侧以及边缘侧的部署成为必然趋势。OpenHarmony作为万物互联时代的技术底座，可以广泛应用于多种算力场景。以OpenHarmony为根基融合大模型能力，在行业物联网领域有哪些应用呢？OpenHarmony项目群技术指导委员会委员、中软国际有限公司智能物联网军团产品研发管理部总经理张兆生在第二届OpenHarmony技术大会上进行了精彩分享。

我国物联网产业生态丰富，建设需求旺盛。随着互联网技术的不断发展，物联网技术正逐渐成为未来智慧矿山、智慧城市、智能家居和工业4.0等领域的重要组成部分。目前，我国行业物联网建设普遍存在以下难题：

终端采集难：系统、协议不统一

互联互通难：烟囱式系统

接入风险高：终端安全能力弱

运维管理难：海量终端分布广

智能分析难：定制化开发严重

基于OpenHarmony分布式硬件资源共享、分布式软总线互联互通、分布式架构更稳定安全以及统一OS弹性部署等能力，构建端边一体的近场物联感知网络，可以有效应对上述难题。OpenHarmony近场物联感知网络能够进行现场组网、数据采集、多源异构、协同作业以及事件分析和决策，实现了网络接入简化（协议统一）、多源异构终端互联互通、网络安全（可靠低时延）、智能分析、精准高效，且支持多样化的现场工业化部署环境。

AI发展至今，经历了AI应用初步落地、AI需求碎片化以及AI算法精细化等过程。区别于AI应用初步落地的单一场景，如今各行各业对AI的需求呈指数级上升，所需算法数以十万计。在视觉领域，AI视觉需求也同样越来越细分，长尾算法的需求也越来越多。视觉系统对于理解和推理视觉场景的组成特性至关重要，视觉大模型对行业物联网建设也具有重要意义。视觉大模型与OpenHarmony能碰撞出什么火花？视觉大模型在OpenHarmony的端边侧又有哪些应用和实践呢？

在行业长尾场景（如水文监测管理、工程建设管理、水库治理、防洪排涝、水土流失监测以及灌区改造等），通过AI视觉大模型+小模型架构和云边端协同的工作模式实现AI落地。

云侧构建训练平台：基于云端视觉大模型以及边侧小模型构建训练平台，覆盖数据生产、模型设计与训练以及模型部署全流程：云端视觉大模型负责数据预训练，包括筛选有标注价值的数据、生成模型Stable Diffusion以及基于视觉大模型辅助标注等；边侧小模型则负责精调，包括搜索小模型结构、调参调优生成以及数据补充回到模型标注等。

边侧构建推理平台：基于OpenHarmony边侧设备构建推理平台，赋能OpenHarmony硬件，AI端边一体化快速转化生产力：提前识别硬件设备的算力等级，在此基础上，推理平台根据等级分布（L0~L4）分配任务创建、事件告警、算法设置、视频拉流、图片接入以及算法导入等工作。

端侧提供视觉数据集：端侧的摄像头、无人机、机器人等设备负责采集视觉数据，作为云边侧的输入。

在水利行业中，将海量的历史数据和视觉设备监测采集到的实时数据作为输入，经智能中枢系统（基于AI防汛模型和AI视觉模型构建）进行数据训练校正、感知、分析预判、决策以及协同控制后，能够大幅降低水灾害损失；在水库治理中，在边侧构建自动化AI模型推理+OpenHarmony的计算一体机，能够达到端侧视觉数据分析、智能识别、预案决策、感知告警、设备管理等目的，进一步推动水库治理智慧化创新进程。

未来，基于大模型构建OpenHarmony AI中枢，能够打破AI生产力瓶颈，实现算力虚拟化和模型共享，赋能智慧能源、智慧交通、智慧水利以及智慧城市等场景，给各行各业带来无限的创新想象空间。

「嘉宾材料暂不分享」

E N D

关注我们，获取更多精彩。

审核编辑 黄宇