0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

超星未来NE100开箱体验,15分钟部署目标检测模型

超星未来 来源:超星未来 2023-09-27 17:14 次阅读

「NE100」是超星未来基于自研计算芯片「惊蛰R1」和全流程开发工具链「鲁班」打造的智能计算平台开发套件,包括完备的推理环境。其中鲁班工具链以 docker 形式提供,完整包括剪枝、量化、编译工具以及相应实例。NE100 配套完整,开箱即用,无需繁琐的安装过程。

下面以目标检测模型 YOLOv5 为例,展示部署过程。

注:开发环境为Linux 系统的 PC 或服务器,神经网络需要导出为 ONNX 格式文件。

可通过标准命令加载工具链 docker 文件:

gunzip -c nova_development_kit.tar.gz | sudo docker load

参考用户手册中示例脚本启动容器,进入开发环境。

基于原始模型导出 ONNX 文件时,请确保网络已经处于推理模式,并且计算图的输入节点为首个 CONV 算子的输入(格式[1,C,H,W]),输出节点为最后一个(组)CONV 算子的输出,详细信息请参考用户手册。

#1模型量化与编译

1个API,5行代码,轻松完成

量化工具以 ONNX 文件和部分图片为输入,将神经网络从 FP32 量化为 INT8 精度,目前支持 PTQ 与 QAT 功能。仅需在代码中将量化和编译工具导入并通过 API 调用,即可对 ONNX 模型完成量化和编译,分别只需要1个 API 和5行代码。详细的 API 说明请参考用户手册。

1. 导入量化工具

from nquantizer import run_quantizer

2. 调用量化工具

quant_model = run_quantizer( 
    onnx_model,
    dataloader=val_loader,
    num_batches=200,
    output_dir=work_dir + "/quantizer_output",
    input_vars=input_vars,
) 

3. 导入编译工具

from ncompiler import run_compiler

4. 调用编译工具

run_compiler(
    input_dir=work_dir + "/quantizer_output",
    output_dir=work_dir + "/compiler_output",
    enable_simulator=True,
    enable_profiler=True,
)

编译后 compiler_output 目录中的 npu.param(模型结构描述文件)和 npu.bin(模型权重文件)是 NE100 部署时所需要的文件。

75dc86de-5d14-11ee-939d-92fbcf53809c.png

#2模型部署

接口简洁,功能丰富,快速调用NPU

为了实现 惊蛰R1 芯片多核 NPU 的简单高效推理与应用开发,超星未来基于 NCNN 推理框架增量开发运行时,并提供高性能加速库,满足异构推理的端到端优化需求。

运行时特别设计了 npumat, npunet 和 npuextractor 等组件,功能如下:

npumat:提供NPU使用的数据排布格式HWC,提高数据存储读取性能

npunet:提供模型不变信息的基础数据结构,支持核心绑定、优先级调度、数据导出、性能监测等功能

npuextractor:提供NPU推理所需的set_input, get_output, get_time、extract等基本功能

YOLOv5 推理中前后处理部分与主流平台上的代码一致,应用迁移时仅需更换 NPU 的推理代码,包括:

1. 初始化帧数据结构

75ea151a-5d14-11ee-939d-92fbcf53809c.png

2. 加载网络结构描述文件与网络权重文件,并且配置核心绑定、数据导出及性能监测等功能

7605d4e4-5d14-11ee-939d-92fbcf53809c.png

3. 基于加载的模型文件和前处理后的帧数据进行推理,提取结果用于后处理

762af58a-5d14-11ee-939d-92fbcf53809c.jpg

#3模型推理

架构高效,能耗出色,助力AI应用落地

推理代码经过编译后运行,即可得到如下推理结果:

76374f88-5d14-11ee-939d-92fbcf53809c.jpg

得益于超星未来自研平湖架构的高效设计,YOLOv5 等主流网络的算力利用率均超过 70%,同时芯片整体功耗可控制在 8W 左右,有效支持各类边缘端 AI 应用部署。


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4749

    浏览量

    100434
  • 模型
    +关注

    关注

    1

    文章

    3121

    浏览量

    48663
  • 目标检测
    +关注

    关注

    0

    文章

    201

    浏览量

    15578

原文标题:超星未来 NE100 开箱体验,15分钟部署目标检测模型

文章出处:【微信号:NOVAUTO,微信公众号:超星未来】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    15分钟自制手机电池?

    15分钟自制手机电池? 手机电池“即做即用”?原是无证经营店搞的“噱头”。
    发表于 04-02 10:52 3653次阅读

    【小e物联网试用体验】+ 超清开箱体

    ` 本帖最后由 真喜洋洋 于 2016-5-31 21:12 编辑 【小e物联网试用体验】+ 超清开箱体验很早就收到了小e的开发板,但是早段时间生病,一直来不及开箱体验,今天偶感舒适,上些高清五码图。。`
    发表于 05-17 10:30

    【NanoPi NEO试用体验】开箱体

    `开箱体验这是一篇延时了很久的报告,为什么捏,因为我是新手~原来报告在手机上发不了`
    发表于 10-31 02:10

    【VEML6040环境颜色检测试用体验】一、开箱体验,惊喜有余

    `【VEML6040环境颜色检测试用体验】一、开箱体验,惊喜有余正常收到VEML6040环境颜色检测开发板,立即开箱体验。预先看资料开发板应该不大,但大包装盒着实实在。拆开后可见企业对
    发表于 03-27 15:11

    15分钟充满快充移动电源---未来的潜力有多大?

    `深圳市思齐新能源有限公司目前已经成功开发两款快充移动电源6000毫安时 10000毫安时充电15分钟充满使用循环寿命是普通锂电池5倍以上支持TYPC接口 想了解未来市场潜力?谢谢`
    发表于 06-16 12:16

    目标检测模型和Objectness的基础知识

    在本文中,我们将讨论目标检测模型和Objectness的基础知识。
    发表于 02-04 07:05

    在Arm虚拟硬件上部署PP-PicoDet模型

    1、在Arm虚拟硬件上部署PP-PicoDet模型  经典的深度学习工程是从确认任务目标开始的,我们首先来简单地介绍一下目标检测任务以及本期
    发表于 09-16 14:42

    在Arm虚拟硬件上部署PP-PicoDet模型的设计方案

    1、在Arm虚拟硬件上部署PP-PicoDet模型  经典的深度学习工程是从确认任务目标开始的,我们首先来简单地介绍一下目标检测任务以及本期
    发表于 09-23 15:02

    高通公布新型快速充电技术,15分钟内将4500mAh电池充满100%

    高通公司昨天宣布了一种新的快速充电技术,称为快速充电5(QC 5)。高通公司声称,新标准将在5分钟内将4500mAh电池的电量从0%提升到50%,在15分钟内达到100%。
    发表于 07-28 10:21 1101次阅读

    目标检测模型和Objectness的知识

    在本文中,我们将讨论目标检测模型和Objectness的基础知识。
    的头像 发表于 02-12 17:00 1097次阅读

    如何在移动设备上训练和部署自定义目标检测模型

    上,目标检测模型的训练和部署的过程: 设备端 ML 学习路径:关于如何在移动设备上,训练和部署自定义目标
    的头像 发表于 08-16 17:09 3445次阅读

    YOLOX目标检测模型的推理部署

    旷视科技开源了内部目标检测模型-YOLOX,性能与速度全面超越YOLOv5早期版本!
    的头像 发表于 04-16 23:00 2943次阅读

    如何使用TensorRT框架部署ONNX模型

    模型部署作为算法模型落地的最后一步,在人工智能产业化过程中是非常关键的步骤,而目标检测作为计算机视觉三大基础任务之一,众多的业务功能都要在
    的头像 发表于 10-31 14:27 3223次阅读

    AI爱克斯开发板上使用OpenVINO加速YOLOv8目标检测模型

    《在AI爱克斯开发板上用OpenVINO加速YOLOv8模型》介绍了在AI爱克斯开发板上使用OpenVINO 开发套件部署并测评YOLOv8的分类模型,本文将介绍在AI爱克斯开发板
    的头像 发表于 05-26 11:03 1163次阅读
    AI爱克斯开发板上使用OpenVINO加速YOLOv8<b class='flag-5'>目标</b><b class='flag-5'>检测</b><b class='flag-5'>模型</b>

    本周九家企业获新融资,超星未来与纵慧芯光领先

    目前,超星未来已打造出两款AI推理引擎“平湖”和“高峡”,并推出了边缘侧AI计算芯片“惊蛰R1”,智能计算开发套件“NE100”以及边缘计算模组“NM10”。
    的头像 发表于 05-13 14:25 513次阅读