0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

玩嗨OpenHarmony:基于OpenHarmony的道路维护方案

共熵服务中心 来源:未知 2022-11-02 21:20 次阅读
原文引自电子发烧友论坛 HarmonyOS技术社区 《【OpenHarmony成长计划挑战赛】基于Openharmony的道路维护方案》

a0c77abc-5aad-11ed-a3b6-dac502259ad0.png

1. 功能描述

本设计方案致力于解决目标:建设包容、安全、有抵御灾害能力和可持续的城市和人类住区中的交通问题,在此提出一种基于OpenHarmony实现道路维护的方案,通过深度学习的方式对道路的裂缝进行实时检测,增加道路的可持续使用性。

由于传统的道路裂缝检测精度和距离有限,大部分仍需要人工检测,而人工裂缝检测的过程又十分的繁琐,检测的实时性与高效性普遍较低。本方案基于海思HI3516DV300图像化处理方法,并部署深度学习模型,对道路裂缝进行检测。

话不多说,我们先上图上视频检测电路正视图:

a0f3ddb4-5aad-11ed-a3b6-dac502259ad0.png

视频展示:2. 方案基线2.1 工程版本:
  • 系统版本/API版本:OpenHarmony 3.X小型系统
  • IDE版本:DeEco Device Tool Release 3.0.0.401
2.2 硬件基础:Hi3516DV300开发套件2.3 学习模型:本方案第一阶段在hi3516dv300主控芯片部署了两种深度学习模型。3. 检测网考虑到HI3516DV300的NNIE(编者注:是Neural Network Inference Engine 神经网络计算引擎的英文缩写)支持的检测网,在检测网的选择上使用了以 darknet 为框架的YOLO v2模型。3.1 下载地址:https://github.com/pjreddie/darknet3.2 训练指令:
./darknet detector train hand.data cfg/resnet18.cfg
3.3YOLO v2受到faster rcnn的启发,引入了anchor。同时使用了K-Means方法,对anchor数量进行了讨论,在精度和速度之间做出折中。并且修改了网络结构,去掉了全连接层,改成了全卷积结构。在训练时引入了世界树结构,将检测和分类问题做成了一个统一的框架,并且提出了一种层次性联合训练方法。3.4检测训练数据本次检测网选择了2000张带有道路裂缝的图像进行标注,在搭建好的服务器进行30200次迭代,直至模型收敛。

a112df34-5aad-11ed-a3b6-dac502259ad0.jpg

3.5resnet18.cfg配置framework > darkness-master > cfg > resnet18.cfg部分配置如下:
# subdivisions=1


# Testing
batch=48
subdivisions=8
height-384
width=640
channels=3
momentum=0.9
decay=0.0005
angle=0
saturation = 1.5
exposure = 1.5
hue=0.1
learning rate=0.01
burn in=10000
max batches = 300200
policy=steps
steps=100000, 200000, 250001
scales=.1,.1,.1
3.6模型训练IOU值接近0.98 class值接近0.99999 Obj值在0.003以下。

a14062ec-5aad-11ed-a3b6-dac502259ad0.jpg

3.7权重推理在服务器进行权重的推理:

a14fe294-5aad-11ed-a3b6-dac502259ad0.jpg

4. 分类网分类网选择resnet18。4.1分类训练数据分类网的训练数据集分为11000左右的道路裂缝图片,10000左右的无裂缝图片,在服务器上迭代300次,直至模型收敛。Creak_Image部分:

a112df34-5aad-11ed-a3b6-dac502259ad0.jpg

NoCreak_Image部分:

a169b2f0-5aad-11ed-a3b6-dac502259ad0.jpg

4.2训练模型

a177f11c-5aad-11ed-a3b6-dac502259ad0.jpg

5. 环境搭建5.1模型转换对pytorch训练得到的模型权重首先将转换为caffe模型。5.1.1 检测网得到的权重转换检测网得到的权重转换为caffe模型需要在caffe环境下并安装torch环境
代码地址:https://github.com/ChenYingpeng/darknet2caffe
转换命令:python darknet2caffe.py resnet18.cfg resnet18_new_final.weights resnet18.prototxt resnet18.caffemodel
5.1.2 分类网得到的权重转换分类网得到的权重转换为caffe模型需要在caffe环境下并需要依赖torch和torchvison
代码地址:https://codeload.github.com/xxradon/PytorchToCaffe/zip/refs/heads/master
转换命令:python example/resnet_pytorch_2_caffe.py
5.2 开发环境

本次采用windows+ubuntu混合开发,具体操作流程可参考HarmonyOS Device社区:

https://device.harmonyos.com/cn/docs/documentation/guide/ide-install-windows-ubuntu-0000001194073744

5.3模型量化得到的caffe模型后使用Ruyistudio工具对.prototxt进行量化,并在此之前修改prototxt文件进行适配使得NNIE(编者注:是Neural Network Inference Engine 神经网络计算引擎的英文缩写)能够支持网络结构,最终生成WK文件。5.4板端适配将得到的WK文件在OpenHarmony中基于SDK sampled的网络进行修改,适配 ,配置依赖 ,编译(在此之前OpenHarmony小型系统的主干代码已经整体编译通过),最终生成可执行文件,并挂在到HI3516DV300板端。5.5加载文件

检测网生成的WK文件在OpenHarmony中编译后得到可执行文件,并挂载板端,启动开发板应用驱动,加载可执行文件

驱动命令 :insmod hi_mipi_tx.ko
加载文件 :./ohos_yolov2_creak_demo 1
分类网生成的WK文件在OpenHarmony中编译后得到可执行文件,并挂载板端,启动开发板应用驱动,加载可执行文件
驱动命令:insmod hi_mipi_tx.ko
加载文件:./ohos_cnn_creak_demo 0
6. 实验效果

6.1 检测效果:

a1a62e9c-5aad-11ed-a3b6-dac502259ad0.jpg

6.2 Creak分类效果:

Creak分类效果高达100%

a1b40fb2-5aad-11ed-a3b6-dac502259ad0.jpg

6.3 NoCreak分类效果:

NoCreak分类效果高达97%

a1c2c48a-5aad-11ed-a3b6-dac502259ad0.jpg

写在最后我们最近正带着大家玩嗨OpenHarmony。如果你有好玩的东东,欢迎投稿,让我们一起嗨起来!有点子,有想法,有Demo,立刻联系我们:合作邮箱:zzliang@atomsource.org
a1ce90d0-5aad-11ed-a3b6-dac502259ad0.gif

a1d47824-5aad-11ed-a3b6-dac502259ad0.png

a1de9ebc-5aad-11ed-a3b6-dac502259ad0.pnga20ed0b4-5aad-11ed-a3b6-dac502259ad0.pnga23c7b22-5aad-11ed-a3b6-dac502259ad0.png

a2488980-5aad-11ed-a3b6-dac502259ad0.png

a25f9300-5aad-11ed-a3b6-dac502259ad0.png

a27cb07a-5aad-11ed-a3b6-dac502259ad0.png

a287a714-5aad-11ed-a3b6-dac502259ad0.png

a2b06b68-5aad-11ed-a3b6-dac502259ad0.png

a2d1e45a-5aad-11ed-a3b6-dac502259ad0.png


原文标题:玩嗨OpenHarmony:基于OpenHarmony的道路维护方案

文章出处:【微信公众号:开源技术服务中心】欢迎添加关注!文章转载请注明出处。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • OpenHarmony
    +关注

    关注

    25

    文章

    3716

    浏览量

    16273

原文标题:玩嗨OpenHarmony:基于OpenHarmony的道路维护方案

文章出处:【微信号:开源技术服务中心,微信公众号:共熵服务中心】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    OpenHarmony:基于OpenHarmony的仿生四足狗开发分享

    原文引自51CTO 开源基础软件社区 《刘潇翔:基于OpenHarmony的仿生四足狗开发分享》 作者介绍 刘潇翔, 现就读于南方科技大学(Southern University
    的头像 发表于 10-31 21:50 3725次阅读

    OpenHarmony:基于OpenHarmony的智慧牧场方案 2/4 生物心率检测篇

    原文引自电子发烧友论坛 HarmonyOS技术社区 《基于OpenHarmony的智慧牧场》 前文回顾 《智慧牧场之生物姿态检测篇》 1. 背景知识 在智慧牧场解决方案中,实时检测牲畜的健康状况是非
    的头像 发表于 11-05 02:05 1822次阅读

    OpenHarmony:基于OpenHarmony的智慧牧场方案 3/4 生物运动轨迹跟踪篇

    原文引自电子发烧友论坛 HarmonyOS技术社区 《基于OpenHarmony的智慧牧场》 前文回顾 《智慧牧场之生物姿态检测篇》 《智慧牧场之生物心率检测篇》 1. 背景知识 1.1 牧场定位
    的头像 发表于 11-07 20:45 1199次阅读

    基于OpenHarmony【O了个H】 #OpenHarmony #HarmonyOS

    HarmonyOSOpenHarmony
    程皖Orz
    发布于 :2022年09月22日 10:15:45

    #OpenHarmony开源开发者成长计划解决方案学生挑战赛 基于openharmony道路维护方案

    HarmonyOSOpenHarmony
    airujing
    发布于 :2022年09月29日 15:45:09

    Openharmony成长计划挑战赛】基于openharmony道路维护方案

    【项目名称】:基于openharmony道路维护方案【负责人】 :艾如京方案实施流程【描述】:本方案
    发表于 09-28 20:56

    OpenHarmony生态论坛:基于OpenHarmony的轻量屏显方案

    OpenHarmony生态论坛:基于OpenHarmony的轻量屏显方案,可面向AIOT时代的多模态交互需求
    的头像 发表于 04-25 15:49 1080次阅读
    <b class='flag-5'>OpenHarmony</b>生态论坛:基于<b class='flag-5'>OpenHarmony</b>的轻量屏显<b class='flag-5'>方案</b>

    OpenHarmony:基于OpenHarmony的机械狗进阶版——听话的狗子

    原文引自CSDN社区 《[立创传智黑马程序员CSDN]训练营——仿生机械狗》 编者按 昨天的 《 OpenHarmony:基于OpenHarmony的仿生四足狗开发分享 》 ,大家
    的头像 发表于 11-01 21:25 1661次阅读

    OpenHarmony:基于OpenHarmony的智慧牧场方案 4/4 室内管理系统篇

    原文引自电子发烧友论坛 HarmonyOS技术社区 《基于OpenHarmony的智慧牧场》 前文回顾 《智慧牧场之生物姿态检测篇》 《智慧牧场之生物心率检测篇》 《生物运动轨迹跟踪篇》 1. 背景
    的头像 发表于 11-08 19:45 1416次阅读

    OpenHarmony:基于OpenHarmony的智慧农业环境监控系统

    原文引自电子发烧友论坛 HarmonyOS技术社区 《基于OpenHarmony的智慧农业环境监控系统》 1. 项目的背景 根据《2022年粮食及农业状况》报告显示,数字技术和人工智能机器人技术在
    的头像 发表于 11-10 20:25 2165次阅读

    OpenHarmony:基于OpenHarmony的智能保险柜

    51CTO 开源基础软件社区 润和OpenHarmony研究院 《智能保险柜》 1. 项目简介 智能保险柜实时监测保险柜中振动传感器,当有振动产生时及时向用户发出警报。在连接网络后,配合数字管家
    的头像 发表于 11-25 20:15 1085次阅读

    OpenHarmony:基于OpenHarmony的贪吃蛇小游戏

    51CTO 开源基础软件社区 #夏日挑战赛# 《 OpenHarmony基于JS实现的贪吃蛇 》 1. 项目简介 贪吃蛇是一款非常经典的小游戏,概念起源于1976年由美国一家街机游戏Blockade
    的头像 发表于 11-28 20:50 1255次阅读

    OpenHarmony:基于OpenHarmony的ArkUI翻页时钟

    原文引自:51CTO 开源基础软件社区 #夏日挑战赛# OpenHarmony - 《 ArkUI(TS)开发翻页时钟 》 1. 项目背景 翻页时钟(Flip Clock)是一种有趣的机电数字计时
    的头像 发表于 12-05 20:15 1391次阅读

    OpenHarmony:基于OpenHarmony的车机系统OHCar

    原文引自:51CTO 开源基础软件社区 #DAYU200体验官 【HelloKun】《 OpenHarmony车机系统OHCar 》 1. 项目背景 “软件定义汽车”,目前汽车的智能化主要体现在
    的头像 发表于 12-24 07:45 4308次阅读

    OpenHarmony版本发布计划

    OpenHarmony社区定期发布LTS/Release分支,并按照OpenHarmony生命周期管理策略提供维护和技术支持。
    的头像 发表于 05-19 12:35 844次阅读