0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Xilinx Kria K26系统模块器件制造业应用案例

贸泽电子 来源:贸泽电子 作者:贸泽电子 2021-11-17 15:34 次阅读

生产线已步入了快节奏时代,但要提高交付速度和客户满意度,势必需要在装运前检测制造或包装缺陷。然而,自动化检测设备需要在不降低生产线速度的情况下进行处理和做出决策。所以,我们需要借助于Xilinx Kria K26系统模块(SoM)等器件的帮助。Kria K26 SoM(见图1)允许开发人员利用可编程逻辑与高性能Arm处理器内核相结合的并行特性。Kria SoM的优势在于Xilinx首次为SoC(XCK26)提供了异构SoC和必要的支持基础设施,如4GB DDR4内存、16GB eMMC、512Mb QSPI、TPM安全模块以及必要的电源基础设施。

为便于与应用接口,此器件提供了可拆分成245个IO的两个240针连接器

Xilinx还提供了Kria KV260视觉AI入门套件,让开发人员能够快速开始设计。该套件为开发人员提供了拥有以下接口的SoM载卡:

3个MIPI接口

USB

HDMI

显示端口

1GB以太网

Pmod

此入门套件还随附了一系列应用示例,帮助用户了解开发基于视觉的人工智能应用是一件非常轻松的工作。Kria视觉AI入门套件非常适合需要快速图像处理的应用,例如检测标签是否已正确应用于生产线上的装运箱。

01

制造业应用案例

接下来让我们将详细地介绍Kria KV260视觉入门套件如何用于制造行业。创建此类应用并不一定需要可编程逻辑设计。然而,却需要进行软件开发,并具有使用Xilinx Vitis AI培训和编译新机器学习模型的能力。首先,我们需要安装和配置Vitis AI。

物料清单

Kria KV260视觉AI入门套件

02

创建虚拟机

我们需要本地Linux机器或运行受支持的Linux发行版的虚拟机来运行Vitis AI。在安装完成后,下载Ubuntu Linux磁盘映像,以便在虚拟机上安装Linux系统。此项目所使用的Ubuntu版本是Ubuntu-18.04.4 Desktop-amd64.iso,点击此处即可下载。现在可以开始构建虚拟机了。第一步,在VirtualBox Manager中单击New。这时将显示一个对话框,用于创建新的虚拟机(见图2)。输入虚拟机名称,并将类型和版本分别设置为Linux和64位Linux版本。此外,还可以设置与虚拟机共享的系统内存大小(见图3)。

单击Create按钮,将显示虚拟硬盘的设置。选择512GB,以允许动态分配物理存储空间。随着磁盘使用量的增加,虚拟硬盘大小将扩展到512GB。该项目将外部固态USB C驱动器用作虚拟硬盘,以确保有足够的可用空间。

配置好虚拟机后,接下来就要安装操作系统了。选中新创建的虚拟机,然后单击start按钮启动VM 9()。

在启动虚拟机时,会要求安装之前下载的Ubuntu ISO。

在虚拟硬盘上安装Ubuntu操作系统。选择安装Ubuntu。

在选择好Ubuntu的位置和配置选项后,进行键盘配置。

选择最小安装,因为我们不需要使用办公软件、媒体播放器或玩游戏。

在安装期间擦除磁盘并安装Ubuntu。

单击continue继续操作。

选择您所在的地理位置与时区。

最后,输入Ubuntu计算机名、用户名及密码。

安装完成后,重启虚拟机。

重启后,登录并开始安装Vitis AI。

03

安装Vitis和Vitis AI

对于运行Linux的虚拟机,接下来需要安装Vitis和Vitis AI。安装Vitis时,需要用到在下载时创建的Xilinx帐户。Vitis安装时间较长,所以我们会先安装它。打开Xilinx下载页面,选择Linux Self Extracting Web Installer。

下载web安装程序后,找到下载位置,选择应用程序,右键单击以更改权限,使其能够作为应用程序执行。

现在可以使用终端窗口来安装Vitis,所需时间取决于虚拟机和internet连接性能。通过以下sudo命令来安装此工具。

sudo 。/Xilinx_Unified_2020.2_1118_1232_Lin64.bin

7aec6a98-4756-11ec-b939-dac502259ad0.png

图17:运行安装程序此时将启动Vitis Installer(见图18)。

登录您的帐户。

选择Vitis作为目标应用程序,同时还会安装Vivado。

为了节省安装空间,应取消选择除SoC以外的所有设备。

接受安装条件和条款。

选择安装目录,建议使用默认位置。

在Installation Summary中,选择Install并等待安装完毕。

安装完成后,需要运行以下脚本以安装所有相关项:

sudo 《install_dir》/Vitis/《release》/scripts/installLibs.sh

接下来,安装Vitis AI。在本例中,我们将安装Vitis AI以从CPU而不是GPU运行,因而会影响训练性能。首先要安装docker,请按照此处的说明进行操作。注意,可能需要在安装完成后重启虚拟机。

接下来,请使用以下命令安装Git:sudo apt update sudo apt install git选择/创建Vitis-AI的安装目录。使用以下命令克隆Vitis-AI:git clone https://github.com/Xilinx/Vitis-AI.git一旦克隆好Vitis-AI存储库,请将其改为存储目录,并提取docker映像。cd Vitis-AI docker pull xilinx/vitis-ai:latest从docker下载最新的Vitis-AI映像将需要几分钟的时间。在提取docker映像之后,我们需要构建交叉编译系统。可以通过运行Vitis-AI/setup/mpsoc/VART中的脚本来完成此操作(见图25)。cd Vitis-AI/setup/mpsoc/VART 。/host_cross_compiler_setup_2020.2.sh

运行脚本后,请确保运行指定的命令以启用交叉编译环境。我们可以通过编译一个演示程序来测试是否正确安装了Vitis AI。在本例中,我们采用的是demo/VART/Resnet50目录下提供的resnet50应用程序。请使用以下命令编译应用程序:

Bash -x build.sh

如果您在终端窗口中没有看到错误,并且可执行文件出现在目录中,则说明Vitis AI安装成功(见图26):

现在,我们需要开发数据集,以显示正确和错误黏贴的标签。

04

创建数据集

为了训练神经网络,我们首先需要一组正确和错误图像的数据集。我们以几个正确和错误地黏贴了贸泽标签的箱子为例。为了获得多样化的图像,我们从多个角度拍摄了正确和错误黏贴标签的箱子(见图27和28)。

这些图像被整理成两个目录——一个是正确的标签,另一个是错误的标签。对于捕获到的图像,我们需要训练一个神经网络。在本例中,我们将使用Edge Impulse。请注意,您需要为Edge Impulse创建一个免费的帐户。在Edge Impulse端,首先要创建一个新项目(见图29)。

新项目创建后,可以上传标记为正确和错误的图像文件夹。首先选择正确目录中的所有文件并进行上传,标记为Label_Correct。随后,上传错误的图像并将其标记为Label_Incorrect。

所有图像都上传完成后,接下来就要定义Impulse。选择宽度和高度均为224像素的输入图像。选择图像,输入Transfer Learning,然后保存Impulse。

然后,我们可以通过生成特征和训练Impulse来训练模型。

选择模型MobileNetV2 160x160 1.0,等效模型位于Xilinx Model Zoo下(见图33)。

可能需要几分钟的时间来训练模型。训练完成后,返回概览页面,选择下载迁移学习模型。这将包括保存的模型和.zip文件中的变量(检查点)。

05

量化并编译模型

接下来使用Vitis AI对模型进行量化和编译。在虚拟机中,我们可以通过发出以下命令来运行Vitis AI。

。/docker_runs.sh Xilinx/vitis-ai-cpu:latest

加载Vitis AI后,使用以下命令激活TensorFlow

conda activate vitis-ai-tensorflow图36:激活Vitis AI TensorFlow

接下来,冻结将检查点的信息合并到冻结模型文件的模型。

一旦模型作为冻结模型输出,我们就可以使用编译器编译输出模型,以部署到系统中。

我们可以从Xilinx Model Zoo中包含的YAML文件中了解输出节点的信息。

要检查冻结的网表,则需要安装Netron。此外,理解量化过程的输入和输出节点名称也很重要。

80ce48aa-4756-11ec-b939-dac502259ad0.jpg

有了量化网表,我们可以将量化网表编译为部署在Kria SoM上的模型(见图40)。

借助于SCP/FTP,我们可以将编译后的模型上载到以下目录中的Kria文件系统:

/usr/share/vitis_ai_library/models/

上传好模型后,可以生成一个软件应用程序,用于测试神经网络。这时,我们可以将几个正确和错误的图像上载到Kria SoM,来测试应用程序(见图41和42)。

结语

该项目展示了对于工业AI/ML应用,在Kria SoM中训练和部署神经网络是一件非常简单的事情,其应用潜力也是无限的。未来可能需要更新软件以利用gstreamer框架,并像在生产线上一样对实时图像进行分类。
责任编辑:haq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 连接器
    +关注

    关注

    98

    文章

    14159

    浏览量

    135843
  • 人工智能
    +关注

    关注

    1789

    文章

    46563

    浏览量

    236887

原文标题:借助于Kria SoM部署边缘人工智能

文章出处:【微信号:贸泽电子,微信公众号:贸泽电子】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    计算机通信设备制造业、仪器仪表制造业等先进制造业发展向好

    据国家税务总局13日公布的增值税发票数据显示,2024年前三季度经济运行亮点很多,比如先进制造业发展向好。在今年的前三季度,全国工业企业销售收入同比增长3.6%。其中,装备制造业增长5.3%,计算机通信设备制造业增长13.5%、
    的头像 发表于 10-14 14:53 454次阅读

    PLM系统助力工程和制造业转型升级

    彩虹PLM系统通过优化物料清单管理、CAD集成、ERP同步及合同制造商协同,助力企业解决工程制造业瓶颈,提升产品开发效率与竞争力,推动行业智能化发展...
    的头像 发表于 08-06 10:43 371次阅读
    PLM<b class='flag-5'>系统</b>助力工程和<b class='flag-5'>制造业</b>转型升级

    欧时制造业产品及解决方案助力中国制造业企业工业数字化转型

          制造业是实体经济的基础,是发展新质生产力的重要阵地。工信部数据显示,2023年,全国制造业规模以上工业增加值同比增长5.0%,制造业总体规模连续14年位居全球第一。 展望下一个五年,智能
    的头像 发表于 07-24 17:42 606次阅读

    快速开箱即用体验 AMD / Xilinx Kria™ KD240驱动器入门套件

    快速开箱即用体验 AMD / Xilinx Kria™ KD240驱动器入门套件
    的头像 发表于 06-22 10:26 7963次阅读
    快速开箱即用体验 AMD / <b class='flag-5'>Xilinx</b> <b class='flag-5'>Kria</b>™ KD240驱动器入门套件

    贸泽开售适用于工业、医疗和机器人应用的AMD/Xilinx Kria K24 SOM

    2024 年 6 月 19 日 – 专注于引入新品的全球电子元器件和工业自动化产品授权代理商贸泽电子 (Mouser Electronics) 即日起开售AMD/XilinxKriaK
    发表于 06-21 15:24 881次阅读
    贸泽开售适用于工业、医疗和机器人应用的AMD/<b class='flag-5'>Xilinx</b> <b class='flag-5'>Kria</b> <b class='flag-5'>K</b>24 SOM

    数据中台在制造业中的应用及其转型价值

    在数字化时代,制造业正面临前所未有的挑战与机遇。随着大数据、云计算、物联网等技术的发展,数据中台已经成为制造业企业转型的重要驱动力。数据中台制造业的概念越来越受到行业的关注,它代表着数据技术和
    的头像 发表于 05-17 17:20 410次阅读

    深圳恒兴隆|制造业的新星:高光超精电主轴的崛起...

    深圳恒兴隆|制造业的新星:高光超精电主轴的崛起随着工业技术的飞速发展,高精度、高效率的加工设备在制造业中扮演着至关重要的角色。在众多先进技术中,高光超精电主轴凭借其卓越的性能和创新的设计理念,正逐渐
    发表于 05-13 09:55

    柔性制造单元:制造业的灵活利器

    制造业中,随着产品种类的不断增加和市场需求的快速变化,如何快速响应这些变化并保持生产效率成为了企业面临的重要挑战。柔性制造单元作为一种灵活的生产组织形式,为制造业提供了解决方案。
    的头像 发表于 05-11 15:46 342次阅读
    柔性<b class='flag-5'>制造</b>单元:<b class='flag-5'>制造业</b>的灵活利器

    面向制造业WMS仓储管理系统设计与应用

    MAISSE©WMS仓储管理系统是专业为制造业设计与研发,面向供应商物流拉动、库存管理、产线物料配送等应用场景。实现制造业仓库更高效且更精确的数字化管理,同时实现供应商物流拉动数字化与车间产线物料
    的头像 发表于 04-24 11:08 509次阅读

    发改委:装备制造业和高技术制造业投资快速增长,展示产业升级潜力

    关于有记者询问“有数据显示,1至2月装备制造业和高技术制造业投资显著超越整个制造业投资增速。那么,这个领域的发展现状以及下阶段如何培育壮大战略性新兴产业呢?”,刘苏社详细解答道:
    的头像 发表于 03-21 16:15 919次阅读

    金壮龙赴天津制造业及高新区企业调研,强调制造业转型升级

    同时也要大力推动现代化产业体系建设,利用科技创新引导,升级改造传统产业,巩固优势产业,培育新兴产业,助推未来产业的布局,实现制造业的高端化、智能化、绿色化发展,培养出更多的专精特新中小型企业和先进制造业集群。
    的头像 发表于 02-23 09:58 423次阅读

    制造业生产管理系统有哪些 制造业生产管理系统有哪些功能组成

    制造业生产管理系统是一个帮助制造企业提高生产效率、实现生产过程可视化和自动化管理的软件系统。它通过整合企业内外部的资源和信息,实现对生产过程进行全面监控、计划调度、质量控制、物料管理等
    的头像 发表于 02-05 10:13 2413次阅读

    制造业各种管理系统的介绍及集成

    制造业通过集成这些系统,工厂可以实现更加高效的生产和管理,避免不必要的重复工作和数据输入。
    的头像 发表于 01-19 13:49 1028次阅读
    <b class='flag-5'>制造业</b>各种管理<b class='flag-5'>系统</b>的介绍及集成

    设备远程运维平台在制造业中的应用

    我国正处于从制造大国向制造强国迈进的关键时期,制造业的数字化、网络化、智能化以及绿色制造体系(双碳为代表)的打造事关制造业全局,是
    的头像 发表于 01-03 11:40 549次阅读
    设备远程运维平台在<b class='flag-5'>制造业</b>中的应用

    什么是制造业的数字化车间

    什么是制造业的数字化车间,在企业数字化转型中,数字化车间的存在至关重要,其意思就是将制造业车间里所有的工作流程数字化,实现设备、生产流程、工人等各环节之间的数字化管理与协同,全面提升制造业企业的生产效率和产品质量。
    的头像 发表于 12-27 17:51 1279次阅读
    什么是<b class='flag-5'>制造业</b>的数字化车间