0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

使用张量板进行机器学习模型分析

星星科技指导员 来源:嵌入式计算设计 作者:Aekam Parmar 2022-10-24 15:53 次阅读

机器学习正在突飞猛进地发展,新的神经网络模型定期出现。

这些模型针对特定数据集进行了训练,并经过准确性和处理速度的验证。在部署之前,开发人员需要评估 ML 模型,并确保其满足特定的阈值并按预期运行。有很多实验可以提高模型性能,在设计和训练模型时,可视化差异变得至关重要。TensorBoard有助于可视化模型,使分析变得不那么复杂,因为当人们可以看到问题所在时,调试变得更加容易。

训练 ML 模型的一般做法

一般的做法是使用预先训练的模型并执行迁移学习,以便为类似的数据集重新训练模型。在迁移学习期间,神经网络模型首先在类似于正在解决的问题上进行训练。然后,在针对感兴趣的问题进行训练的新模型中,将使用训练模型中的一个或多个层。

大多数情况下,预训练模型以二进制格式出现,这使得获取内部信息并立即开始工作变得困难。从组织的业务角度来看,拥有一些工具来深入了解模型以减少项目交付时间表是有意义的。

有几个可用选项可用于获取模型信息,例如层数和相关参数。“模型摘要”和“模型绘图”是基本选项。这些选项非常简单,考虑到很少的实现行,并提供非常基本的详细信息,如层数,层类型以及每层的输入/输出。

但是,模型摘要和模型图对于以协议缓冲区的形式了解任何大型复杂模型的每个细节并不那么有效。在这种情况下,使用张量板,张量流提供的可视化工具更有意义。考虑到它提供的各种可视化选项,如模型,标量和指标(训练和验证数据),图像(来自数据集),超参数优化等,它非常强大。

用于可视化自定义模型的模型图

此选项尤其有助于以协议缓冲区的形式接收自定义模型,并且需要在进行任何修改或训练之前了解它。如下图所示,连续 CNN 的概览在电路板上可视化。每个块代表一个单独的图层,选择其中一个将在右上角打开一个包含输入和输出信息的窗口。

pYYBAGNWRIiAcnkVAAE0sYDVU1U464.png

如果需要进一步的信息,关于各个块内部有什么,可以简单地双击块,这将展开块并提供更多详细信息。请注意,一个块可以包含一个或多个可以逐层扩展的块。在选择任何特定操作后,它还将提供有关相关处理参数的更多信息。

pYYBAGNWRJCAIawuAAMJIm9qc4Q977.png

用于分析模型训练和验证的标量和指标

机器学习的第二个重要方面是分析给定模型的训练和验证。从精度和速度的角度来看,性能对于使其适用于现实生活中的实际应用非常重要。在下图中,可以看出模型的准确性随着 epoch/迭代次数的增加而提高。如果训练和测试验证不符合标准,则表明某些事情不对劲。这可能是欠拟合或过拟合的情况,可以通过修改图层/参数或改进数据集或两者来纠正。

poYBAGNWRJmAXKMSAAI169c2dZE463.png

图像数据,用于可视化数据集中的图像

顾名思义,它有助于可视化图像。它不仅限于可视化数据集中的图像,而且还以图像的形式显示混淆矩阵。此矩阵指示检测各个类的对象的准确性。如下图所示,模特将外套与套头衫混淆。为了克服这种情况,建议改进特定类的数据集,以便将可区分的特征提供给模型,以便更好地学习,从而提高准确性。

pYYBAGNWRKGAPf7eAAK49yHUzcU591.png

超参数调优以实现所需的模型准确性

模型的准确性取决于输入数据集、层数和相关参数。在大多数情况下,在初始训练期间,精度永远不会达到预期的精度,并且除了数据集之外,还需要使用层数,层类型,相关参数。此过程称为超参数优化。

在此过程中,提供了一系列超参数供模型选择,并且使用这些参数的组合运行模型。每个组合的准确性都记录在电路板上并可视化。它纠正了手动训练模型时会消耗的精力和时间,用于每个可能的超参数组合。

pYYBAGNWRKmAdY54AAJ_oXA72uk465.png

用于分析模型处理速度的分析工具

除了准确性之外,处理速度也是任何模型的一个同样重要的方面。有必要分析单个块消耗的处理时间,以及是否可以通过进行一些修改来减少。分析工具提供了具有不同 epoch 的每个操作所消耗的时间的图形表示。通过这种可视化,人们可以轻松查明消耗更多时间的操作。一些已知的开销可能是调整输入大小,从Python转换模型代码,或者在CPU而不是GPU中运行代码。处理这些事情将有助于实现最佳性能。

poYBAGNWRLCAI1RdAANsGq3qeok731.png

pYYBAGNWRLiAFjf6AAMPiKgpc8E032.png

总体而言,张量板是帮助开发和训练过程的绝佳工具。来自标量和指标、图像数据和超参数优化的数据有助于提高准确性,而分析工具有助于提高处理速度。TensorBoard还有助于减少所涉及的调试时间,否则这肯定会是一个很大的时间框架。

审核编辑:郭婷

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 机器学习
    +关注

    关注

    66

    文章

    8357

    浏览量

    132336
  • 数据集
    +关注

    关注

    4

    文章

    1202

    浏览量

    24624
收藏 人收藏

    评论

    相关推荐

    AI大模型与深度学习的关系

    AI大模型与深度学习之间存在着密不可分的关系,它们互为促进,相辅相成。以下是对两者关系的介绍: 一、深度学习是AI大模型的基础 技术支撑 :深度学习
    的头像 发表于 10-23 15:25 328次阅读

    使用AI大模型进行数据分析的技巧

    使用AI大模型进行数据分析的技巧涉及多个方面,以下是一些关键的步骤和注意事项: 一、明确任务目标和需求 在使用AI大模型之前,首先要明确数据分析的任务目标,这将直接影响
    的头像 发表于 10-23 15:14 379次阅读

    AI大模型与传统机器学习的区别

    多个神经网络层组成,每个层都包含大量的神经元和权重参数。 传统机器学习模型规模相对较小,参数数量通常只有几千到几百万个,模型结构相对简单。 二、训练数据需求 AI大
    的头像 发表于 10-23 15:01 317次阅读

    使用IBIS模型进行时序分析

    电子发烧友网站提供《使用IBIS模型进行时序分析.pdf》资料免费下载
    发表于 10-21 10:00 0次下载
    使用IBIS<b class='flag-5'>模型</b><b class='flag-5'>进行</b>时序<b class='flag-5'>分析</b>

    构建语音控制机器人 - 线性模型机器学习

    轮子并识别音频信号,但它仍然无法通过语音命令控制或按预定义路径行驶。 线性控制模型 首先要解决的问题是实现直线驱动。为此,我们使用线性模型来控制提供给车轮的电压。使用线性模型适合对汽车系统进行
    的头像 发表于 10-02 16:31 161次阅读
    构建语音控制<b class='flag-5'>机器</b>人 - 线性<b class='flag-5'>模型</b>和<b class='flag-5'>机器</b><b class='flag-5'>学习</b>

    【《时间序列与机器学习》阅读体验】+ 时间序列的信息提取

    之前对《时间序列与机器学习》一书进行了整体浏览,并且非常轻松愉快的完成了第一章的学习,今天开始学习第二章“时间序列的信息提取”。 先粗略的翻
    发表于 08-14 18:00

    【「时间序列与机器学习」阅读体验】+ 简单建议

    这本书以其系统性的框架和深入浅出的讲解,为读者绘制了一幅时间序列分析机器学习融合应用的宏伟蓝图。作者不仅扎实地构建了时间序列分析的基础知识,更巧妙地展示了
    发表于 08-12 11:21

    【《大语言模型应用指南》阅读体验】+ 基础知识学习

    的信息,提供更全面的上下文理解。这使得模型能够更准确地理解复杂问题中的多个层面和隐含意义。 2. 语义分析 模型通过训练学习到语言的语义特征,能够识别文本中的命名实体、句法结构和语义关
    发表于 08-02 11:03

    【《大语言模型应用指南》阅读体验】+ 基础篇

    这个程序不需要程序员编写,而是由计算机自动生成。因此,人工编程方法依赖程序员思考的规则,而自动编程是计算机算法通过分析数据自行创建规则。 作者通过类比学生准备高考的过程来说明机器学习的过程,如下图: 此
    发表于 07-25 14:33

    Al大模型机器

    和迭代来不断改进自身性能。它们可以从用户交互中学习并根据反馈进行调整,以提高对话质量和准确性。可定制性与整合性: AI大模型机器人可以根据特定需求
    发表于 07-05 08:52

    机器学习在数据分析中的应用

    随着大数据时代的到来,数据量的爆炸性增长对数据分析提出了更高的要求。机器学习作为一种强大的工具,通过训练模型从数据中学习规律,为企业和组织提
    的头像 发表于 07-02 11:22 526次阅读

    名单公布!【书籍评测活动NO.35】如何用「时间序列与机器学习」解锁未来?

    设备的运行状况,生成各种维度的报告。 同时,通过大数据分析机器学习技术,可以对业务进行预测和预警,从而协助社会和企业进行科学决策、降低成本
    发表于 06-25 15:00

    将yolov5s的模型转成.onnx模型进行cube-ai分析时报错的原因?

    报错显示张量不能大于四维的,想请教解决一下,我再此之后通过onnx-simplifier对.onnx进行简化之后再通过cube-ai进行分析还是出现上述报错,恳求指导,谢谢您!
    发表于 03-15 06:54

    如何使用TensorFlow构建机器学习模型

    在这篇文章中,我将逐步讲解如何使用 TensorFlow 创建一个简单的机器学习模型
    的头像 发表于 01-08 09:25 896次阅读
    如何使用TensorFlow构建<b class='flag-5'>机器</b><b class='flag-5'>学习</b><b class='flag-5'>模型</b>

    HarmonyOS:使用MindSpore Lite引擎进行模型推理

    使用 MindSpore Lite 推理引擎进行模型推理的通用开发流程。 基本概念 在进行开发前,请先了解以下概念。 张量 :它与数组和矩阵非常相似,是 MindSpore Lite
    发表于 12-14 11:41