0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

一文搞懂深度学习的精密率和召回率

如意 来源:逍遥埠 作者:逍遥埠 2020-07-06 09:54 次阅读

这里,我们将讨论两个重要的度量指标,即精度和召回率,它们被用于度量分类模型(即分类器)的性能。特别地,我们将讨论如何用这两个指标来评估决策树模型。

一般来说,精确度度量针对的问题是“有多少选定的项目是相关的?”而召回率度量针对的问题是“有多少相关的项目被选中?”

精密率和召回率的定义

在定义精确度和召回率之前,我们首先需要澄清几个概念。

假设我们有一个分类器来判断一张图片是否包含cat,目标标签(class)有两个值:[cat, non-cat]。分类器也会输出两个可能的值。例如,给定一组已标记的图片,我们应用分类器为每幅图片预测一个标签。如下表所示,根据图片实际标签和预测标签,有4种可能的情况。在许多文献中,该表也称为混淆矩阵。

一文搞懂深度学习的精密率和召回率

由于分类器的目的是预测图片中是否有猫,所以当分类器以“cat”的形式给出预测结果时,我们称预测结果为正,称“not-cat”预测结果为负。我们将上表中的4种情况详细说明如下:

True Positive (Tp)

对于一幅图,如果预测的类别是正的(例如cat),而该图的实际类别碰巧也是正的,则我们称这种情况为真正

True Negative (Tn)

对于一个图片,如果预测的类是负的(即not-cat),而实际的类碰巧也是负的,那么我们就称这种情况为真负。

False Positive (Fp)

对于一幅图,如果预测的类是正的(即cat),但该图的实际类是负的(not-cat),则我们称这种情况为假正。

False Negative (Fn)

对于一幅图片,如果所预测的类别是否定的(即not-cat),但该图片的实际类别是肯定的(即cat),则我们称这种情况为假否定。

根据上述定义,我们现在可以定义精确度和召回率的度量。

精度(P)定义为真正(Tp)与所有是正预测(Tp+Fp)的比值,即真正的数与假正的数的比值。

一文搞懂深度学习的精密率和召回率

当分类器声称样本为正时,我们可以将精度度量解释为确定性。例如,一个标识符,如果Tp = Fp = 50,那么它的精度P = 50/(50 + 50) = 0.5 即我们可以说只要分类器声称,结果是正的,只有50%概率分类器实际上是正确的。

如果我们认为实际的正的项(样本)是“相关的”,声称的正的项目是“被选择的”,那么精度度量回答了多少被选择的项目是相关的问题,正如文章开始所述的那样。

召回率(R)定义为真正性(Tp)与所有正样本(Tp+Fn)的比值,即真正的数量与假负的数量之和。

一文搞懂深度学习的精密率和召回率

我们可以将召回度量解释为分类器识别出的实际正性案例的百分比。例如,一个标识符,如果Tp = Fn = 50 ,然后召回率R = 50/(50 + 50) = 0.5,也就是说我们只能说分类器仅获得50%实际正性案例的50%,而对另外50%的实际正案例进行了错误分类。

举个例子

一文搞懂深度学习的精密率和召回率

利用上述公式,我们可以得到每个标签的精度和召回率,如下:

一文搞懂深度学习的精密率和召回率

说明:我们以“setosa”这个标签为例来说明详细。对于“setosa”标签,从第0行到第3行总共有4个实际正的样本,模型给出了3个正预测(即在第2、5、9行),对于“setosa”标签,只有一个真实正,位于第2行。setosa的假正位于第5行和第9行。最后,setosa的假负性为3例,分别位于第0、1、3行。

什么是准确度???

除了精确率和召回率之外,还有一个众所周知的度量标准叫做准确度,它被用来衡量分类模型的性能。

准确性(A)定义为对所有预测(Tp+Tn+Fp+Fn)的真实结果(包括真正(Tp)和真负(Tn))的比例。

一文搞懂深度学习的精密率和召回率

与精确率-召回率相比,准确率似乎是一种更加平衡的衡量标准,因为它同时考虑了真正的正因素和真正的负因素。然而,事实证明,准确性实际上是一个误导的度量,特别是对于不平衡的数据集。例如,对于包含5封垃圾邮件(即正样本)和95封普通邮件(即负样本)的数据集,简单地将所有样本预测为负(非垃圾邮件)的低级的垃圾邮件分类器将获得95%高精度。垃圾邮件分类器在使用精确率召回率度量时,其精确度和召回率为零,这更准确地反映了分类器的实际预测能力。因此,在实践中,人们更喜欢精确率召回率来度量而不是准确度作为他们分类器的基准。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 分类器
    +关注

    关注

    0

    文章

    152

    浏览量

    13174
  • 性能指标
    +关注

    关注

    0

    文章

    14

    浏览量

    7894
  • 深度学习
    +关注

    关注

    73

    文章

    5492

    浏览量

    120977
收藏 人收藏

    评论

    相关推荐

    [1.7]--1.7程序讲解:使用Sklearn进行精确-召回曲线的绘制

    深度学习
    jf_60701476
    发布于 :2022年12月01日 01:39:56

    示波器的采样和示波器存储深度

    深度定的情况下,存储速度越快,存储时间就越短,它们之间是反比关系。所以:存储深度=采样×采样时间由此可见,提高示波器的存储深度可以间接提
    发表于 08-25 08:33

    深度学习重点内容记录

    笔记搞懂深度学习
    发表于 05-27 15:02

    深度学习入门之中根据源代码下载到mnist数据集,训练识别超级低问题

    深度学习入门 中根据源代码下载到mnist数据集,训练识别超级低问题
    发表于 07-08 16:53

    搞懂UPS主要内容

    导读:UPS是系统集成项目中常用到的设备,也是机房必备的设备。本文简单介绍了UPS的种类、功能、原理,品质选择与配置选择方式,基础维护等相关的内容。搞懂UPS本文主要内容:UPS种类、功能
    发表于 09-15 07:49

    基于深度学习和3D图像处理的精密加工件外观缺陷检测系统

    检测,检测准确性和检测稳定性较差、容易误判。 基于深度学习和3D图像处理的精密加工件外观缺陷检测系统创新性结合深度学习以及3D图像处理办法,
    发表于 03-08 13:59

    示波器的采样和存储深度

    电路教程相关知识的资料,关于示波器的采样和存储深度
    发表于 10-10 14:34 0次下载

    如何估算深度神经网络的最优学习(附代码教程)

    学习(learning rate)是调整深度神经网络最重要的超参数之,本文作者Pavel Surmenok描述了个简单而有效的办法来帮
    发表于 12-07 11:05 2469次阅读

    数据外补偿的深度网络超分辨重建

    单张图像超分辨重建受到多对映射的困扰,对于给定的低分辨图像块,存在若干高分辨图像块与之对应.基于学习的方法受此影响,
    发表于 12-15 14:34 0次下载

    机器学习实用指南——准确召回

    受试者工作特征(ROC)曲线是另个二分类器常用的工具。它非常类似与准确/召回曲线,但不是画出准确
    的头像 发表于 06-19 15:20 2.1w次阅读
    机器<b class='flag-5'>学习</b>实用指南——准确<b class='flag-5'>率</b>与<b class='flag-5'>召回</b><b class='flag-5'>率</b>

    深度学习优化器方法及学习衰减方式的详细资料概述

    下降、Adagrad、RMSProp、Adadelta、Adam、Nadam、ANGD等优化方法,也对学习的衰减方式有分段常数衰减、多项式衰减、指数衰减、自然指数衰减、余弦衰减、线性余弦衰减、噪声线性余弦衰减等方法进行了总结,对深度
    发表于 12-18 16:47 9次下载

    AI垃圾分类的准确召回达到99%

    这套逻辑和人类用眼睛、大脑、手臂工作的逻辑差不多,而且效率也足够了。以塑料瓶为例,AI垃圾分类的准确召回达到99%,单张图片的识别时间不到半秒钟。
    的头像 发表于 06-16 15:10 3227次阅读

    深度学习中的学习调节实践

    个偏置神经元,并与下层完全相连。当个 ANN 包含个很深的隐藏层时,它被称为深度神经网络(DNN)。 在本文中,我们将在 MNIST 数据集上训练
    的头像 发表于 11-16 17:53 515次阅读

    什么是基于深度学习的超分辨

    基于深度学习的超分辨是将学习的上采样(up-sampling)函数应用于图像的过程,目的是增强图像中现有的像素数据或生成合理的新像素数据,从而提高图像的分辨
    的头像 发表于 05-24 09:33 2728次阅读
    什么是基于<b class='flag-5'>深度</b><b class='flag-5'>学习</b>的超分辨<b class='flag-5'>率</b>