0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

常见的9种距离度量方法

深度学习自然语言处理 来源:机器之心 作者:机器之心 2021-03-05 15:44 次阅读

欧氏距离(Euclidean Distance)

欧式距离。 我们从最常见的欧式距离开始,欧式距离可解释为连接两个点的线段的长度。欧式距离公式非常简单,使用勾股定理从这些点的笛卡尔坐标计算距离。

缺点:尽管这是一种常用的距离度量,但欧式距离并不是尺度不变的,这意味着所计算的距离可能会根据特征的单位发生倾斜。通常,在使用欧式距离度量之前,需要对数据进行归一化处理。 此外,随着数据维数的增加,欧氏距离的作用也就越小。这与维数灾难(curse of dimensionality)有关。 用例:当你拥有低维数据且向量的大小非常重要时,欧式距离的效果非常好。如果在低维数据上使用欧式距离,则如 k-NN 和 HDBSCAN 之类的方法可达到开箱即用的效果。 余弦相似度(Cosine Similarity)

余弦相似度。 余弦相似度经常被用作抵消高维欧式距离问题。余弦相似度是指两个向量夹角的余弦。如果将向量归一化为长度均为 1 的向量,则向量的点积也相同。 两个方向完全相同的向量的余弦相似度为 1,而两个彼此相对的向量的余弦相似度为 - 1。注意,它们的大小并不重要,因为这是在方向上的度量。

缺点:余弦相似度的一个主要缺点是没有考虑向量的大小,而只考虑它们的方向。以推荐系统为例,余弦相似度就没有考虑到不同用户之间评分尺度的差异。 用例:当我们对高维数据向量的大小不关注时,可以使用余弦相似度。对于文本分析,当数据以单词计数表示时,经常使用此度量。例如,当一个单词在一个文档中比另一个单词更频繁出现时,这并不一定意味着文档与该单词更相关。可能是文件长度不均匀或者计数的重要性不太重要。我们最好使用忽略幅度的余弦相似度。 汉明距离(Hamming Distance)

汉明距离。 汉明距离是两个向量之间不同值的个数。它通常用于比较两个相同长度的二进制字符串。它还可以用于字符串,通过计算不同字符的数量来比较它们之间的相似程度。 缺点:当两个向量长度不相等时,汉明距离使用起来很麻烦。当幅度是重要指标时,建议不要使用此距离指标。 用例:典型的用例包括数据通过计算机网络传输时的错误纠正 / 检测。它可以用来确定二进制字中失真的数目,作为估计误差的一种方法。此外,你还可以使用汉明距离来度量分类变量之间的距离。 曼哈顿距离(Manhattan Distance)

曼哈顿距离。 曼哈顿距离通常称为出租车距离或城市街区距离,用来计算实值向量之间的距离。想象一下均匀网格棋盘上的物体,如果它们只能移动直角,曼哈顿距离是指两个向量之间的距离,在计算距离时不涉及对角线移动。

3c7dd21a-7c22-11eb-8b86-12bb97331649.png

缺点:尽管曼哈顿距离在高维数据中似乎可以工作,但它比欧式距离直观性差,尤其是在高维数据中使用时。此外,由于它可能不是最短路径,有可能比欧氏距离给出一个更高的距离值。 用例:当数据集具有离散或二进制属性时,曼哈顿距离似乎工作得很好,因为它考虑了在这些属性的值中实际可以采用的路径。以欧式距离为例,它会在两个向量之间形成一条直线,但实际上这是不可能的。 切比雪夫距离(Chebyshev Distance)

切比雪夫距离。 切比雪夫距离定义为两个向量在任意坐标维度上的最大差值。换句话说,它就是沿着一个轴的最大距离。切比雪夫距离通常被称为棋盘距离,因为国际象棋的国王从一个方格到另一个方格的最小步数等于切比雪夫距离。

缺点:切比雪夫距离通常用于特定的用例,这使得它很难像欧氏距离或余弦相似度那样作为通用的距离度量。因此,在确定适合用例时才使用它。 用例:切比雪夫距离用于提取从一个方块移动到另一个方块所需的最小移动次数。此外,在允许无限制八向移动的游戏中,这可能是有用的方法。在实践中,切比雪夫距离经常用于仓库物流,因为它非常类似于起重机移动一个物体的时间。 闵氏距离(Minkowski)

闵氏距离。 闵氏距离比大多数距离度量更复杂。它是在范数向量空间(n 维实数空间)中使用的度量,这意味着它可以在一个空间中使用,在这个空间中,距离可以用一个有长度的向量来表示。 闵氏距离公式如下:

最有趣的一点是,我们可以使用参数 p 来操纵距离度量,使其与其他度量非常相似。常见的 p 值有:

p=1:曼哈顿距离

p=2:欧氏距离

p=∞:切比雪夫距离

缺点:闵氏距离与它们所代表的距离度量有相同的缺点,因此,对哈顿距离、欧几里得距离和切比雪夫距离等度量标准有个好的理解非常重要。此外,参数 p 的使用可能很麻烦,因为根据用例,查找正确的 p 值在计算上效率低。 用例:p 的积极一面是可迭代,并找到最适合用例的距离度量。它允许在距离度量上有很大的灵活性,如果你非常熟悉 p 和许多距离度量,将会获益多多。 雅卡尔指数(Jaccard Index)

雅卡尔指数。 雅卡尔指数(交并比)是用于比较样本集相似性与多样性的统计量。雅卡尔系数能够量度有限样本集合的相似度,其定义为两个集合交集大小与并集大小之间的比例。 例如,如果两个集合有 1 个共同的实体,而有 5 个不同的实体,那么雅卡尔指数为 1/5 = 0.2。要计算雅卡尔距离,我们只需从 1 中减去雅卡尔指数:

缺点:雅卡尔指数的一个主要缺点是它受数据大小的影响很大。大数据集对指数有很大影响,因为它可以显著增加并集,同时保持交集相似。 用例:雅卡尔指数通常用于使用二进制或二进制数据的应用程序中。当你有一个深度学习模型来预测图像分割时,比如一辆汽车,雅卡尔指数可以用来计算给定真实标签的预测分割的准确度。 类似地,它可以用于文本相似性分析,以测量文档之间有多少词语重叠。因此,它可以用来比较模式集合。 半正矢(Haversine)

半正矢距离。 半正矢距离是指球面上的两点在给定经纬度条件下的距离。它与欧几里得距离非常相似,因为它可以计算两点之间的最短连线。主要区别在于半正矢距离不可能有直线,因为这里的假设是两个点都在一个球面上。

缺点:这种距离测量的一个缺点是,假定这些点位于一个球体上。实际上,这种情况很少出现,例如,地球不是完美的圆形,在某些情况下可能使计算变得困难。相反,如果假定是椭球,使用 Vincenty 距离比较好。 用例:半正矢距离通常用于导航。例如,你可以使用它来计算两个国家之间的飞行距离。请注意,如果距离本身不那么大,则不太适合。 Sørensen-Dice 系数

Sørensen-Dice 系数。 Sørensen-Dice 系数与雅卡尔指数非常相似,都是度量样本集的相似性和多样性。尽管它们的计算方法相似,但是 Sørensen-Dice 系数更直观一些,因为它可以被视为两个集合之间重叠的百分比,这个值在 0 到 1 之间:

3eb903f6-7c22-11eb-8b86-12bb97331649.png

缺点:正如雅卡尔指数,Sørensen-Dice 系数也夸大了很少或没有真值的集合的重要性,因此,它可以控制多集合的平均得分,还可以控制多组平均得分并按相关集合的大小成反比地加权每个项目,而不是平等对待它们。 用例:用例与雅卡尔指数相似,它通常用于图像分割任务或文本相似性分析。

责任编辑:lq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据
    +关注

    关注

    8

    文章

    6786

    浏览量

    88708
  • 距离
    +关注

    关注

    0

    文章

    12

    浏览量

    13789
  • 向量
    +关注

    关注

    0

    文章

    55

    浏览量

    11648

原文标题:一文读懂常见的9种距离度量方法

文章出处:【微信号:zenRRan,微信公众号:深度学习自然语言处理】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    常见的机械分选方法有哪些

    机械分选是一利用物料的物理性质差异(如大小、形状、密度、磁性等)来实现物料分离的技术。在工业生产中,机械分选广泛应用于矿物加工、农业、食品加工、回收利用等领域。以下是一些常见的机械分选方法的介绍
    的头像 发表于 09-25 15:38 493次阅读

    雷达液位计常见故障及处理方法

    雷达液位计作为一高精度的液位检测设备,在实际应用中可能会遇到多种故障。以下是一些常见的故障及其处理方法: 一、常见故障 数据不准确 原因 :参数设置错误、设备老化、环境因素干扰(如泡
    的头像 发表于 09-07 11:22 655次阅读

    常见的测量电池内阻的方法

    测量电池内阻的方法多种多样,每种方法都有其独特的原理和适用范围。以下是一些常见的测量电池内阻的方法
    的头像 发表于 08-13 18:14 1637次阅读

    常见的PWM脉宽调制方法

    等设备的精确控制。本文将详细介绍PWM脉宽调制的方法,包括其基本原理、常见的调制方法以及应用实例等,旨在为读者提供全面而深入的了解。
    的头像 发表于 06-19 10:47 717次阅读

    鸿蒙OpenHarmony:【常见编译问题和解决方法

    常见编译问题和解决方法
    的头像 发表于 05-11 16:09 1813次阅读

    工业镜头中常见的参数之工作距离、物距、法兰距及镜头接口

    距(O/I)=工作距离(WD)+镜头长度+法兰距常见的C口镜头和相机,法兰距为17.526mm。在机器视觉行业中,许多镜头设计时为了保证成像质量,工作距离通常为一
    的头像 发表于 03-11 15:29 4346次阅读
    工业镜头中<b class='flag-5'>常见</b>的参数之工作<b class='flag-5'>距离</b>、物距、法兰距及镜头接口

    常见的光纤光缆链接方法

    常见的光纤光缆链接方法分别是: 永久性光纤连接(又叫热熔):这种连接是用放电的方法将两根光纤的连接点熔化并连接在一起。一般用在长途接续、永久或半永久固定连接。其主要特点是连接衰减在
    的头像 发表于 03-01 13:47 2003次阅读

    3双控开关的接线方法

    详尽、详实、细致地介绍三常见的双控开关的接线方法。 第一接线方法是直连法。直连法是最简单的双控开关接线
    的头像 发表于 02-05 13:46 4350次阅读

    编码器7常见故障及解决方法是什么?

    编码器7常见故障及解决方法是什么? 编码器是一用于将物理量转换为数字信号的设备,常用于工业自动化、机械控制等领域。然而,在使用编码器的过程中,可能会遇到各种故障。本篇文章将介绍编码
    的头像 发表于 01-26 14:56 1.2w次阅读

    介绍6常见的反调试方法

    开发相应的安全措施来保护系统,这时,恶意软件开发人员就会使用反调试技术阻碍逆向人员的分析,以达到增加自己恶意代码的存活时间。此外,安全人员也需要了解反调试技术,当遇到反调试代码时,可以使用相对应的反反调试。在反调试技术上中,我们介绍了9
    的头像 发表于 01-15 09:53 3383次阅读
    介绍6<b class='flag-5'>种</b><b class='flag-5'>常见</b>的反调试<b class='flag-5'>方法</b>

    AD CAM文件如何测量距离

    AD CAM文件是用于广告测量的一工具和方法,帮助广告商了解广告效果和投资回报率。在AD CAM文件中,距离是一个重要的指标,可以帮助衡量广告影响力的范围和深度。本文将详细介绍AD CAM文件中
    的头像 发表于 01-08 10:16 1218次阅读

    常见的电压问题及其解决方法

    常见的电压问题及其解决方法  电压问题是常见的电气故障之一,它可能会导致设备故障、损坏甚至危险。在日常生活和工作中,我们经常会遇到一些电压问题,例如电器无法正常工作、电器过热、电器短路等。本文将详细
    的头像 发表于 12-11 17:16 2765次阅读

    vlookup常见的12错误

    中,我将介绍VLOOKUP函数的常见错误,并提供详尽、详实、细致的解决方法。 错误#N/A:这是最常见的VLOOKUP错误之一,它表示无法找到与指定的值匹配的项。这可能是因为查找值不存在于目标范围中。解决
    的头像 发表于 12-01 11:19 2975次阅读

    python两点间距离简单编程

    在编程领域中,计算两点间的距离是非常常见的任务。而在Python语言中,计算两点间距离方法有多种。本文将深入介绍多个计算两点间距离
    的头像 发表于 11-23 16:30 2796次阅读

    常见EMC整改流程!

    常见EMC整改流程!|深圳比创达电子EMC
    的头像 发表于 11-23 10:10 909次阅读