0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

浅析特征抽取的经典算法PCA

格创东智 2019-01-07 09:27 次阅读

本文作者:格创东智OT团队(转载请注明作者及来源)


之前格物汇的文章给大家介绍过,随着近几年大数据技术的普及,企业可以获取海量数据,但是这些海量数据带给我们更多信息的同时,也带来了更多的噪音和异常数据,如何降维去噪成为很多企业关注的焦点。而特征抽取和特征选择都是降维的重要方法,针对于the curse of dimensionality(维数灾难),都可以达到降维的目的,但是这两种方法有所不同。

>>>>

特征抽取(Feature Extraction)

Creatting a subset ofnew features by combinations of the exsiting features.也就是说,特征抽取后的新特征是原来特征的一个映射。

>>>>

特征选择(Feature Selection)

choosing a subset of allthe features(the ones more informative。也就是说,特征选择后的特征是原来特征的一个子集。

特征抽取是如何对数据进行变换的呢?其两个经典的方法:主成分分析(Principle Components Analysis ,PCA)和线性评判分析(LinearDiscriminant Analysis,LDA)给出了解答,今天我们就先来看一下什么是主成分分析。

什么是主成分分析

主成分分析(principal component analysis),PCA是其缩写。此方法是一种无监督线性转换技术,其目标是找到数据中最主要的元素和结构,去除噪音和冗余,将原有的复杂数据降维,揭露出隐藏在复杂数据背后的简单结构。

主成分分析就是试图在力保数据信息丢失最少的原则下,对这种多变量的数据表进行最佳综合简化。这些综合指标就称为主成分,也就是说,对高维变量空间进行降维处理,从线性代数角度来看,PCA目标是找到一组新正交基去重新描述得到的数据空间,这些新维度就是主成分。

PCA的原理

我们现在来看一下PCA算法是如何实现的,我们通过一个具体实例来理解,假设我们有这样一些标准化后的数据:[-1,-2],[-1,0],……,[2,1],[0,1]。我们写成向量的形式如下:

1.jpg

我们还可以在二维坐标系中画出来:

2.jpg

PCA主要的目的是降维简化数据,这些数据本就是二维,想要再降维则需要重新找一个方向,并把这些点映射到这个方向上(降到1维)。试想,怎么才能找到这个方向,且不损失大部分信息呢?PCA的做法是,找到新映射的方法需要满足如下两个原则:

在新映射的方向上每个数据的映射点方差尽可能大。因为方差大的数据所包含的信息量越大。

新映射的方向应彼此正交,这样映射出的坐标点选取才更有意义。


寻找新映射也可以看作基变换,我们可以不断旋转基,寻找满足上面两个原则的情况。如下图所示,中间的映射方向图里数据在新基上映射点的方差就比右边图映射点方差大的多。而方差大则表示该数据在该方向上含有的信息量多,反之另一个新基的方向上含有的信息量就少的多。如果这个方向上的信息量非常少,即使舍去也无伤大雅,我们就可以考虑将其舍去,实现降维的操作。

3.jpg


新基可以看成是由以前标准直角坐标系旋转而成,在线性代数中,这样的坐标轴旋转操作可以通过原本直角坐标系坐标乘转换矩阵得到:

4.jpg

所以我们就将问题转换成找转移矩阵W上,如何去求W呢?我们希望降维后的数据要尽可能的与原数据非常接近(不丢失信息)。我们可以计算转换后的坐标Z与转换之前的坐标X之间的距离:

5.jpg

因此为了让转换距离最小,我们可以将问题等价转换成:

6.jpg

由于中间推导过程较为复杂,故在此省略,最后求解推导的结果为:

7.jpg

这不正是特征值的定义公式吗?所以只需要对协方差矩阵进行特征值分解,并将求得的特征值排序,取前N(PCA所要降低的目标维度)个特征值构成的向量W,即为PCA的解。

PCA优缺点


优点

(1)它是无监督学习,只与数据相关,无参数限制。

(2)通过PCA降维,可以达到简化模型和对数据进行压缩的效果。同时最大程度的保持了原有数据的信息。

(3)各主成分之间正交,可消除原始数据成分间的相互影响

(4)计算方法简单,易于在计算机上实现。

缺点

(1)如果用户对观测对象有一定的先验知识,掌握了数据的一些特征,却无法通过参数化等方法对处理过程进行干预,可能会得不到预期的效果,效率也不高

(2)贡献率小的主成分往往可能含有对样本差异的重要信息

好了,今天格物汇的内容就到这里,近期我们还将介绍特征抽取的另一种方法LDA(线性评判分析),敬请期待。



声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 智能制造
    +关注

    关注

    48

    文章

    5551

    浏览量

    76320
  • 工业互联网
    +关注

    关注

    28

    文章

    4320

    浏览量

    94099
收藏 人收藏

    评论

    相关推荐

    戴尔I7的图纸下载 版号是PCA40D

    戴尔I7的图纸 版号是PCA40D
    发表于 12-20 14:43 0次下载

    【「从算法到电路—数字芯片算法的电路实现」阅读体验】+内容简介

    的乘法器和除法器设计,在不同专业芯片领域有着广泛应用的数字信号发生器、复数求模求角度运算器、普通滤波器、E△ADC中使用的抽取滤波器、基于 E△结构实现的小数倍分频器、CRC校验器等。每个电路均给出了算法
    发表于 11-21 17:14

    ADS1299用ADS采集数据,ADS可以不抽取看原始得数据吗?

    1.用ADS采集数据,将时域的数据进行FFT变换,得到频谱里面看似有 Sinc Filter 抽取,不需要抽取是否可以?ADS可以不抽取看原始得数据吗? 2.这个和手册上的频谱不一样? 请问这个是什么问题呢?
    发表于 11-20 06:05

    求助,关于AMC1306M25抽取率OSR的疑问求解

    我客户目前正在评估AMC1306M25,有以下疑问需要解答,可否帮忙确认一下: 图为官方的例程,两个都应该指的是抽取率OSR。但是当客户在第一个函数中填的抽取率为64,到第二张图中ratio的值
    发表于 11-14 07:09

    技术科普 | 芯片设计中的LEF文件浅析

    技术科普 | 芯片设计中的LEF文件浅析
    的头像 发表于 11-13 01:03 232次阅读
    技术科普 | 芯片设计中的LEF文件<b class='flag-5'>浅析</b>

    特征工程实施步骤

    数据中提取数值表示以供无监督模型使用的方法(例如,试图从之前非结构化的数据集中提取结构)。特征工程包括这两种情况,以及更多内容。数据从业者通常依赖ML和深度学习算法
    的头像 发表于 10-23 08:07 254次阅读
    <b class='flag-5'>特征</b>工程实施步骤

    求助,AD7190关于Σ-Δ ADC其中的抽取滤波器的数据转换问题求解

    AD7190可以通过模式寄存器的FS[0:9]设置输出速率, 0-1023的范围;此时设置的数据速率选择位是否就是Σ-Δ ADC抽取滤波器的抽取比? 关于抽取滤波器,此时我设置的为1023,那我是否
    发表于 09-09 06:11

    图像识别算法的核心技术是什么

    图像识别算法是计算机视觉领域的一个重要研究方向,其目标是使计算机能够像人类一样理解和识别图像中的内容。图像识别算法的核心技术包括以下几个方面: 特征提取 特征提取是图像识别
    的头像 发表于 07-16 11:02 628次阅读

    使用rtthread settings配置完i2c后,与pca9535pw的第一通讯报错,为什么?

    在使用rtthread settings配置完i2c后,与pca9535pw的第一通讯报错,不知道为什么?代码如下: main: /* 初始化PCA
    发表于 07-09 08:04

    PCA9655E I / O端口扩展器 I

    电子发烧友网为你提供ON Semiconductor(ON Semiconductor)PCA9655E相关产品参数、数据手册,更有PCA9655E的引脚图、接线图、封装手册、中文资料、英文资料,PCA9655E真值表,
    发表于 06-28 16:28
    <b class='flag-5'>PCA</b>9655E I / O端口扩展器 I

    机器学习的经典算法与应用

    关于数据机器学习就是喂入算法和数据,让算法从数据中寻找一种相应的关系。Iris鸢尾花数据集是一个经典数据集,在统计学习和机器学习领域都经常被用作示例。数据集内包含3类共150条记录,每类各50个数
    的头像 发表于 06-27 08:27 1640次阅读
    机器学习的<b class='flag-5'>经典</b><b class='flag-5'>算法</b>与应用

    简单认识变频器和PLC/PCA系统

    在工业自动化领域,变频器和PLC/PCA系统是两个不可或缺的核心组成部分。变频器以其对电机转速和扭矩的精确控制,为工业自动化提供了强大的动力支持;而PLC/PCA系统则以其强大的逻辑处理能力和灵活
    的头像 发表于 06-25 14:48 713次阅读

    ICY DOCK Expresscage MB038SP-B硬盘抽取盒评测

    ICYDOCK最近又推出了一款ExpressCage系列的有趣产品,适用于SoHo、服务器和工业应用。今天,我们将测试这台ExpressCageMB038SP-B全金属硬盘抽取盒,该硬盘抽取盒有8个
    的头像 发表于 05-17 16:20 445次阅读
    ICY DOCK Expresscage MB038SP-B硬盘<b class='flag-5'>抽取</b>盒评测

    如何提取、匹配图像特征

    我们习惯从图像中选取比较有代表性的点,然后,在此基础上,讨论相机位姿估计问题,以及这些点的定位问题。 在经典 SLAM 模型中,把它们称为路标,而在视觉 SLAM 中,路标则是指图像特征(Features)。
    的头像 发表于 04-19 11:41 641次阅读

    STM32控制中常见的PID算法总结

    在很多控制算法当中,PID控制算法又是最简单,最能体现反馈思想的控制算法,可谓经典中的经典经典
    发表于 12-27 14:07 1689次阅读
    STM32控制中常见的PID<b class='flag-5'>算法</b>总结