0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

最详细的 NumPy 图解教程!

数据分析与开发 来源:大数据文摘 作者:大数据文摘 2021-06-09 18:03 次阅读

NumPy是Python中用于数据分析、机器学习、科学计算的重要软件包。它极大地简化了向量和矩阵的操作及处理。python的不少数据处理软件包依赖于NumPy作为其基础架构的核心部分(例如scikit-learn、SciPy、pandas和tensorflow)。除了数据切片和数据切块的功能之外,掌握numpy也使得开发者在使用各数据处理库调试和处理复杂用例时更具优势。

在本文中,将介绍NumPy的主要用法,以及它如何呈现不同类型的数据(表格,图像,文本等),这些经Numpy处理后的数据将成为机器学习模型的输入。

NumPy中的数组操作

创建数组

我们可以通过将python列表传入np.array()来创建一个NumPy数组(也就是强大的ndarray)。在下面的例子里,创建出的数组如右边所示,通常情况下,我们希望NumPy为我们初始化数组的值,为此NumPy提供了诸如ones(),zeros()和random.random()之类的方法。我们只需传入元素个数即可:

d3cfeb46-c540-11eb-9e57-12bb97331649.jpg

一旦我们创建了数组,我们就可以用其做点有趣的应用了,文摘菌将在下文展开说明。

数组的算术运算

让我们创建两个NumPy数组,分别称作data和ones:

d3e802c6-c540-11eb-9e57-12bb97331649.png

若要计算两个数组的加法,只需简单地敲入data + ones,就可以实现对应位置上的数据相加的操作(即每行数据进行相加),这种操作比循环读取数组的方法代码实现更加简洁。

当然,在此基础上举一反三,也可以实现减法、乘法和除法等操作:

d40961aa-c540-11eb-9e57-12bb97331649.jpg

许多情况下,我们希望进行数组和单个数值的操作(也称作向量和标量之间的操作)。比如:如果数组表示的是以英里为单位的距离,我们的目标是将其转换为公里数。可以简单的写作data * 1.6:

d42978a0-c540-11eb-9e57-12bb97331649.png

NumPy通过数组广播(broadcasting)知道这种操作需要和数组的每个元素相乘。

数组的切片操作

我们可以像python列表操作那样对NumPy数组进行索引和切片,如下图所示:

d43fb14c-c540-11eb-9e57-12bb97331649.png

聚合函数

NumPy为我们带来的便利还有聚合函数,聚合函数可以将数据进行压缩,统计数组中的一些特征值:

d44b62b2-c540-11eb-9e57-12bb97331649.jpg

除了min,max和sum等函数,还有mean(均值),prod(数据乘法)计算所有元素的乘积,std(标准差),等等。上面的所有例子都在一个维度上处理向量。除此之外,NumPy之美的一个关键之处是它能够将之前所看到的所有函数应用到任意维度上。

NumPy中的矩阵操作

创建矩阵

我们可以通过将二维列表传给Numpy来创建矩阵。

np.array([[1,2],[3,4]])

除此外,也可以使用上文提到的ones()、zeros()和random.random()来创建矩阵,只需传入一个元组来描述矩阵的维度:

d4688572-c540-11eb-9e57-12bb97331649.jpg

矩阵的算术运算

对于大小相同的两个矩阵,我们可以使用算术运算符(+-*/)将其相加或者相乘。NumPy对这类运算采用对应位置(position-wise)操作处理:

d476619c-c540-11eb-9e57-12bb97331649.png

对于不同大小的矩阵,只有两个矩阵的维度同为1时(例如矩阵只有一列或一行),我们才能进行这些算术运算,在这种情况下,NumPy使用广播规则(broadcast)进行操作处理:

d4a5dd46-c540-11eb-9e57-12bb97331649.jpg

与算术运算有很大区别是使用点积的矩阵乘法。NumPy提供了dot()方法,可用于矩阵之间进行点积运算:

d4d56c32-c540-11eb-9e57-12bb97331649.png

上图的底部添加了矩阵尺寸,以强调运算的两个矩阵在列和行必须相等。可以将此操作图解为如下所示:

d4eb2338-c540-11eb-9e57-12bb97331649.jpg

矩阵的切片和聚合

索引和切片功能在操作矩阵时变得更加有用。可以在不同维度上使用索引操作来对数据进行切片。

我们可以像聚合向量一样聚合矩阵。

不仅可以聚合矩阵中的所有值,还可以使用axis参数指定行和列的聚合。

矩阵的转置和重构

处理矩阵时经常需要对矩阵进行转置操作,常见的情况如计算两个矩阵的点积。NumPy数组的属性T可用于获取矩阵的转置。

在较为复杂的用例中,你可能会发现自己需要改变某个矩阵的维度。这在机器学习应用中很常见,例如模型的输入矩阵形状与数据集不同,可以使用NumPy的reshape()方法。只需将矩阵所需的新维度传入即可。也可以传入-1,NumPy可以根据你的矩阵推断出正确的维度。

上文中的所有功能都适用于多维数据,其中心数据结构称为ndarray(N维数组)。

很多时候,改变维度只需在NumPy函数的参数中添加一个逗号,如下图所示:

d59f8882-c540-11eb-9e57-12bb97331649.jpg

NumPy中的公式应用示例

NumPy的关键用例是实现适用于矩阵和向量的数学公式。这也Python中常用NumPy的原因。例如,均方误差是监督机器学习模型处理回归问题的核心:

d5b3750e-c540-11eb-9e57-12bb97331649.png

在NumPy中可以很容易地实现均方误差:

d63e1ec0-c540-11eb-9e57-12bb97331649.jpg

这样做的好处是,numpy无需考虑predictions与labels具体包含的值。文摘菌将通过一个示例来逐步执行上面代码行中的四个操作:

d66c614a-c540-11eb-9e57-12bb97331649.png

预测(predictions)和标签(labels)向量都包含三个值。这意味着n的值为3。在我们执行减法后,我们最终得到如下值:

d68c8c5e-c540-11eb-9e57-12bb97331649.png

然后我们可以计算向量中各值的平方:

d696a7a2-c540-11eb-9e57-12bb97331649.png

现在我们对这些值求和:

d6abd0d2-c540-11eb-9e57-12bb97331649.png

最终得到该预测的误差值和模型质量分数。

用NumPy表示日常数据

日常接触到的数据类型,如电子表格,图像,音频。。.。。.等,如何表示呢?Numpy可以解决这个问题。

表和电子表格

电子表格或数据表都是二维矩阵。电子表格中的每个工作表都可以是自己的变量。python中类似的结构是pandas数据帧(dataframe),它实际上使用NumPy来构建的。

音频和时间序列

音频文件是一维样本数组。每个样本都是代表一小段音频信号的数字。CD质量的音频每秒可能有44,100个采样样本,每个样本是一个-65535到65536之间的整数。这意味着如果你有一个10秒的CD质量的WAVE文件,你可以将它加载到长度为10 * 44,100 = 441,000个样本的NumPy数组中。想要提取音频的第一秒?只需将文件加载到我们称之为audio的NumPy数组中,然后截取audio[:44100]。

时间序列数据也是如此(例如,股票价格随时间变化的序列)。

图像

图像是大小为(高度×宽度)的像素矩阵。如果图像是黑白图像(也称为灰度图像),则每个像素可以由单个数字表示(通常在0(黑色)和255(白色)之间)。如果对图像做处理,裁剪图像的左上角10 x 10大小的一块像素区域,用NumPy中的image[:10,:10]就可以实现。

如果图像是彩色的,则每个像素由三个数字表示 :红色,绿色和蓝色。在这种情况下,我们需要第三维(因为每个单元格只能包含一个数字)。因此彩色图像由尺寸为(高x宽x 3)的ndarray表示。

语言

如果我们处理文本,情况就会有所不同。用数字表示文本需要两个步骤,构建词汇表(模型知道的所有唯一单词的清单)和嵌入(embedding)。让我们看看用数字表示这个(翻译的)古语引用的步骤:“Have the bards who preceded me left any theme unsung?”

模型需要先训练大量文本才能用数字表示这位战场诗人的诗句。我们可以让模型处理一个小数据集,并使用这个数据集来构建一个词汇表(71,290个单词)。

然后可以将句子划分成一系列“词”token(基于通用规则的单词或单词部分)。

然后我们用词汇表中的id替换每个单词。

这些ID仍然不能为模型提供有价值的信息。因此,在将一系列单词送入模型之前,需要使用嵌入(embedding)来替换token/单词(在本例子中使用50维度的word2vec嵌入)。

你可以看到此NumPy数组的维度为[embedding_dimension x sequence_length]。

在实践中,这些数值不一定是这样的,但我以这种方式呈现它是为了视觉上的一致。出于性能原因,深度学习模型倾向于保留批数据大小的第一维(因为如果并行训练多个示例,则可以更快地训练模型)。很明显,这里非常适合使用reshape()。例如,像BERT这样的模型会期望其输入矩阵的形状为:[batch_size,sequence_length,embedding_size]。

这是一个数字合集,模型可以处理并执行各种有用的操作。我留空了许多行,可以用其他示例填充以供模型训练(或预测)。

事实证明,在我们的例子中,那位诗人的话语比其他诗人的诗句更加名垂千古。尽管生而为奴,诗人安塔拉(Antarah)的英勇和语言能力使他获得了自由和神话般的地位,他的诗是伊斯兰教以前的阿拉伯半岛《悬诗》的七首诗之一。

转自:大数据文摘

原文链接:https://jalammar.github.io/visual-numpy/

编辑:jq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • STD
    STD
    +关注

    关注

    0

    文章

    36

    浏览量

    14359
  • python
    +关注

    关注

    56

    文章

    4797

    浏览量

    84689
  • 数据集
    +关注

    关注

    4

    文章

    1208

    浏览量

    24701

原文标题:这是我见过最好的 NumPy 图解教程!

文章出处:【微信号:DBDevs,微信公众号:数据分析与开发】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    芯片封装工艺详细讲解

    芯片封装工艺详细讲解
    发表于 11-29 14:02 1次下载

    详细的注塑成型工艺介绍

    详细的注塑成型工艺介绍
    的头像 发表于 11-27 09:58 179次阅读
    <b class='flag-5'>详细</b>的注塑成型工艺介绍

    如何使用Python构建LSTM神经网络模型

    NumPy:用于数学运算。 TensorFlow:一个开源机器学习库,Keras是其高级API。 Keras:用于构建和训练深度学习模型。 你可以使用pip来安装这些库: pip install
    的头像 发表于 11-13 10:10 363次阅读

    各种电子称主板接线图

    内容包括市面上大部分电子秤主板接线,彩色图解,生动详细
    发表于 11-12 14:07 0次下载

    名单公布!【书籍评测活动NO.50】亲历芯片产线,轻松图解芯片制造,揭秘芯片工厂的秘密

    半导体部门总经理和总工程师。著有多本畅销科普图书。 本书秉承了日式科普书风格,通过大量原理图片和实物图片,以图解形式、轻松有趣讲解了芯片制造工厂的基础设施、制造工艺、原理、设备、材料、检验等相关信息
    发表于 11-04 15:38

    思岚科技SLAMKit定位与建图解决方案介绍

    2023年11月,面对客户高效稳定的定位和建图需求,思岚科技以业界创新的产品形态提供了SLAMKit定位和建图解决方案,以软件授权的方式嵌入运行在机器人的主控器中,并为机器人提供环境建模与自主定位的能力。
    的头像 发表于 09-13 11:20 522次阅读
    思岚科技SLAMKit定位与建<b class='flag-5'>图解</b>决方案介绍

    是否可以使用esp8266创建热点并使用此热点设置新的wifi详细信息?

    我想知道是否可以使用 esp8266 创建热点并使用此热点设置新的 wifi 详细信息,在我的项目中,我需要使用移动应用程序进行无线通信和设置 wifi 详细信息,请从这里帮助我。非常欢迎提出建议和想法
    发表于 07-19 09:50

    双向可控硅工作原理图解

    端子)、T2(第二阳极或第一端子)和G(控制极或闸极)。 相比于单向可控硅,双向可控硅不再有阳极和阴极的区分,而是用T1和T2来表示其两个主电极。 二、双向可控硅的工作原理图解 双向可控硅的调光电路工作原理说明一接通电源,220V经过灯泡VR4 R19对C23充电,由
    的头像 发表于 07-15 15:26 5679次阅读
    双向可控硅工作原理<b class='flag-5'>图解</b>

    使用NumPy实现前馈神经网络

    要使用NumPy实现一个前馈神经网络(Feedforward Neural Network),我们需要从基础开始构建,包括初始化网络参数、定义激活函数及其导数、实现前向传播、计算损失函数、以及实现
    的头像 发表于 07-11 16:30 1641次阅读

    pytorch如何训练自己的数据

    本文将详细介绍如何使用PyTorch框架来训练自己的数据。我们将从数据准备、模型构建、训练过程、评估和测试等方面进行讲解。 环境搭建 首先,我们需要安装PyTorch。可以通过访问PyTorch官网
    的头像 发表于 07-11 10:04 535次阅读

    NNG宣布为Dacia汽车提供基于OpenStreetMap的地图解决方案

    在智能出行日益成为主流的今天,汽车导航系统的精准度与实时性成为了消费者购车时的重要考量因素之一。近日,全球领先的地图解决方案提供商NNG正式宣布与知名汽车制造商Dacia达成战略合作,共同推出
    的头像 发表于 07-04 15:09 574次阅读

    帮忙画一张详细的电路图,谢谢

    能帮忙画一张详细的电路图吗,谢谢了。因为涉及到外部链接,怕被误会发广告,所以详细的需求放在附件里面了 *附件:帮忙谢谢.rar
    发表于 05-04 22:59

    音箱制作过程图解

    电子发烧友网站提供《音箱制作过程图解.doc》资料免费下载
    发表于 04-28 09:27 10次下载

    python 学习:在内网中 python库-numpy 安装方法,升级pip3版本的指令

    指令格式如下:先下载numpy库到C盘具体位置 手动安装指令如下: pip install c:\\\\users\\\\sesa738142
    发表于 04-22 17:18

    基于NumPy的机器学习算法实现

    David Bourgin 表示他一直在慢慢写或收集不同模型与模块的纯 NumPy 实现,它们跑起来可能没那么快,但是模型的具体过程一定足够直观。每当我们想了解模型 API 背后的实现,却又不想看复杂的框架代码,那么它可以作为快速的参考。
    发表于 01-17 12:36 202次阅读
    基于<b class='flag-5'>NumPy</b>的机器学习算法实现