PyTorch教程简介

1.2.1. 数据

不用说，没有数据就无法进行数据科学。我们可能会浪费数百页来思考数据到底是什么，但现在，我们将专注于我们将关注的数据集的关键属性。通常，我们关注示例的集合。为了有效地处理数据，我们通常需要提出合适的数字表示。每个示例（或数据点、数据实例、样本）通常由一组称为特征的属性（有时称为协变量或 输入)，模型必须基于此做出预测。在监督学习问题中，我们的目标是预测一个特殊属性的值，称为标签（或目标），它不是模型输入的一部分。

如果我们处理的是图像数据，则每个示例都可能包含一张单独的照片（特征）和一个指示照片所属类别的数字（标签）。照片将以数字方式表示为三个数值网格，代表每个像素位置的红光、绿光和蓝光的亮度。例如，一个\(200\times 200\)彩色照片将包括\(200\times200\times3=120000\)数值。

或者，我们可以使用电子健康记录数据来处理预测给定患者在接下来 30 天内存活的可能性的任务。在这里，我们的特征可能包括一组现成的属性和经常记录的测量值，包括年龄、生命体征、合并症、当前药物治疗和最近的程序。可用于训练的标签将是一个二进制值，指示历史数据中的每个患者是否在 30 天窗口内存活。

在这种情况下，当每个示例都具有相同数量的数字特征时，我们说输入是固定长度的向量，我们将向量的（恒定）长度称为数据的维度。正如您想象的那样，固定长度的输入可能很方便，让我们不必担心那么复杂。但是，并非所有数据都可以轻松表示为固定长度向量。虽然我们可能期望显微镜图像来自标准设备，但我们不能期望从 Internet 中提取的图像都以相同的分辨率或形状显示。对于图像，我们可能会考虑将它们全部裁剪为标准尺寸，但该策略只能让我们走到这一步。我们冒着丢失裁剪部分信息的风险。此外，文本数据更顽固地抵制固定长度的表示。考虑在亚马逊、IMDb 和 TripAdvisor 等电子商务网站上留下的客户评论。有些很短：“它很臭！”。其他人漫不经心地寻找页面。与传统方法相比，深度学习的一大优势是现代模型可以相对优雅地处理变长数据。

通常，我们拥有的数据越多，我们的工作就越容易。当我们拥有更多数据时，我们可以训练更强大的模型，减少对先入为主的假设的依赖。从（相对）小数据到大数据的机制变化是现代深度学习成功的主要贡献者。为了说明这一点，深度学习中许多最令人兴奋的模型如果没有大型数据集就无法工作。其他一些在小数据领域工作，但并不比传统方法好。

最后，拥有大量数据并巧妙地处理数据是不够的。我们需要正确的数据。如果数据充满错误，或者如果所选特征不能预测感兴趣的目标数量，学习就会失败。陈词滥调很好地描述了这种情况：垃圾进，垃圾出. 此外，糟糕的预测性能并不是唯一的潜在后果。在机器学习的敏感应用中，例如预测性监管、简历筛选和用于贷款的风险模型，我们必须特别警惕垃圾数据的后果。一种常见的故障模式发生在训练数据中没有代表某些人群的数据集中。想象一下，在以前从未见过黑色皮肤的野外应用皮肤癌识别系统。当数据不仅不能充分代表某些群体而且反映了社会偏见时，也可能会失败。例如，如果过去的招聘决定被用来训练一个用于筛选简历的预测模型，那么机器学习模型可能会无意中捕捉到历史上的不公正现象并将其自动化。

1.2.2. 楷模

大多数机器学习都涉及在某种意义上转换数据。我们可能想要构建一个系统来摄取照片并预测笑脸。或者，我们可能想要获取一组传感器读数并预测读数的正常与异常程度。按 型号，我们表示用于摄取一种类型的数据并吐出可能不同类型的预测的计算机器。特别是，我们对可以从数据中估计的统计模型感兴趣。虽然简单的模型完全能够解决适当的简单问题，但我们在本书中关注的问题超出了经典方法的局限性。深度学习与经典方法的区别主要在于它关注的一组强大模型。这些模型由许多连续的数据转换组成，这些数据从上到下链接在一起，因此得名深度学习。在讨论深度模型的过程中，我们还将讨论一些更传统的方法。

1.2.3. 目标函数

早些时候，我们将机器学习介绍为从经验中学习。通过 在这里学习，我们的意思是随着时间的推移在某些任务上有所改进。但是谁能说什么是改进呢？您可能会想象我们可以提议更新我们的模型，而有些人可能不同意提议的更新是改进还是下降。

为了开发一个正式的学习机器数学系统，我们需要对我们的模型有多好（或多坏）有正式的衡量标准。在机器学习和更一般的优化中，我们称这些 为目标函数。按照惯例，我们通常将目标函数定义为越低越好。这只是一个惯例。您可以采用任何越高越好的函数，并通过翻转符号将其转换为质量相同但越低越好的新函数。因为越低越好，这些函数有时被称为损失函数。

当尝试预测数值时，最常见的损失函数是平方误差，即预测值与真实目标之间的差值的平方。对于分类，最常见的目标是最小化错误率，即我们的预测与基本事实不一致的示例部分。一些目标（例如，平方误差）易于优化，而其他目标（例如，错误率）由于不可微性或其他复杂性而难以直接优化。在这些情况下，通常会优化替代目标。

在优化过程中，我们将损失视为模型参数的函数，并将训练数据集视为常数。我们通过最小化由为训练收集的一些示例组成的集合所产生的损失来学习模型参数的最佳值。然而，在训练数据上做得很好并不能保证我们在看不见的数据上也会做得很好。因此，我们通常希望将可用数据分成两个部分：训练数据集（或训练集），用于学习模型参数；和测试数据集（或测试集), 用于评估。在一天结束时，我们通常会报告我们的模型在两个分区上的表现。您可以将培训绩效视为类似于学生在用于准备某些实际期末考试的练习考试中取得的分数。即使结果令人鼓舞，也不能保证在期末考试中取得成功。在学习过程中，学生可能会开始背诵练习题，看似掌握了主题，但在面对实际期末考试中以前没见过的问题时却步履蹒跚。当一个模型在训练集上表现良好但无法泛化到看不见的数据时，我们说它对训练数据过度拟合。

1.2.4. 优化算法

一旦我们获得了一些数据源和表示、模型和定义明确的目标函数，我们就需要一种能够搜索最佳参数以最小化损失函数的算法。流行的深度学习优化算法基于一种称为梯度下降的方法。简而言之，在每个步骤中，此方法都会检查每个参数，以查看如果您对该参数进行少量扰动，训练集损失将以何种方式移动。然后它在降低损失的方向上更新参数。

1.3.1. 监督学习

监督学习描述的任务是给定一个包含特征和标签的数据集，并负责生成一个模型来预测给定输入特征的标签。每个特征-标签对称为一个示例。有时，当上下文清楚时，我们可以使用术语示例引用一组输入，即使相应的标签未知。监督发挥作用是因为为了选择参数，我们（监督者）为模型提供了一个由标记示例组成的数据集。在概率方面，我们通常对估计给定输入特征的标签的条件概率感兴趣。虽然它只是机器学习中的几种范式之一，但监督学习占机器学习在工业中的大部分成功应用。部分原因是，许多重要任务可以清晰地描述为在给定一组特定的可用数据的情况下估计未知事物的概率：

• 根据计算机断层扫描图像预测癌症与非癌症。

• 给出英语句子，预测正确的法语翻译。

• 根据本月的财务报告数据预测下个月的股票价格。

虽然所有监督学习问题都被简单描述“预测给定输入特征的标签”所捕获，但监督学习可以采取多种形式并需要大量建模决策，具体取决于（除其他考虑因素外）输入的类型、大小和数量和输出。例如，我们使用不同的模型来处理任意长度的序列和处理固定长度的向量表示。我们将在本书中深入探讨其中的许多问题。

非正式地，学习过程如下所示。首先，获取大量特征已知的示例，并从中随机选择一个子集，为每个示例获取真实标签。有时这些标签可能是已经收集到的可用数据（例如，患者是否在下一年内死亡？），而其他时候我们可能需要使用人工注释器来标记数据（例如，将图像分配给类别）。这些输入和相应的标签一起构成了训练集。我们将训练数据集输入监督学习算法，该算法将数据集作为输入并输出另一个函数：学习模型。最后，我们可以将以前看不见的输入提供给学习模型，使用其输出作为相应标签的预测。图 1.3.1。

图 1.3.1监督学习。