PyTorch教程3.6之概括

考虑两个正在努力准备期末考试的大学生。通常，这种准备将包括通过参加前几年的考试来练习和测试他们的能力。尽管如此，在过去的考试中取得好成绩并不能保证他们在重要的时候会出类拔萃。例如，想象一个学生 Elephantine Ellie，她的准备工作完全包括记住前几年考试问题的答案。即使艾莉被赋予了象象般的记忆力，因此可以完美地回忆起任何以前见过的问题的答案，但当她面对一个新的（以前没见过的）问题时，她可能还是会僵住） 问题。相比之下，想象另一个学生，Inductive Irene，记忆能力相对较差，但有能力挑选模式。请注意，如果考试真的由前一年的重复问题组成，那么 Ellie 将轻松胜过 Irene。即使 Irene 的推断模式产生了 90% 的准确预测，它们也永远无法与 Ellie 的 100% 召回率相提并论。然而，即使考试完全由新题组成，艾琳也可能保持 90% 的平均分。

作为机器学习科学家，我们的目标是发现模式。但是我们如何确定我们真的发现了一个普遍的模式而不是简单地记住了我们的数据呢？大多数时候，我们的预测只有在我们的模型发现这种模式时才有用。我们不想预测昨天的股价，而是明天的。我们不需要为以前见过的病人识别已经诊断出的疾病，而是需要识别以前没见过的病人的以前未确诊的疾病。这个问题——如何发现泛化的模式——是机器学习的根本问题，可以说是所有统计学的根本问题。我们可以把这个问题看作是一个涵盖所有科学的更宏大问题的一部分：我们什么时候有理由从特定的观察到更一般的陈述（波普尔，2005 年）？

在现实生活中，我们必须使用有限的数据集合来拟合模型。该数据的典型规模在不同领域差异很大。对于许多重要的医学问题，我们只能访问几千个数据点。在研究罕见病时，我们可能幸运地接触到数百种疾病。相比之下，由标记照片组成的最大公共数据集（例如，ImageNet （Deng等人，2009 年））包含数百万张图像。而一些未标记的图像集合，例如 Flickr YFC100M 数据集可能更大，包含超过 1 亿张图像（Thomee等人，2016 年）. 然而，即使在这种极端规模下，与 1 百万像素分辨率下所有可能图像的空间相比，可用数据点的数量仍然是无限小的。每当我们处理有限样本时，我们必须牢记这样的风险，即我们可能会拟合我们的训练数据，却发现我们未能发现可概括的模式。

拟合更接近我们的训练数据而不是底层分布的现象称为过度拟合，而对抗过度拟合的技术通常称为正则化方法。虽然没有什么可以替代对统计学习理论的适当介绍（参见Boucheron等人（2005 年）、Vapnik（1998 年）），但我们将为您提供足够的直觉来开始学习。我们将在全书的许多章节中重新审视泛化，探索各种模型中泛化的基本原理的已知内容，以及已经发现的启发式技术（根据经验）可以对实际感兴趣的任务产生改进的泛化。