机器学习样例 - 对机器学习的理解和用Python实现的机器学习样例分析

第一个机器学习样例
作为本章的总结，我们来运用Python解决一个实际问题，以便对机器学习有一个具体的感受。由于该样例只是为了提供直观感受，我们就拿比较有名的一个小问题来进行阐述。俗话说：“麻雀虽小，五脏俱全”，我们完全可以通过这个样例来对机器学习的一般性步骤进行一个大致的认知。

该问题来自Coursera上的斯坦福大学机器学习课程，其叙述如下：现有47个房子的面积和价格，需要建立一个模型对新的房价进行预测。稍微翻译问题，可以得知：

输入数据只有一维，亦即房子的面积。

目标数据也只有一维，亦即房子的价格。

需要做的，就是根据已知的房子的面积和价格的关系进行机器学习。

下面我们就来一步步地进行操作。

获取与处理数据

原始数据集的前10个样本如表1.1所示，这里房子面积和房子价格的单位可以随意定夺，因为它们不会对结果造成影响。

表1.1 房价数据集

完整的数据集可以参见 https://github.com/carefree0910/MachineLearning/blob/master/ _Data/prices.txt 。虽然该数据集比较简单，但可以看到其中的数字都相当大。保留它原始形式确实有可能是有必要的，但一般而言，我们应该对它做简单的处理以期望降低问题的复杂度。在这个例子里，采取常用的将输入数据标准化的做法，其数学公式为：

代码1-1 第一个机器学习样例：a_FirstExample\Regression.py

01 # 导入需要用到的库
02 import numpy as np
03 import matplotlib.pyplot as plt
04
05 # 定义存储输入数据（x）和目标数据（y）的数组
06 x, y = [], []
07 # 遍历数据集，变量sample对应的正是一个个样本
08 for sample in open("../_Data/prices.txt", "r"):
09 # 由于数据是用逗号隔开的，所以调用Python中的split方法并将逗号作为参数传入
10 _x, _y = sample.split(",")
11 # 将字符串数据转化为浮点数
12 x.append(float(_x))
13 y.append(float(_y))
14 # 读取完数据后，将它们转化为Numpy数组以方便进一步的处理
15 x, y = np.array(x), np.array(y)
16 # 标准化
17 x = (x - x.mean()) / x.std()
18 # 将原始数据以散点图的形式画出
19 plt.figure()
20 plt.scatter(x, y, c="g", s=6)
21 plt.show()

上面这段代码的运行结果如图2所示。

图2 预处理后的数据散点图

这里横轴是标准化后的房子面积，纵轴是房子价格。以上我们已经比较好地完成了机器学习任务的第一步：数据预处理。

选择与训练模型

在弄好数据之后，下一步就要开始选择相应的学习方法和模型了。幸运的是，通过可视化原始数据，可以非常直观地感受到：很有可能通过线性回归（Linear Regression）中的多项式拟合来得到一个不错的结果。其模型的数学表达式如下。

注意：用多项式拟合散点只是线性回归的很小的一部分，但是它的直观意义比较明显。考虑到问题比较简单，我们才选用了多项式拟合。线性回归的详细讨论超出了本书的范围，这里不再赘述。

其中f(x|p;n)就是我们的模型，p、n都是模型的参数，其中p是多项式f的各个系数，n是多项式的次数。L(p;n)则是模型的损失函数，这里我们采用了常见的平方损失函数，也就是所谓的欧氏距离（或说向量的二范数）。x、y则分别是输入向量和目标向量；在我们这个样例中，x、y这两个向量都是47维的向量，分别由47个不同的房子面积、房子价格所构成。

在确定好模型后，就可以开始编写代码来进行训练了。对于大多数机器学习算法，所谓的训练正是最小化某个损失函数的过程，这个多项式拟合的模型也不例外：我们的目的就是让上面定义的L(p;n)最小。在数理统计领域里有专门的理论研究这种回归问题，其中比较有名的正规方程更是直接给出了一个简单的解的通式。不过由于有Numpy的存在，这个训练过程甚至变得还要更加简单一些。
22 # 在(-2,4)这个区间上取100个点作为画图的基础
23 x0 = np.linspace(-2, 4, 100)
24 # 利用Numpy的函数定义训练并返回多项式回归模型的函数
25 # deg参数代表着模型参数中的n，亦即模型中多项式的次数
26 # 返回的模型能够根据输入的x（默认是x0），返回相对应的预测的y
27 def get_model(deg):
28 return lambda input_x=x0: np.polyval(np.polyfit(x, y, deg), input_x)

这里需要解释Numpy里面带的两个函数：polyfit和polyval的用法。

polyfit(x, y, deg)：该函数会返回使得上述