支持向量机（核函数的定义）

根据机器学习相关介绍（10）——支持向量机（低维到高维的映射），支持向量机可通过引入φ(x)函数，将低维线性不可分问题转换为高维线性可分问题。转换后支持向量机的优化问题可改写为：

最小化：1/2||ω||2+C∑δi或1/2||ω||2+C∑δi2，

限制条件：（1）δi≥0，i=1~N；（2）yi(ωTφ(Xi)+b)≥1-δi，i=1~N。

欲求解上述优化问题，需先知道φ(x)的形式。

但支持向量机的创始人Vladimir Vapnik提出结论：完成测试样本的类别预测不必须知道φ(x)的具体形式，如果对任意两个向量X1、X2已知：

K(X1，X2)=φ(X1)Tφ(X2)

则仍可以完成测试样本的类别预测（具体如何完成在下篇文章中叙述）。

上式中K(X1，X2)被定义为核函数（Kernel Function），核函数是一个实数（上式中φ(X1)Tφ(X2)为两个维度相同的行向量和列向量相乘的形式，其结果为一个实数）。

上述结论成立的一个必要条件是核函数K与低维到高维映射φ(x)具有一一对应的关系，即只有核函数K与映射φ(x)一一对应关系，核函数K才能代替φ(x)完成测试样本的类别预测。

一般情况下，核函数K与映射φ(x)具有一一对应关系，下文以两个案例说明核函数K与映射φ(x)的一一对应关系。

案例一：

假设：φ(x)是一个将二维向量映射为三维向量的映射，其中，二维向量X=[x1，x2]T，映射φ(x)=φ([x1，x2]T)=[x12，x1x2，x22]；

再假设：X1=[x11，x12]T，X2=[x21，x22]T；

则φ(X1)=[x112，x11x12，x122]，φ(X2)=[x212，x21x22，x222]；

若核函数K(X1，X2)=φ(X1)Tφ(X2)，则K(X1，X2)=[x112，x11x12，x122][x212，x21x22，x222]T=x112x212+x11x12x21x22+x122x222。

案例二：

假设：K(X1，X2)

=(x11x21+x12x22+1)2

=x112x212+x122x222+2x11x12x21x22+2x11x21+2x12x22

=φ(X1)Tφ(X2)；

再假设：X=[x1，x2]T；

则φ(x)=φ([x1，x2]T)=[x12，x22，1，√2x1x2，√2x1，√2x2]T（该式中√代表根号，该式推导过程暂不知，若将X1=[x11，x12]T，X2=[x21，x22]T代入该式，再通过φ(X1)Tφ(X2)=K(X1，X2)，可反推导出案例二中的核函数），φ(x)中各维度值可相互交换顺序。

但当核函数不能转化为两个φ(x)内积形式时，核函数与映射φ(x)不具有一一对应关系。因此，核函数需可以转化为两个φ(x)内积形式。

K(X1，X2)可转化为φ(X1)Tφ(X2)（即可转化为两个φ(x)内积形式）的充要条件：

（1）K(X1，X2)=K(X2，X1)（即核函数具有交换性）

（2）对于任意的Ci（i=1~N）和任意的N，有：

即核函数K具有半正定性。

审核编辑：刘清