机器学习05：核方法(KernelMethod)

对于完全不可分的问题，我们采用特征转换的方式，在 SVM 中，我们引入正定核函数来直接对内积进行变换。

使用核方法的主要动机有两条：非线性带来高维转换、对偶带来内积计算。

核方法可以应用在很多问题上，在分类问题中，对于严格不可分问题，我们引入一个特征转换函数将原来的不可分的数据集变为可分的数据集，然后再来应用已有的模型。往往将低维空间的数据集变为高维空间的数据集后，数据会变得可分（数据变得更为稀疏）：

Cover TH：高维空间比低维空间更易线性可分。

这是使用核方法的动机之一：非线性带来高维转换。

应用在 SVM 中时，观察上面的 SVM 对偶问题： 在求解的时候需要求得内积，于是不可分数据在通过特征变换后，需要求得变换后的内积。我们常常很难求得变换函数的内积。于是直接引入内积的变换函数： 这是使用核方法的动机之二：对偶带来内积计算。

称 为一个正定核函数，其中 是 Hilbert 空间（完备的线性内积空间），如果去掉内积这个条件我们简单地称为核函数。

是一个核函数。

证明：

正定核函数有下面的等价定义：

如果核函数满足：

1. 对称性
2. 正定性

那么这个核函数时正定核函数。

证明：

1. 对称性 ，显然满足内积的定义
2. 正定性 ，对应的 Gram Matrix 是半正定的。

要证： 半正定+对称性。

1. ：首先，对称性是显然的，对于正定性： 任意取 ，即需要证明 ： 这个式子就是内积的形式，Hilbert 空间满足线性性，于是正定性的证。

2. ：对于 进行分解，对于对称矩阵 ，那么令 ，其中 是特征向量，于是就构造了