机器学习0：引入与数学基础

Posted on 2023-12-30 Edited on 2024-06-30 In 机器学习笔记 Views:

从本篇博客开始记录机器学习的学习笔记

本篇博客介绍了频率派、贝叶斯派的观点，并且推导了一维/二维高斯分布参数的最大似然估计。

Introduction

对概率的诠释有两大学派，一种是频率派另一种是贝叶斯派。后面我们对观测集采用下面记号：这个记号表示有个样本，每个样本都是维向量。其中每个观测都是由生成的。

中的是一个常量。对于个观测来说观测集的概率为。为了求的大小，我们采用最大对数似然MLE的方法：

贝叶斯派认为中的不是一个常量。这个满足一个预设的先验的分布。于是根据贝叶斯定理依赖观测集参数的后验可以写成：

为了求的值，我们要最大化这个参数后验MAP：

其中第二个等号是由于分母和没有关系。求解这个值后计算，就得到了参数的后验概率。其中叫似然，是我们的模型分布。得到了参数的后验分布后，我们可以将这个分布用于预测贝叶斯预测：其中积分中的被乘数是模型，乘数是后验分布。

频率派和贝叶斯派分别给出了一系列的机器学习算法。频率派的观点导出了一系列的统计机器学习算法而贝叶斯派导出了概率图理论。在应用频率派的 MLE 方法时最优化理论占有重要地位。而贝叶斯派的算法无论是后验概率的建模还是应用这个后验进行推断时积分占有重要地位。因此采样积分方法如 MCMC 有很多应用。

高斯分布在机器学习中占有举足轻重的作用。在 MLE 方法中：

一般地，高斯分布的概率密度函数PDF写为：

带入 MLE 中我们考虑一维的情况

首先对的极值可以得到：于是：其次对中的另一个参数，有：于是：值得注意的是，上面的推导中，首先对求 MLE，然后利用这个结果求，因此可以预期的是对数据集求期望时是无偏差的：但是当对求期望的时候由于使用了单个数据集的，因此对所有数据集求期望的时候我们会发现是有偏的：

所以：

多维高斯分布表达式为：其中，为协方差矩阵，一般而言也是半正定矩阵。这里我们只考虑正定矩阵。首先我们处理指数上的数字，指数上的数字可以记为和之间的马氏距离。对于对称的协方差矩阵可进行特征值分解，，于是：

我们注意到是在特征向量上的投影长度，因此上式子就是取不同值时的同心椭圆。

下面我们看多维高斯模型在实际应用时的两个问题

参数的自由度为对于维度很高的数据其自由度太高。解决方案：高自由度的来源是有个自由参数，可以假设其是对角矩阵，甚至在各向同性假设中假设其对角线上的元素都相同。前一种的算法有 Factor Analysis，后一种有概率 PCA(p-PCA) 。
第二个问题是单个高斯分布是单峰的，对有多个峰的数据分布不能得到好的结果。解决方案：高斯混合GMM 模型。

下面对多维高斯分布的常用定理进行介绍。

我们记，已知。

首先是一个高斯分布的定理：

定理：已知，那么。

证明：，。

下面利用这个定理得到这四个量。

，代入定理中得到：所以。
同样的，。
对于两个条件概率，我们引入三个量：特别的，最后一个式子叫做的 Schur Complementary。可以看到：所以：利用这三个量可以得到。因此：

这里同样用到了定理。
同样：所以：

下面利用上边四个量，求解线性模型：

已知：，求解：。

解：令，所以，，因此：引入，我们可以得到。对于这个协方差可以直接计算：注意到协方差矩阵的对称性，所以。根据之前的公式，我们可以得到：