机器学习12：高斯混合模型(GaussianMixtureModel)(2)

EM算法的迭代式子为 本篇博客使用EM算法求解GMM模型。

先假定数据集的规模为，GMM中有个高斯分布，隐变量的规模为。

E-step

将其中的第二个求和号展开，并考察第一项 其他项同理，回代入 其中

将代入 这就是我们要最大化的式子。

M-step

中包括

由于是带约束的最优化问题 因此使用乘子法：

设 则令 令式子等号两边乘，然后对从累加到，得到 得到 将代入，则得到

这两个量是无约束的，因此直接求导即可。

1. 先求解

记 令 解得

2. 再求解

记 令 解得

参考：

cs229-notes8