Jensen不等式介绍与考察

在EM算法的介绍中使用到了不等式，笔者意识到自己对这些数学知识已经有些生疏了，因此这篇博客回顾一下不等式的知识。

凸函数

凸函数的定义在笔者以前的博客里已经介绍的很多了，可以跳转到：凸函数

值得注意的是，凸函数的定义式： 就是不等式的两点形式

不等式

对于任意点集，若且，则对于凸函数满足 公式就是不等式，是公式的推广。

证明：

当时，显然成立。

假设时，公式成立。

则当时， 其中.

由，可以知道满足： 注意到 由 由 得证

其他形式

在概率论中，有

参考：

wikipedia Jensen's inequality