Jensen不等式 - MLE极大似然估计和EM最大期望算法

　　Jensen不等式：

　　设f是定义域为实数的函数，如果对于所有的实数x。如果对于所有的实数x，f（x）的二次导数大于等于0，那么f是凸函数。当x是向量时，如果其hessian矩阵H是半正定的，那么f是凸函数。如果只大于0，不等于0，那么称f是严格凸函数。

　　Jensen不等式表述如下：

　　如果f是凸函数，X是随机变量，那么：E［f（X）］》=f（E［X］）

　　特别地，如果f是严格凸函数，当且仅当X是常量时，上式取等号。

　　如果用图表示会很清晰：

　　

　　图中，实线f是凸函数，X是随机变量，有0.5的概率是a，有0.5的概率是b。（就像掷硬币一样）。X的期望值就是a和b的中值了，图中可以看到E［f（X）］》=f（E［X］）成立。

　　当f是（严格）凹函数当且仅当-f是（严格）凸函数。

　　Jensen不等式应用于凹函数时，不等号方向反向。

　　回到公式（2），因为f（x）=log x为凹函数（其二次导数为-1/x2《0）。

　　（2）式中的期望，（考虑到E（X）=∑x*p（x），f（X）是X的函数，则E（f（X））=∑f（x）*p（x）），又，所以就可以得到公式（3）的不等式了（若不明白，请拿起笔，呵呵）：

　　

　　OK，到这里，现在式（3）就容易地求导了，但是式（2）和式（3）是不等号啊，式（2）的最大值不是式（3）的最大值啊，而我们想得到式（2）的最大值，那怎么办呢？

　　现在我们就需要一点想象力了，上面的式（2）和式（3）不等式可以写成：似然函数L（θ）》=J（z，Q），那么我们可以通过不断的最大化这个下界J，来使得L（θ）不断提高，最终达到它的最大值。

　　见上图，我们固定θ，调整Q（z）使下界J（z，Q）上升至与L（θ）在此点θ处相等（绿色曲线到蓝色曲线），然后固定Q（z），调整θ使下界J（z，Q）达到最大值（θt到θt+1），然后再固定θ，调整Q（z）……直到收敛到似然函数L（θ）的最大值处的θ*。这里有两个问题：什么时候下界J（z，Q）与L（θ）在此点θ处相等？为什么一定会收敛？

　　首先第一个问题，在Jensen不等式中说到，当自变量X是常数的时候，等式成立。而在这里，即：

　　

　　再推导下，由于（因为Q是随机变量z（i）的概率密度函数），则可以得到：分子的和等于c（分子分母都对所有z（i）求和：多个等式分子分母相加不变，这个认为每个样例的两个概率比值都是c），则：

　　

　　至此，我们推出了在固定参数θ后，使下界拉升的Q（z）的计算公式就是后验概率，解决了Q（z）如何选择的问题。这一步就是E步，建立L（θ）的下界。接下来的M步，就是在给定Q（z）后，调整θ，去极大化L（θ）的下界J（在固定Q（z）后，下界还可以调整的更大）。