MLE极大似然估计和EM最大期望算法

　　机器学习十大算法之一：EM算法。能评得上十大之一，让人听起来觉得挺NB的。什么是NB啊，我们一般说某个人很NB，是因为他能解决一些别人解决不了的问题。神为什么是神，因为神能做很多人做不了的事。那么EM算法能解决什么问题呢？或者说EM算法是因为什么而来到这个世界上，还吸引了那么多世人的目光。

　　我希望自己能通俗地把它理解或者说明白，但是，EM这个问题感觉真的不太好用通俗的语言去说明白，因为它很简单，又很复杂。简单在于它的思想，简单在于其仅包含了两个步骤就能完成强大的功能，复杂在于它的数学推理涉及到比较繁杂的概率公式等。如果只讲简单的，就丢失了EM算法的精髓，如果只讲数学推理，又过于枯燥和生涩，但另一方面，想把两者结合起来也不是件容易的事。所以，我也没法期待我能把它讲得怎样。希望各位不吝指导。

　　EM算法 ：

　　相信大家对似然函数已经手到擒来了。那么我们就来看看高深的。

　　一个概率模型有时候既含有观察变量，有含有隐变量。如果只有观察变量那么我们可以用最大似然法（或者贝叶斯）估计未知参数，但是如果还含有隐变量就不能如此简单解决了。这时候就需要EM算法。

　　大家可能对这种问题不是很明白，也不太明白隐变量是什么意思。我举个例子（引用统计学习方法的例子）：

　　有3枚硬币分别记为A，B，C，并且出现正面概率分别为p ，q ，k.规则如下：先抛硬币A，如果为正面就选择B，否则选择C，然后再将选择的硬币（B或者C抛），然后观测结果。正面为1 反面为0.独立重复实验10次结果如下：1，1，1，0，0，0，1，1，1，0。我们并不知道抛A硬币时为正面还是方面，只知道最后的结果，问如何估计p，q，k的值？

　　如果我们知道抛的是哪个硬币就可以使用最大似然估计来估计这些参数，但是我们不知道。因为有p的原因，所以无法估计，这个p就是隐变量

　　log（Θ）=Σlogp（x;Θ）=Σlogp（x，p;Θ），Θ就是要求的q，k 待定参数，x为观测数据，因为这个p导致我们无法求解MaxΣlogp（x;Θ）。

　　还比如说调查 男生 女生身高的问题。身高肯定是服从高斯分布。以往我们可以通过对男生抽样进而求出高斯分布的参数，女生也是，但是如果我们只能知道某个人的高度，却不能知道他是男生或者女生（隐含变量），这时候就无法使用似然函数估计了。这个时候就可以使用EM方法。

　　分为E和M两步：

　　E步：

　　首先通过随机赋值一个我们要求的参数，然后求出另外一个隐含参数的后验概率。这是期望计算过程，我们首先通过随便赋予模型参数的初始值p，q，k，求出各个数据到模型的结果。

　　M步

　　用求出来的隐含参数的后验概率进行对传统的似然函数估计，对要求参数进行修正。迭代直到前后两次要求的参数一样为止

　　其实可以这么简单理解：就是在无监督聚类的时候，我们不知道模型的参数（比如为高斯分布），这时候我们就随便赋值给模型的待定参数（u和ó）。然后我们就可以计算出各个数据分别属于那一类。然后我们用这些分类好的数据重新估计u和ó。

　　EM算法推导

　　假设我们有一个样本集{x（1），…，x（m）}，包含m个独立的样本。但每个样本i对应的类别z（i）是未知的（相当于聚类），也即隐含变量。故我们需要估计概率模型p（x，z）的参数θ，但是由于里面包含隐含变量z，所以很难用最大似然求解，但如果z知道了，那我们就很容易求解了。

　　对于参数估计，我们本质上还是想获得一个使似然函数最大化的那个参数θ，现在与最大似然不同的只是似然函数式中多了一个未知的变量z，见下式（1）。也就是说我们的目标是找到适合的θ和z让L（θ）最大。那我们也许会想，你就是多了一个未知的变量而已啊，我也可以分别对未知的θ和z分别求偏导，再令其等于0，求解出来不也一样吗？

　　

　　本质上我们是需要最大化（1）式（对（1）式，我们回忆下联合概率密度下某个变量的边缘概率密度函数的求解，注意这里z也是随机变量。对每一个样本i的所有可能类别z求等式右边的联合概率密度函数和，也就得到等式左边为随机变量x的边缘概率密度），也就是似然函数，但是可以看到里面有“和的对数”，求导后形式会非常复杂（自己可以想象下log（f1（x）+ f2（x）+ f3（x）+…）复合函数的求导），所以很难求解得到未知参数z和θ。那OK，我们可否对（1）式做一些改变呢？我们看（2）式，（2）式只是分子分母同乘以一个相等的函数，还是有“和的对数”啊，还是求解不了，那为什么要这么做呢？咱们先不管，看（3）式，发现（3）式变成了“对数的和”，那这样求导就容易了。我们注意点，还发现等号变成了不等号，为什么能这么变呢？这就是Jensen不等式的大显神威的地方。