在统计科学中，什么是期望最大化算法？

在统计科学中，什么是期望最大化算法？

用于最大似然估计（MLE)的一个数值方法是基于期望最大化算法的，现在我们将对此进行描述。期望最大化（EM)算法是在一些变量缺失或者存在隐藏变量时，决定对数形式的似然估计量的迭代过程。EM算法由Dempster,Laird和Rubin(此后称为DLR)完整地推导得到。他们将EM算法作为一个一致的、完整的方法提出，给出了其背后的数学上以及统计上的合理性。Rubin和Thayer详述了EM算法在因素模型中的应用。

如果因素可以被观测到，我们可以通过在给定所有观测到的数据情况下最大化似然估计量来直接应用MLE法则。然而，当因素没有被观测到时，我们就需要使用迭代的方法来计算模型参数。

直观地讲（虽然不严谨），EM方法是一个在E步骤与M步骤这两个步骤之间交替进行的迭代的贝叶斯方法。E步骤假设模型的参数已知，在给定已观测到的数据和先前步骤中估计的模型参数情况下，对隐藏变量作出最佳估计。紧接着，M步骤通过ML估计方法使用在先前步骤估测出的隐藏变量来计算新的模型参数。然后新的模型参数被用于构建隐藏数据的新估计，进而开始一个新的循环。由模型参数最初的猜想开始，EM方法在使用旧的参数估计新的隐藏数据和使用旧的隐藏数据估计新的参数这两个步骤之间不断地交替。

这种粗略的、简化的描述突显了E步骤中EM方法的贝叶斯属性，即在给出实际观测值的情况下对隐藏因素进行估计。但是，这是一个粗略的描述，正如我们在下面段落中将看到的那样，E步骤没有直接估计隐藏数据，而是计算对数似然估计量的期望值。

在上式中可以观察到,我们已经将基于完整数据联合分布的对数形式的似然估计量替代为基于隐藏因素给定条件下观测数据条件分布的对数形式的似然估计量。

由于因素是标准正交化变量，我们可以写出

E步骤

M步骤

从EM算法中已经发展出了许多其他形式的模型,尤其是Liu与 Rubin中所描述的期望条件最大化模型。这些方法可以解决EM 算法有时收敛速度慢的问题。

牛市通网是一个牛股推荐网与低风险投资知识网，可以在线联系客服领取牛股。牛市通网从权威的投资专家、金融分析师等投资信息中挑选优质的文章进行发布。牛市通网主要为投资者提供股票知识、股票观点、股票分析和明智金融投资讨论等信息。