EM算法是一种迭代算法,用于含有隐变量(hidden variable)的概率模型的极大似然估计,或极大后验概率估计。
E:expectation,求期望
M:maximization,求极大
E、M代表了EM算法中最重要的两个步骤
1. 模型
含有隐变量的概率模型
EM算法可用于生成模型的非监督学习。
生成模型由联合概率分布P(X,Y)表示,可以认为非监督学习训练数据是联合概率分布产生的数据。
X为观测数据,Y为未观测数据。
2. 策略
极大化观测数据(不完全数据)Y关于参数θ的对数似然函数,即极大化:
L(θ)=logP(Y∣θ)=logz∑P(Y,Z∣θ)=log(Z∑P(Y∣Z,θ)P(Z∣θ))
3. 算法