书中关于EM算法的收敛性写得有点混淆,在此记录一下。
EM算法的收敛性包含两方面:
- 似然函数序列的收敛 --- 无限接近于某一值
- 参数估计序列的收敛 --- 和之差小于某一值
算法过程中指出,当算法收敛时迭代结束,并在后面具体指出这里的算法收到是指参数估计序列
在《9.2 EM算法的收敛性》证明的则是似然函数序列。
通过证明:
- 似然函数序列是递增的
- 似然函数序列有上界L
得出:**似然函数序列收敛于某个小于L的值**
通过似然函数序列和参数估计序列的关系,直观上可以知道:
- 当参数估计序列收敛时,似然函数序列一定收敛
- 当似然函数序列收敛时,参数估计序列不一定收敛
由以上可知,
只能证明似然函数序列收敛,不能证明参数估计序列收敛,但迭代终止的条件是参数估计序列收敛
只是证明似然函数序列收敛于不大于L 的某一值,不能证明似然函数序列收敛于极大值点L,但我们希望的似然函数序列尽量接近极大值
所以,要选取几个不同的初值,并选择最好的。