书中关于EM算法的收敛性写得有点混淆,在此记录一下。

EM算法的收敛性包含两方面:

  1. 似然函数序列P(Yθ(i))P(Y|\theta^{(i)})的收敛 --- 无限接近于某一值
  2. 参数估计序列θ(i)\theta^{(i)}的收敛 --- θ(i)\theta^{(i)}θ(i1)\theta^{(i-1)}之差小于某一值

算法过程中指出,当算法收敛时迭代结束,并在后面具体指出这里的算法收到是指参数估计序列

在《9.2 EM算法的收敛性》证明的则是似然函数序列
通过证明:

  1. 似然函数序列是递增的
  2. 似然函数序列有上界L
    得出:**似然函数序列收敛于某个小于L
    的值**

通过似然函数序列和参数估计序列的关系,直观上可以知道:

  1. 当参数估计序列收敛时,似然函数序列一定收敛
  2. 当似然函数序列收敛时,参数估计序列不一定收敛

由以上可知,
只能证明似然函数序列收敛,不能证明参数估计序列收敛,但迭代终止的条件是参数估计序列收敛
只是证明似然函数序列收敛于不大于L 的某一值,不能证明似然函数序列收敛于极大值点L,但我们希望的似然函数序列尽量接近极大值

所以,要选取几个不同的初值,并选择最好的。

results matching ""

    No results matching ""