γjk代表第j个观测值是否选择了第k个模型,1:是,0:否
γ^jk=E(γjk∣y,θ)代表在y和θ已知的情况下γjk的条件期望。
γ^jk=E(γjk∣y,θ)=P(γjk=1∣y,θ)=∑kP(γjk=1,yj∣θ)P(γjk=1,yj∣θ)=∑kP(yj∣γjk=1,θ)P(γjk=1∣θ)P(yj∣γjk=1,θ)P(γjk=1∣θ)=∑kakϕ(yj∣θk)akϕ(yj∣θk)1234
关于以上公式的说明:
(1):离散变量\gamma_{jk}的取值范围为0和1。根据离散型变量的期望公式,得:
E(γjk∣y,θ)=1∗P(γjk=1∣y,θ)+0∗P(γjk=0∣y,θ)
(2):
P(γjk=1∣y,θ)=P(γjk=1∣yj,θ)=∑kP(γjk∣yj=1,θ)P(γjk=1∣yj,θ)=∑kP(γjk∣yj=1,θ)P(yj∣θ)P(γjk=1∣yj,θ)P(yj∣θ)=∑kP(γjk=1,yj∣θ)P(γjk=1,yj∣θ)只有yj与P(γjk)有关,其它y都可以忽略根据γjk的定义,k∑P(γjk=1)=1,与yj和θ无关分子分母同乘以P(yj∣θ)贝叶斯公式,P(A∣B)P(B)=P(A,B)
(3):贝叶斯公式,P(A, B) = P(B|A)P(A)
(4):P(γjk=1∣θ)代表选择模型k的概率,为ak
P(yj∣γjk=1,θ)代表通过第k的模型得到yj的概率,为ϕ(yj∣θk)