假设A和B是两个事件,根据贝叶斯公式:
P(A∣B)∗P(B)=P(A,B)=P(B∣A)P(A)
又假如在这两个事件中,我们关注的是事件A,那么称:
P(A)为先验概率,即A发生的概率
P(B|A)为条件概率
P(A|B)为后验概率
根据先验概率和条件概率求后验概率:
P(A∣B)=P(B)P(B∣A)P(A)
在朴素贝叶斯模型中,将Y=Ck看作是事件A,将X=x看作事件B,根据给定的输入x求Y得到不同值的概率:
P(Y=Ck∣X=x)=P(X=x)P(X=x∣Y=Ck)P(Y=Ck)1
公式(1)中P(Y=Ck)是先验概率,可以直接根据样本计算出来。
公式(1)中的P(X=x∣Y=Ck)不能由样本直接计算。
将x展开为
x=(x(1),x(2),⋯,x(n))2
根据朴素贝叶斯模型中对数据的假设:用于分类的特征在类确定的条件下都是条件独立的。公式(2)中的x(1),x(2),⋯,x(n)就是这些条件独立的特征,得到:
P(X=x∣Y=Ck)=P(X=(x(1),x(2),⋯,x(n))∣Y=Ck)=P(x(1)∣y=Ck)∗P(x(2)∣y=Ck)∗⋯∗P(x(n)∣y=Ck)3
公式(3)中的每个P(x|y)都能根据样本计算出来,最终计算出总的P(X=x∣Y=Ck)
公式(1)中的P(X=x)可根据概率论公式得出:
P(X=x)=k∑P(Y=Ck)j∏P(X(j)=x(j)∣y=Ck)4
把公式(3)、(4)代入公式(1)得:
P(Y=Ck∣X=x)=∑kP(Y=Ck)∏jP(X(j)=x(j)∣y=Ck)P(Y=Ck)∏jP(X(j)=x(j)∣y=Ck),k=1,2,⋯,K