1. 最大熵模型
1.1. 模型
求公式(1)对数似然函数的极大值w^,再把w^代入公式(2)最大熵模型求出Pw(y∣x)
对数似然函数
L(w)=x,y∑P~(x,y)i=1∑nwifi(x,y)−x∑P~(x)logZw(x)(1)
最大熵模型:
Pw(y∣x)=Zw(x)1exp(i=1∑nwifx(x,y))Zw(x)=y∑exp(i=1∑nwifx(x,y))2
1.2. 求公式(1)对数似然函数极大值的算法
改进的迭代尺度法(IIS)