1. 最大熵模型

1.1. 模型

求公式(1)对数似然函数的极大值w^\hat w,再把w^\hat w代入公式(2)最大熵模型求出Pw(yx)P_w(y|x)

对数似然函数
L(w)=x,yP~(x,y)i=1nwifi(x,y)xP~(x)logZw(x)(1) \begin{aligned} L(w) = \sum_{x,y} \tilde P(x, y) \sum_{i=1}^n w_if_i(x, y) - \sum_x \tilde P(x) \log Z_w(x) && (1) \end{aligned}

最大熵模型:
Pw(yx)=1Zw(x)exp(i=1nwifx(x,y))Zw(x)=yexp(i=1nwifx(x,y))2 \begin{aligned} P_w(y|x) = \frac{1}{Z_w(x)}\exp (\sum_{i=1}^nw_if_x(x, y)) \\ Z_w(x) = \sum_y \exp (\sum_{i=1}^nw_if_x(x, y)) && {2} \end{aligned}

1.2. 求公式(1)对数似然函数极大值的算法

改进的迭代尺度法(IIS)

results matching ""

    No results matching ""