在感知机的原始形式中,模型为:
f(x)=sign(w⋅x+b)sign(x)={+1,−1,x≥0x<0
对应的梯度下降法的偏导公式为:
{wnew=wold+ηyixibnew=bold+ηyi
在感知机的对偶形式中,模型演变为:
f(x)=sign(j=1∑majyjxj⋅x+b)sign(x)={+1,−1,x≥0x<0
感知机的对偶模型,实际是把原始模型中的w,b展开为:
⎩⎪⎪⎪⎪⎨⎪⎪⎪⎪⎧w=j=1∑majyjxjb=j=1∑majyj(3)
对应的梯度下降法的偏导公式中的w则演变为:
(j=1∑majyjxj)new=(j=1∑majyjxj)old+ηyixi4
对以上公式进一步简化:
- 由于使用的是随机梯度下降法,假设误分类集合M中只有一个点(xj,yj)
- 公式(4)左右两边都去掉yjxj,得到
(aj)new=(aj)old+η5
公式(3)中的b更新方式不变,与公式(5)结合,得:
{(aj)new=(aj)old+ηbnew=bold+ajyj(6)