感知机的损失函数：
L(w,b)=−∑xi∈Myi(w⋅xi+b) L(w, b) = - \sum_{x_i \in M}y_i (w \cdot x_i + b) 目标是最小化这个损失函数。

使用梯度下降法求出L(w,b)L(w,b)的偏导，使w,b向导数的负方向移动。
{∇wL(w,b)=−∑xi∈Myixi∇bL(w,b)=−∑xi∈Myi2 \begin{cases} \nabla_wL(w,b) = - \sum_{x_i \in M}y_ix_i \\ \nabla_bL(w,b) = - \sum_{x_i \in M}y_i && {2} \end{cases} 其中M是错误分类点的集合

由于perceptron使用随机梯度下降法，一次只基于一个点来调整w,b。
假设当前选择的误分类点是(xi,yi)(x_i, y_i)，那就相当集合M中只有(xi,yi)(x_i, y_i)这一个点，偏导公式（2）可简化为
{∇wL(w,b)=−yixi∇bL(w,b)=−yi \begin{cases} \nabla_wL(w,b) = - y_ix_i \\ \nabla_bL(w,b) = - y_i \end{cases}

令(w,b)向导数的负方向移动，学习率为η\eta，得到
{wnew=wold+ηyixibnew=bold+ηyi \begin{cases} w_{new} = w_{old} + \eta y_ix_i \\ b_{new} = b_{old} + \eta y_i \end{cases}

results matching ""

    No results matching ""