1. 核技巧在线性SVM中的应用

根据上文可知,将核技巧应用于线性SVM中,可使线性SVM能够解决非线性问题。

根据上文可知,
线性SVM最终要解决的是以下最优化问题: W(a)=12i=1Nj=1Naiajyiyj(xixj)i=1Nai1 \begin{aligned} W(a) = \frac{1}{2}\sum_{i=1}^N\sum_{j=1}^Na_ia_jy_iy_j\color{red}{(x_i\cdot x_j)} - \sum_{i=1}^Na_i && {1} \end{aligned} 以及最终的分类决策函数为:
f(x)=sign(i=1Naiyixix+yji=1Nyiai(xixj))2 \begin{aligned} f(x) = \text {sign}(\sum_{i=1}^Na^*_iy_i\color{red}{x_i^* \cdot x} + y_j - \sum_{i=1}^Ny_ia^*_i\color{red}{(x_i \cdot x_j)}) && {2} \end{aligned}

在公式(1)和公式(2)中都只涉及x之间的内积,这些内积极都可以直接用K(x,z)K(x,z)代替
公式(1)变为:
W(a)=12i=1Nj=1NaiajyiyjK(xi,xj)i=1Nai3 \begin{aligned} W(a) = \frac{1}{2}\sum_{i=1}^N\sum_{j=1}^Na_ia_jy_iy_j\color{red}{K(x_i,x_j)} - \sum_{i=1}^Na_i && {3} \end{aligned}

公式(2)变为:
f(x)=sign(i=1NaiyiK(xi,x)+yji=1NyiaiK(xi,xj))4 \begin{aligned} f(x) = \text {sign}(\sum_{i=1}^Na^*_iy_i\color{red}{K(x_i,x)} + y_j - \sum_{i=1}^Ny_ia^*_i\color{red}{K(x_i, x_j)}) && {4} \end{aligned}

results matching ""

    No results matching ""