线性可分支持向量机的策略是求得一个几何间隔最大的分离超平面,用数学语言表示以下约束最优化问题:
maxw,bγs.t.yi(w∣∣w∣∣⋅xi+b∣∣w∣∣)≥γ,i=1,2,⋯,N1 \begin{aligned} \max_{w,b} \quad \gamma \\ s.t. \quad y_i(\frac {w}{||w||} \cdot x_i + \frac{b}{||w||}) \ge \gamma, i = 1,2,\cdots,N && {1} \end{aligned}

考虑到几何间隔和函数间隔的关系几何间隔γ=函数间隔γ^∣∣w∣∣\text{几何间隔}\gamma = \frac {\text{函数间隔} \hat \gamma}{||w||},则约束最优化问题为:
maxw,bγ^∣∣w∣∣s.t.yi(w⋅xi+b)≥γi,i=1,2,⋯,N2 \begin{aligned} max_{w,b} \quad \frac {\hat \gamma}{||w||} \\ s.t. \quad y_i(w \cdot x_i + b) \ge \gamma_i, i = 1,2,\cdots,N && {2} \end{aligned}

在公式(2)中,函数间隔γ^\hat \gamma的取值不影响最优化问题的解,因此令γ^=1\hat \gamma = 1,则约束最优化问题为:
maxw,b1∣∣w∣∣s.t.yi(w⋅xi+b)≥1,i=1,2,⋯,N3 \begin{aligned} max_{w,b} \quad \frac {1}{||w||} \\ s.t. \quad y_i(w \cdot x_i + b) \ge 1, i = 1,2,\cdots,N && {3} \end{aligned}

由于最大化1∣∣w∣∣\frac {1}{||w||}和最小化12∣∣w∣∣2\frac{1}{2}||w||^2是等价的,则约束最优化问题为:
minw,b12∣∣w∣∣2s.t.yi(w⋅xi+b)−1≥0,i=1,2,⋯,N4 \begin{aligned} min_{w,b} \quad \frac {1}{2}||w||^2 \\ s.t. \quad y_i(w \cdot x_i + b)-1 \ge 0, i = 1,2,\cdots,N && {4} \end{aligned}

这是一个凸二次规划问题,使用凸二次规划问题求解,结果用于算法线性可分SVM

results matching ""

    No results matching ""