线性可分支持向量机的策略是求得一个几何间隔最大的分离超平面,用数学语言表示以下约束最优化问题:
w,bmaxγs.t.yi(∣∣w∣∣w⋅xi+∣∣w∣∣b)≥γ,i=1,2,⋯,N1
考虑到几何间隔和函数间隔的关系几何间隔γ=∣∣w∣∣函数间隔γ^,则约束最优化问题为:
maxw,b∣∣w∣∣γ^s.t.yi(w⋅xi+b)≥γi,i=1,2,⋯,N2
在公式(2)中,函数间隔γ^的取值不影响最优化问题的解,因此令γ^=1,则约束最优化问题为:
maxw,b∣∣w∣∣1s.t.yi(w⋅xi+b)≥1,i=1,2,⋯,N3
由于最大化∣∣w∣∣1和最小化21∣∣w∣∣2是等价的,则约束最优化问题为:
minw,b21∣∣w∣∣2s.t.yi(w⋅xi+b)−1≥0,i=1,2,⋯,N4
这是一个凸二次规划问题,使用凸二次规划问题求解,结果用于算法线性可分SVM