1. 函数间隔与几何间隔

1.1. 函数间隔 functional margin

对于给定的训练数据集T和超平面(w, b)， 定义超平面(w, b)关于样本$(x_i, y_i)$的函数间隔为：
$\hat \gamma_i = y_i(w \cdot x_i + b)$ 定义超平面(w, b)关于样本数据集T的函数间隔为：
$\hat \gamma = \min_{i=1,\cdots,N}\hat \gamma_i$ 即所有$\hat \gamma_i$的最小值。

1.2. 几何间隔 geometric margin

对于给定的训练数据集T和超平面(w, b)， 定义超平面(w, b)关于样本$(x_i, y_i)$的几何间隔为：
$\gamma_i = y_i(\frac {w}{||w||} \cdot x_i + \frac{b}{||w||})$ 定义超平面(w, b)关于样本数据集T的函数间隔为：
$\gamma = \min_{i=1,\cdots,N}\hat \gamma_i$ 即所有$\gamma_i$的最小值。

1.3. 函数间隔 VS 几何间隔

函数间隔的作用：表示分类预测的正确性的准确度。
函数间隔的缺点：当w和b成比例改变时，超平面没有改变，但函数间隔改变了。
函数间隔的改进：几何间隔

几何间隔的特点：当w和b成比例改变时，几何间隔不会改变。

函数间隔与几何间隔的关系：
$\text{几何间隔}\gamma = \frac {\text{函数间隔} \hat \gamma}{||w||}$ 当||w||=1时，函数距离 = 几何距离