adaboost的训练误差为:
ERR=总样本数分类错误的样本数=N∑i=1NI(G(xi)≠yi)
adaboost算法最终分类器的误差界为:
ERR=N1i=1∑NI(G(xi)≠yi)1≤N1i=1∑Nexp(−yif(xi))2=m∏Zm3=m=1∏M(2√em(1−em))4=m=1∏M(2√1−4γm2)5≤exp(−2m=1∑Mγm2)6
说明:
(1):ERR的定义
(2):
I(G(xi)≠yi)=I(G(xi)≠yi)+0
当G(xi)≠yi时,
yif(xi)<0⇒exp(−yif(xi))>1=I(G(xi)≠yi)
当G(xi)=yi时,
yif(xi)>0⇒exp(−yif(xi))>1=I(G(xi)≠yi)>0
等式得证
(3):
N1i∑Nexp(−yif(xi))=N1i∑Nexp(−m∑MamyiGm(xi)),公式6=i∑w1ii∑Nexp(−m∑MamyiGm(xi)),公式1=Z1i∑w2i2∑Nexp(−m∑MamyiGm(xi)),公式8.4=m=1∏MZm
(4):
Zm=i=1∑Nwmiexp(−amyiGm(xi))=yi=Gm(xi)∑wmie−am+yi≠Gm(xi)∑wmieam,yiGm(xi)代表对样本i是否分类正确=(1−em)exp(−am)+emexp(am),公式3=(1−em)√1−emem+(em)√em1−em,t公式4=2√(1−em)em
(5):令γ=21−em
(6):【?】泰勒公式