提升树（boosting tree） 是以分类树或回归树为基本分类器的提升方法，是统计学习中性能最好的方法之一。

1. 模型

以决策树为基函数的加法模型
$f_M(x) = \sum_{m=1}^MT(x;\Theta_m)$ 其中：
$T(x;\Theta_m)$为决策树
$\Theta_m$为决策树的参数
M为树的个数
没有系数$a_m$

分类问题使用二叉分类树。
回归问题使用二叉回归树。

2. 策略

回归问题 -- 平方误差损失函数
分类问题 -- 指数损失函数
一般决策问题 -- 一般损失函数

3. 算法

第m步的模型是：
$f_m(x) = f_{m-1}(x) + T(x;\Theta_m)$

若m为当前模型，通过经验风险极小化确定下一棵决策树的参数为：
$\hat T(x;\Theta_m) = \arg \min_{\Theta_m}\sum_{i=1}^ML(y_i, f_{m-1}(x) + T(x;\Theta_m))$