基函数为回归数：
$T(x;\Theta) = \sum_{j=1}^Jc_jI(x \in R_j)$

前向分步算法为：
$\begin{aligned} f_o(x) = 0 \\ f_m(x) = f_{m-1}(x) + T(x;\Theta_m), m = 1,2,\cdots,M \\ f_M(x) = \sum_{m=1}^MT(x;\Theta_m) \end{aligned}$

假设当前模型为$f_{m-1}(x)$，解得第m棵树的参数为：
$\hat \Theta_m \arg\min_{\Theta_m}\sum_{i=1}^NL(y_i, f_{m-1}(x_i)+T(x;\Theta_m))$

采用平方误差损失函数：
$L(y, f(x)) = (y-f(x))^2$

其损失变为：
$L(y, f_{m-1}(x)+T(x;\Theta_m)) = (y-f_{m-1}(x)-T(x;\Theta_m))^2$
当$y-f_{m-1}(x)=T(x;\Theta_m)$时，L最小。
$y-f_{m-1}(x)$称为当前拟合数据的残差(residual)。
直观解释为：新的回归树只是简单地拟合当前模型的残差。