1. CART决策树

CART：Classification And Regression Tree
最小二乘回归树

1.1. 回归树模型

$f(x) = \sum_{m=1}^{M}C_mI(x \in R_m)$

所设CART树分成了M个叶子结点，每个叶子结点对应的输出标签为$C_m$

即： $f(x) = Cm, if x \in R_m$

1.2. 划分

选择第j个特征$x^{(j)}$和它的取值s：
$\begin{aligned} R_1(j, s) = \{x | x^{(j)} \le s\} \\ R_2(j, s) = \{x | x^{(j)} \gt s\} \end{aligned}$

1.3. 策略

寻找最优变量j, s使得R1、R2的平方误差之和最小

1.4. CART和ID3、C4.5的区别