• 分类模型：输出变量为分类型的分类预测模型；

• 回归模型：输出变量为连续数值型的分类预测模型。

• 决策树体现了对样本不断分组的过程；

• 决策树分为分类树和回归树；

• 决策树体现了输入变量和输出变量的取值之间的逻辑关系。最大特点：其分类预测是基于逻辑的。

• 方便理解：构造简单，表示方法直观，易于理解，可表示成If Then形式。

• 准确性高：挖掘出的分类规则准确性高，可清晰显示哪些字段重要。

• 数据属性多样：能够同时处理数据型和常规型属性。 

• 计算量小：计算量相对来说不是很大，且容易转化成分类规则。

• 数据准备简单：对于决策树，数据的准备往往是简单或者是不必要的。其他的技术往往要求先把数据一般化，比如去掉多余的或者空白的属性。

• 白盒模型：若给定一个观察的模型，则根据所产生的决策树很容易推出相应的逻辑表达式。

• 易于评测：易于通过静态测试来对模型进行评测。表示有可能测量该模型的可信度。

• 速度快：在相对短的时间内能够对大型数据源做出可行且效果良好的结果。

• 效率高：决策树只需要一次构建，反复使用，每一次预测的最大计算次数不超过决策树的深度。

• 缺乏伸缩性：由于进行的是深度优化搜索，故算法受内存大小限制，难于处理大训练集。

• 连续性的字段比较难预测，当类别较多时，错误可能会增加的比较快。一般算法在分类时，只是根据一个属性来分类。

• 在有噪声时，完全拟合将导致过分拟合，导致预测性能不好。

• 可能产生子树复制和碎片问题。

• 建树：用训练样本集完成决策树的建立过程；

• 剪枝：用测试样本集对所形成的决策树进行精简。

• 如何从众多输入变量中选择一个当前最佳的分组变量；

• 如何从分组变量的众多取值中找到一个最佳的分割点。

1. 事先指定决策树生长的最大深度，决策树生长到指定深度后就不再生长；

2. 事先指定样本量的最小值，节点样本量不应低于该值，否则不再生长。

1. 待决策树充分生长后，根据一定规则，剪去决策树中不具代表性的子树，边修剪边检验。

2. 事先指定一个允许的最大误差，修剪过程不断计算当前决策子树对输出变量的预测误差，高于允许最大误差时，停止剪枝，否则继续。

图2  决策树的修剪

       图2 中，生长初期，决策树在训练和测试样本集上的预测误差快速减少。随着树深度的增加，预测误差减少速度开始放缓。当树达到一定深度后，训练样本集上的误差仍继续减少，但在测试样本集上开始增大，出现过拟合。后剪枝应停止在预测误差较小且过拟合未出现时。