所谓的决策树算法， 通俗的说就是 建立一个树形的结构，通过这个结构去一层一层的筛选判断问题是否好坏的算法。
比如判断一个西瓜是否好瓜， 有20条西瓜的样本提供给你，让你根据这20条（通过机器学习）建立起一个树形结构。并能够用这个树形结构来判断更多的样本是否好的西瓜。
20个样本中包含了其中以下几个类型：
1.色泽（取值：青绿，乌黑，浅白）；
2.敲声（取值：浊响，清脆，沉闷）；
3.纹理（取值：清晰，稍糊，模糊）；
怎样才能建立这个牛逼哄哄的大树呢？
那就不能不提到一个概念：熵， 但我发现， 每当提一个数学概念， 人们就会对文章产生怨念，并有立马把文章扔一边的冲动。 那咱们换个接地气的说话：“稳”， 对， 要找几条最稳当，我们最能猜的出来结果的几条样本。并根据这几条最稳当的样本一层一层的建立树形结构。
什么算稳， 你这次考第一名，下次考倒数第一名算稳吗， 肯定不算。长时间的稳定在一个位置才算稳， 不仅仅是长时间稳定在第一名， 长时间稳定在倒数第一名同样算稳定。引申到西瓜的样本里就是：如果这个类型的样本下的西瓜绝大多数是好瓜， 或者绝大多数是坏瓜，那么他就是一个非常好的建立决策树根节点的选择。
比如上面的3个类型中色泽的取值里， 青绿色的瓜有3个好瓜，3个坏瓜，乌黑色的瓜里有3个好瓜3个坏瓜，浅白的同样有3个好瓜3个坏瓜，大家觉得他是一个好的建立根节点的选择吗， 当然不是！因为他的成绩很不稳定，换句话说，我们无法根据这个色泽的属性来准确的判定这是否是一个好瓜，再或者说“色泽”这个属性跟判断好坏没有太大的联系。
反过来如果 色泽属性里 ，青绿色的瓜有6个好瓜0个坏瓜，乌黑色有6个好瓜，0个坏瓜，浅白色有0个好瓜，6个坏瓜。我们是不是 很直观的发现色泽属性能很好的判断是否好瓜。那属性色泽就是很好的根节点候选者。
假如我们以色泽建立了根节点， 往下怎么办， 好办，看看色泽类型有几种取值（青绿，乌黑，浅白），就开几个下面的分支，并根据划分的样本重复上面的步骤。树形结构就这么建立起来了。
现在问题来了，如果这个属性的取值不像上面那么明显，没有看起来的那么绝对， 怎么办？ 大家不用担心，我们有足够优秀的数学工具来解决这个问题，其中一个工具就是上面提到的概念：熵。熵代表一件事情变化的混乱程度（不可预知程度）。一件事情越不可预知，熵的取值就会越大。数学大师们很巧妙的通过概率和熵建立了一个非常优秀的筛选工具，帮助我们筛选出节点。大家有兴趣可以深入了解下。
有时候我们发现建立的树形结构并不是那么的完美，树上的某些枝叶判断是否好瓜并没有那么精准，这时候我们就要减掉这些枝叶了， 剪枝叶这件事其实也挺讲究，你可以在刚刚建好的时候来判断是否减掉（预剪枝），也可以在建好完整的决策树后再全部进行检查（后剪枝）。事实证明“后剪枝”的效果更好，但是算法开销较大。
决策树算法就大话到这里了， 有兴趣的小伙伴可以联系我一块讨论。
文献参考：西瓜书
