决策树是属于经典的十大数据挖掘算法之一，也是属于有监督学习的数据挖掘算法。其规则很简单，就是如果---节点--如果--节点。以下的调查为例：

假设以上是某地房地产商的一名销售员的销售记录表，那么作为决策树就是以下的情况：

部分决策树图形

按照以上的方法，直到最后一个节点为止。那么就有同学要问了应该怎样选择节点的排序呢？当然是通过信息量的大小来选择。

信息熵

信息熵是用来表示信息量的大小的，信息量越大则熵值越大，信息量越小则熵值越小。信息熵的计算公式如下：

对于单个事件而言，n表示有n种可能就上面例子的类别而言n=4,而Pn表示第n个值发送的概率，就上来例子类别而言有4个可能，每个可能的概率不同。

那么类别的信息熵的计算结果如下：

那么就可以得到类别这个事件的信息熵了。

信息增益

信息增益简单的理解为：假设在第一个节点时该事件的信息熵为0.95，而在该节点发生的情况下的事件的信息熵（也称为条件熵）为0.62，那么信息增益为0.95-0.62=0.33bits。信息增益是决定下一个作为节点变量的重要参考因素。一般来说，如果信息增益越大，那么该条件就应该为下一个节点。

比如以上例子销售员最终想要的是是否购买房子，那么我们就可以分别计算每个条件的信息增益来判断应该以哪个作为根节点了。就拿类别做例子：

H(是否购买)为‘’是否购买‘’该事件的信息熵，通过信息熵方法计算。

通过计算出所有的条件信息熵，比较大小就可以判断节点是否选择合理了。以上便是离散型自变量的决策树构建步骤。

信息增益率

如果同学们具有特别优秀的计算能力就不难发现，那么如果这个节点的种类越多那么信息熵越大，而如果该节点作为根节点并没有什么实质性的意义时该不该使用呢！比如：如果在以上调查中增加一个调查项（比如‘’经常联系的朋友‘’这一项），那么通过计算可以得出该节点为根节点，然后该节点作为根节点比没有什么实际意义。那么就可以通过信息增益率来选择节点的布置。信息增益率的公式很简单：

就是利用原来的信息增益除以该条件的信息熵即可。

代码模块----下次更新（[嘘][嘘][嘘]）。

每日日语语法：

名词1+【か】+名词2：表示名词1‘’或者‘’名词2

比如：おねえさん 　か　いもうと　

意思是：姐姐或者妹妹