我的《机器学习实战》读书笔记（2）

在对数据进行分类的时候，如何判断算法A的分类结果和算法B的分类结果哪个结果更优？

可以使用“香农熵”。其公式如下：

图1.png

计算出来的数值H越大，代表分类越不准确。用Python的实现如下：from math import log# 结果数值越大,说明数据集约杂乱(有其他分类混进来)def calcShannonEnt(dataSet): numEntries = len(dataSet) labelCounts = {} # 创建一个字典，记录各个类型的出现的次数，dataset的最后一列是类型 for featVec in dataSet: currentLabel = featVec[-1] if currentLabel not in labelCounts.keys():labelCounts[currentLabel] = 0 labelCounts[currentLabel] += 1 # 熵，越大代表混合的数据越多 shannonEnt = 0.0 for key in labelCounts: # 每种类型的占总数的比例 prob = float(labelCounts[key]) / numEntries # 公式 shannonEnt -= prob * log(prob, 2) return shannonEnt复制代码

其中featVec[-1]是取最后一个值。假设我们通过某种算法，把下面的5条数据分成了一类，明显‘yes’和‘no’混在了一起，但是我们也要给这种分类‘打个分’，即香农熵。注意，dataSet的最后一列是代表着该条数据的类型。

图2.png

香农熵的计算公式中与dataSet中前两列的‘0’，‘1’没有关系。只是单纯的计算‘yes’占40%，‘no’占60%，这就是公式中的p(xi)。然后做log2计算，然后把它们的负值加在一起。

上图的数据计算结果是：0.9709505944546686

如果数据是：

图3.png

计算结果是：0.7219280948873623

数值变小了，说明分类结果更好了。

如果数据是：

图4.png

计算结果是：1.5219280948873621

数值更大了，说明分类更不准确了，也就是所使用的分类算法效果不好。

当然最完美的数据是：

图5.png

期计算结果应该比之前所有结果都小，是：0.0