前言:
眼前看官们对“featvecpython”大体比较着重,兄弟们都需要了解一些“featvecpython”的相关文章。那么小编同时在网摘上汇集了一些关于“featvecpython””的相关资讯,希望同学们能喜欢,朋友们一起来了解一下吧!我的《机器学习实战》读书笔记(2)
在对数据进行分类的时候,如何判断算法A的分类结果和算法B的分类结果哪个结果更优?
可以使用“香农熵”。其公式如下:
图1.png
计算出来的数值H越大,代表分类越不准确。用Python的实现如下:from math import log# 结果数值越大,说明数据集约杂乱(有其他分类混进来)def calcShannonEnt(dataSet): numEntries = len(dataSet) labelCounts = {} # 创建一个字典,记录各个类型的出现的次数,dataset的最后一列是类型 for featVec in dataSet: currentLabel = featVec[-1] if currentLabel not in labelCounts.keys():labelCounts[currentLabel] = 0 labelCounts[currentLabel] += 1 # 熵,越大代表混合的数据越多 shannonEnt = 0.0 for key in labelCounts: # 每种类型的占总数的比例 prob = float(labelCounts[key]) / numEntries # 公式 shannonEnt -= prob * log(prob, 2) return shannonEnt复制代码
其中featVec[-1]是取最后一个值。假设我们通过某种算法,把下面的5条数据分成了一类,明显‘yes’和‘no’混在了一起,但是我们也要给这种分类‘打个分’,即香农熵。注意,dataSet的最后一列是代表着该条数据的类型。
图2.png
香农熵的计算公式中与dataSet中前两列的‘0’,‘1’没有关系。只是单纯的计算‘yes’占40%,‘no’占60%,这就是公式中的p(xi)。然后做log2计算,然后把它们的负值加在一起。
上图的数据计算结果是:0.9709505944546686
如果数据是:
图3.png
计算结果是:0.7219280948873623
数值变小了,说明分类结果更好了。
如果数据是:
图4.png
计算结果是:1.5219280948873621
数值更大了,说明分类更不准确了,也就是所使用的分类算法效果不好。
当然最完美的数据是:
图5.png
期计算结果应该比之前所有结果都小,是:0.0
标签: #featvecpython