一 辅助概念

在了解信息熵之前，先了解几个辅助概念，或者叫铺垫概念。这几个铺垫概念理解了，信息熵就能够被轻而易举地理解了。

第一个概念是概率，某件事出现的次数越多，概率就越大。太阳天天从东方升起，那么它明天在东方升起的概率几乎为100%。

第二个概念是不确定性，某件事不常出现，它的不确定性就比较大。例如，明天东方升起的不是太阳，是一架外星飞船，这个不确定性就太大了。

第三个概念是信息量，结合前面两个概念，某件事儿的不确定性越大，提供的信息量就越大。

如果我跟你说，哥们儿，明天早晨东方会升起一轮太阳！你可能觉得：你有病吧！

不过，如果我对你说，明天早晨起，太阳再也不升起了，而是升起一架飞船，你肯定会瞠目结舌，然后高度注意，也就是说，它提供了浓度非常高的信息量。

二 信息熵=不确定度=信息量（通俗理解）

既然理解了概率、不确定性和信息量，接下来就可以来理解信息熵了。如果觉得“信息熵”这三个字看着就头疼，那就换成不确定性度，信息量的值……作为辅助理解都可以。

通过上面的概念讲述，可以总结，概率和不确定性（信息量）是相反的，某件事出现越多，提供的信息量就越少，反之亦然。

由此，信息熵就是用来衡量不确定性的一个度量，与概率有相反的变化关系，概率可以作为自变量，信息熵作为因变量，构成一个函数——

f（p）=-log（p）

信息熵=负的概率的log值。

————————————————————————

三、为什么是log?

大家先回想一下log函数是什么样的？

在数学中，对数（log）是对求幂的逆运算。其基本图像如下：

那么我们再看一下构建信息熵函数需要哪些条件?

第一，信息熵（不确定度）和概率构成单调函数。就是说，它得在某个区间内持续增加或减少。能满足这个条件的函数很多。

第二，对于概率来说，两个随机变量p1和p2，同时观测和分别观测，它们的信息量是相同的，也就是说，f(p1,p2)=f(p1)+f(p2)。可以发现，能满足这个条件的就是log函数了。

第三，这个函数得是个减函数，也就是说，信息熵和概率是你增我减的关系。

能符合的就是log函数了。

综上，结论就是——

信息熵=不确定性度=信息量，和概率的变化方向相反，公式为f（p)=-log（p）,信息熵=负的概率的log值。