信息信息是用来消除随机不确定性的东西。也就是说，衡量信息量的大小就看这个信息消除不确定性的程度。克劳德.香农（ClaudeShannon）被称为“信息论之父”。他一生中也许是最有名的一篇论文：《通讯的数学理论》（Amathematicaltheoryofcommunications,1948），引入

信息

信息是用来消除随机不确定性的东西。也就是说，衡量信息量的大小就看这个网信息消除不确定性的程度。

克劳德.香农（Claude Shannon）被称为“信息论之父”。他一生中也许是最有名的一篇论文：《通讯的数学理论》（A mathematical theory of communications,1948），引入了一条全新的思路，震撼了整个科学技术界，开启了现代信息论研究的先河。在这一伟大的贡献中，他引进的“信息熵”之一般概念举足轻重：它在数学上量化了通讯过程中“信息漏失”的统计本质，具有划时代的意义。

信息量

信息量的大小和事件发生的概率成反比。

信息量的表示：

x 表示一个发生的事件；

p 表示这个事件发生的先验概率；先验概率指这个事件按照常理，按照一般性规律发生的概率。

信息熵

可以认为是信息的杂乱程度的量化描述。

信息熵公式如下：

其中，x 可以当成一个向量，就是若干个 x 产生的概率p(x)乘以该可能性的信息量-logp(x)，然后各项做加和。

信息量度量的是一个具体事件发生所带来的信息，而熵则是在结果出来之前对可能产生的信息量的期望—考虑该随机变量的所有可能取值，即所有可能发生事件所带来的信息量的期望。

信息熵还可以作为一个系统复杂程度的度量，如果系统越复杂，出现不同情况的种类越多，那么他的信息熵是比较大的。

如果一个系统越简单，出现情况种类很少（极端情况为1种情况，那么对应概率为1，那么对应的信息熵为网0），此时的信息熵较小。

小结网

• 在信息可能有N种情况时，如果每种情况出现的概率相等，那么N越大，信息熵越大。

• 在信息可能有N种情况时，当N一定，那么其中所有概率相等时，信息熵是最大的。

简而言之，

• 信息越确定，越单一，信息熵越小；

• 信息越不确定，越混乱，信息熵越大。