信息是用来消除随机不确定性的东西。换句话说，信息量的度量取决于这些信息消除不确定性的程度。克劳德·香农被誉为“信息论之父”。也许是他一生中最著名的论文:通信的数学理论(1948年)，介绍

信息

信息是用来消除随机不确定性的东西。换句话说，信息量的度量取决于这些信息消除不确定性的程度。

克劳德·香农被誉为“信息论之父”。也许是他一生中最著名的一篇论文:《一个通信的数学理论》(19 Best Network 48)，它引入了一个全新的理念，震惊了整个科技领域，开启了现代信息论的研究。在这一伟大贡献中，他引入的“信息熵”这一一般性概念非常重要:它从数学上量化了与百特沟通过程中“信息泄露”的统计本质，具有划时代的意义。

信息量

信息量与事件发生的概率成反比。

信息量的表示:

x代表发生事件；

p代表该事件的先验概率；先验概率是指根据常识和一般规律，该事件发生的概率。

信息熵

它可以看作是信息杂乱程度的定量描述。

信息熵公式如下:

其中，X可以看作一个向量，即几个X生成的概率p(x)乘以这个可能性的信息量-logp(x)，然后将所有项相加。

信息量衡量的是Baxter中某个特定事件带来的信息，而熵则是在结果出来之前对可能信息量的预期——考虑随机变量的所有可能值，也就是对所有可能事件带来的信息量的预期。

信息熵也可以用来衡量一个系统的复杂性。如果系统比较复杂，不同情况的种类比较多，那么它的信息熵就比较大。

如果一个系统比较简单，那么情况很少(如果有一种极端情况，那么对应的概率为1，那么对应的信息熵为0)，此时的信息熵较小。

总结

当可能存在n种信息时，如果每种信息的概率相等，那么n越大，信息熵越大。

当可能存在n种信息时，当n一定时，当所有概率相等时，信息熵最大。

简而言之，

信息越确定和单一，信息熵越小；

信息越不确定、越混乱，信息熵越大。