什么是信息(到底什么是信息？)

牛顿的激光火焰剑理论

如果用一个词来形容我们的时代，那应该是:信息时代。

在此之前，瓦特的蒸汽机开启了蒸汽时代，对电和磁的认识，人类进入了电时代。如今，由于人类对信息的探索，人类开始了信息时代。在信息时代，有伟大的发明家和科学家，如发明电报的莫尔斯，发明电话的贝尔，发明无线电技术的马可尼等等。

莫尔斯自画像

但一直有一个问题困扰着科学家，那就是:如何测量信息？

比如我们常说:信息量这么大。那么，什么样的信息才是海量信息呢？其实谁也说不清楚。

如果我们梦想回到牛顿的时代，我们会发现，牛顿的代表作《自然哲学的数学原理》在前十几页只做了一件事，就是定义它。

现在我们熟悉了很多概念，比如密度、质量、力。都是牛顿定义的。

牛顿的定义不同于一般的定义。他的定义使得这些物理量能够被测量和量化。

与伟大的牛顿力学相比，牛顿开创性的物理学研究方法奠定了现代物理学的基础。数学家迈克·阿尔德曾在一篇文章中总结并提出:牛顿的火焰激光剑。

翻译的是牛顿的激光火焰剑理论，具体内容是:

一切不能实验和观察的东西都不值得争论。

所以对于科学来说，定义和观察非常重要，有七个国际单位。当然还有其他不在其中的，但是可以通过七个国际单位引进。

信息论

所以，要让信息论成为一门科学，首先要确立信息的定义，可以量化和测量，也要有一个可靠的单位。

其实科学家都知道这个道理，但是要付诸实践真的很难。很多科学家尝试过很多方法，比如通过比较信息的重要性来衡量信息，但都失败了。

直到1948年，一位天才发表了一篇名为《通信的数学原理》的文章，对信息做了非常详细的定义，这篇文章彻底奠定了现代信息论的基础，一直沿用至今。这位天才作家叫克劳德·艾尔伍德·香农。信息网络

信息的基本单位:比特

香农是怎么解决这个问题的？

香农认为:

一个事物的信息量取决于它克服了多少不确定性。

比如我和你有一个很好的朋友。他一般上午10点到公司，晚上10点回家，有一天，我跟你说，今晚11点他在家。这句话对你来说其实是废话，信息量为零。这是因为你知道这一刻，他很可能在家。所以，偶然或不确定就是信息。

因此，香农将信息的定量测量与不确定性联系起来，给出了信息的基本单位:比特。

我们可以这样理解比特。如果抛一枚理想的硬币，正面和反面的概率完全相同。为了找出它是正的还是负的，你需要1比特的信息。

如果这枚硬币不是理想的硬币，但正面较重，则有更大的概率将硬币正面朝下、背面朝上抛出。此时，要找出是正面朝上还是背面朝上，所需信息小于1位。这是因为你有更好的机会猜测结果。

再复杂一点的话，假设你在做选择题，有四个选项。如果你想确定这个问题的最终答案，你需要多少信息？

可能很多人的第一反应是:4位。其实这是不对的。要知道，你不会傻到一次问对方一个选项(通过信息消除不确定性的过程)。

如果你够聪明，你会采取二分法，

你可以先问:答案是在A和B之间吗？

如果对方回答:是的。

那么你只需要在A和B之间再问一次:答案是A吗？

如果对方回答:是的。

那么你已经确定了结果是A，整个过程你只用了2比特的信息。

同理，先问:答案在A和B之间吗？

如果对方回答:没有。

其实那排除了A和B，答案在C和D之间，你只需要再问一遍:答案是C吗？

如果对方回答:没有。

那么你已经确定结果是D，整个过程仍然使用2比特的信息。

你甚至可以把比特想象成人民币，假设一个比特是一块钱，每做一次选择都要花一块钱。如果你想解决扔理想硬币的问题，你只需要一美元就能搞定。四个选一个，就要2块钱。

所以，你现在应该明白了吧？信息其实是用来消除不确定性的。但是问题又来了。应该消除哪些不确定性？

答案是:信息源。

这个信息源其实指的是抛硬币事件本身，它是不确定的，可能是正面的，也可能是负面的。信息源的不确定性称为信息熵。所以，我们可以知道，

信息用于消除信息熵(不确定性)。如果抛硬币正反概率都是50%，也就是不确定性最高后，信息熵最大。相反，如果面对面的概率更高，那么这个系统的非不确定性就更小，信息熵就更小。

所以信息量本身其实就是信息源的信息熵。

信息熵

因此，只要我们能计算出信息熵，那么我们就能计算出具体的信息量。

具体怎么算？实际上，香农从热力学中找到了灵感。在热力学中，熵用来表示:

系统的无序状态(不确定性)。

举个最常见的例子，如果你往水里滴一点墨水，墨水就会和水混合在一起，整个杯子里无序状态的数量就会增加(因为变得混乱)。在这里，我们可以把这个杯子里的水看成一个系统。

在物理学中，衡量一个系统的混沌程度，其实可以通过统计整个系统的状态来建立。

可能性越多，不确定性越大；当状态数不变时，如果每个状态的可能性相同，不确定性就很大。

所以科学家给出了一个计算系统状态数的公式(不看也没关系):

其实信息熵实际上代表了一个系统(信息源)的不确定性(信息熵)。

受热力学启发，香农也给出了计算信息熵(信息量)的类似公式:

具体怎么用？让我们回到掷硬币的例子:

抛一枚理想硬币，信息熵为log2(2/1) = 1比特；

扔出两个理想硬币，信息熵为log2(4/1) = 2比特。

自从信息论提出以来，科学家们一直在思考一个问题，这个世界是什么？我们都知道物质是由原子构成的，所以世界是原子的？

但我们也要知道，原子的排列构成了世界，而排列本身就是信息，所以原子是通过交换“比特”来有序排列的，这就意味着在某种程度上，世界是按比特排列的。