|
|
|
|
香农被称为是“信息论之父”。人们通常将香农于1948年10月发表的论文《通信的数学理论》（A Mathematical Theory of Communication）作为现代信息论研究的开端。香农用概率来定量描述信息，给出了如下公式：
|
|
|
|
|
|
H（X）表示事件X的信息熵，pi是事件出现第i种状态的概率，在二进制的情况下，对数的底是2，此时信息熵可以作为信息的度量，称为信息量，单位是比特（bit）。在没有任何先验知识的基础上，人们对明天是否刮风，风力最大是多少是完全未知的，假如风力定义为从0级一直到7级，那么明天刮风这一事件的信息量是多大呢？由于没有先验知识，所以明天刮风出现最大风力为任何一个风力级别的概率是一样的，都是1/8，根据上述公式可以计算出明天刮风这一事件的信息量是3bit。为便于计算机处理，可以用3位二进制数来表示，即可用000, 001, 010, 011, 100, 101, 110, 111来描述明天的刮风事件。当明天没有来临时，刮风事件具有不确定性，这个不确定性定义为信息，而明天刮风事件一旦发生了，这种不确定性就消除了，因此信息还可以理解为消除不确定性的一种度量。
|
|
|
|
|
|
|
|
|
|
