今天为大家科普“信息熵”。
语言是人类社会特有的一种信息传递媒介，为了使有限的语言形式负载尽可能多的信息，千百年来人们一直“语不惊人死不休”。从信息学的角度看，“惊人”的话语就是让听者或读者产生信息的不确定性，进而引起好奇和注意，最后消除信息的不确定性从而获得的信息量，信息学上称为“信息熵”。
熵在信息论中代表随机变量不确定的度量，发生概率越高的事件，其所携带的信息熵越低。极端案例就是“太阳从东方升起”，因为这是确定事件，所以不携带任何信息熵。从信息论的角度，认为这句话没有消除任何不确定性。而高熵值具有引起“信宿”注意的功能。
但是，语言形式过分的“惊人”则容易把人“吓死”，因为人们对完全陌生的形式会产生漠然而疏远的态度。因此，晦涩、生僻、怪诞的形式容易阻塞信息通道,使信息产生滞阻性，信源发出的信号不能在信宿那儿转化为信息。
因此在追求“惊人”之语的同时，要给听读者建造一个解码的信息平台，即给听读者一个既陌生又熟悉的表达形式，让信宿产生新奇感又有解读成功的愉悦，信息学上称为“信息冗余度”。信息量的大小与信息熵和冗余度有密切的关系，研究语言形式与信息熵、冗余度的关系，对我们提高信息传递效果有着很大的实践意义。
