图片来源:C. E. SHANNON,A Mathematical Theory of Communication
香农论文中第一幅图就将所有通讯系统模型化,可以用抽象的数学去描述所有通信系统。通讯的过程,就是将信源处的消息(文字、图片、声音等)经过发送器的处理(模拟调制、数字编码等)形成信号,信号在传输过程中受到噪声源的干扰后,变成接收器处接收到的信号,经过接收器的处理(解调、解码等),消息终于到达目的地信宿(人、手机、电脑等)。
香农提出的观点,就好像当年爱因斯坦给物体运动速度划定了光速的上限,他指出,信息传递的速率也是存在极限的,对于特定的信道,被称为信道容量C。如果信息源单位时间产生的熵H≤C,那么存在一个编码系统,使信息能完整传递;如果H>C,那就不能保证传输结果的完整性。这个定理被称为有噪信道编码定理,或香农定理。
对于大多数情况下能用到的信道中,可以用一个公式计算信道的容量C。
W为带宽,S/N为信噪比。如果用常见的对话来类比,W就好比说话的速度,而S/N就是说话声音和环境噪音的比值。就像在嘈杂环境中小声对话效率很低,而在安静环境中大声说话能让对方辨别你声带的每一丝震动。最终对话的效率C就由这两者决定。
大航海时代
汉明码(hamming code)是一种具有自我纠错能力的编码方式,在这篇论文之前就已经被发明了。香农在论文“高效编码举例”这一部分列举了这种编码方式,并用信息论简洁明快却深刻的解释了它的原理。不过,显然这并不是最高效的编码方式。
横空出世的论文吸引了所有人的目光,而香农定理中H≤C那个小于等于号实在是令人想入非非,香农只是说明存在这样的编码方式,却没有说如何实现它。就好像《海贼王》中罗杰的最后一句话:“想要我的财宝吗,我把它都放在那了,想要就去那吧!”香农定理中那个可能存在的等号,给足了人们信心。而这篇论文中开创性的分析方法就像他10年前的那篇论文,将给编码方式的寻找提供了一些数学依据。自此,信息学寻找高效编码方式的“大航海时代”开始了。
而正是在这个过程中,从继电器到真空管,从晶体管到集成电路,计算机制造水平的飞速发展,让数学这个本来看上去离生活最遥远的学科,最深刻地改变了我们的现代生活。
今天我们使用的二维码,就算有部分损坏也不影响内容读取,这就是因为其编码方式具有冗余,可以让信息不易丢失。而其中编码方式,就是在 “大航海时代”中发明的里德-所罗门码(RS码)。这种1960年发明的编码方式,除了二维码,还应用在光盘、磁盘阵列RAID 6等场景下。
由于RS码的容错机制,二维码具有一定容错能力
虽然有不少具有纠错功能的编码方式被发现,我们也能根据信息论用编码效率给它们论资排辈,但当初香农向大众许诺的“财宝”——接近,甚至达到香农极限的编码方式——始终没有出现。直到1991年法国教授克劳德·贝鲁(Claude Berrou)提出了turbo码。Turbo码是第一个接近香农极限的编码方案,并且作为数学理论,在信息时代的加成下,以前所未有的速度转进了实践应用。在仅仅十余年后的3G,4G中,turbo码就已经飞入了寻常百姓家。
2008年,极化码横空出世,这是首个能达到香农极限的编码方式。工程师埃尔达尔·阿里坎(Erdal Arikan)教授提出的极化码理论,几乎立即被工业界接受。2016年,在激烈辩论后,以华为为首的极化码阵营将极化码编码标准确定为5G信令信道编码方案。到今天,如果你的手机够新,那么已经能享受到5G带来的高速体验了。
从提出理论到进入实用,进入寻常百姓家,不过十年,科学成果到工业成果的转化从没有如此之快。不论是太阳系外探测器向我们传递信息时,还是深埋地下的实验装置探索基本粒子时,甚至只是我们随手翻翻手机时,都离不开信息论的支持。信息论的“大航海时代”快速且深刻地改变了我们生活的方方面面。如此看来,当年在普林斯顿高等研究所时,香农研究的纯数学问题,的确是要比爱因斯坦研究的物理问题要更实用一些。
不老顽童
不过香农本人并没有很多参与这个“大航海时代”。在提出信息论前后,他在密码学上还证明了一次性密钥是无法破译的,(这也是近期潘建伟团队量子密钥分发加密通信网络的数学理论基础)但是信息论的成就还是太过耀眼。MIT邀请他去做教授,期待他能带领MIT在信息论中实现更大突破。他的确在信息论上做了一些基础性工作。但给人印象更多的,是他终于回归到自己真正的样子——爱玩的老男孩。
想象一下,在教学楼里撞到某个教授踩着独轮车杂耍的场景,你就知道香农有多爱玩了。这个老男孩也曾像小时候一样,敲敲打打做了很多有趣的小玩意儿。直到老年时,他的工作室里还摆满了各种各样小玩具,有能喷火的小号,能在将其打开时自动关上的箱子,能杂耍的机器玩偶……他还有一个两面一样的硬币,这样,他抛硬币时总能猜对结果了。毕竟,这个问题对于他来说信息熵为0。
纪录片《香农传》中还原的香农的“终极机器”,是一个带按钮的木盒子,拨动摇杆打开盒子后会有一个小手伸出来将摇杆拨下去,关上盒子(图片来源:《香农传》)
“有用是最不重要的事情。”香农这样评论他工作室中的各种小玩意儿。
他是骗人的,他的确尝试了一些非常“有用”的东西。他发现俄罗斯轮盘放置时不可避免有一定倾斜,导致其偏向某个方向的概率更大,但为了分析这个概率需要一定量的计算。为此,他还和爱德华·索普(Edward Thorp)一起设计了历史上第一台可穿戴计算机,并一起到拉斯维加斯赌场检验他们的理论。他们将计算机隐藏在衣物之下,但由于计算机设计有些简陋,他们还不得不时刻忍受轻微的电击。当附带的耳机从耳朵里掉落出来时,旁边的赌客还都被他吓了一跳。不过至于他们有没有以此赚到钱,笔者并没有查证。
他还做过一个能自动寻路的机械小鼠,名为特修斯(Theseus)。小鼠位于一个定制平台的迷宫里,通过平台下方的继电器电路可以控制小鼠的移动,其目标是在迷宫中找到一个“奶酪”目标。小鼠会探索迷宫,并在找到目标之后,记住目标的位置,之后可以更快的找到目标。或者在迷宫形态、目标位置改变后重新学习,规划新的路线。这个小玩具可能是第一个此类人工智能设备。
香农和特修斯平台(图片来源:麻省理工学院博物馆)
他为了玩游戏甚至发过论文。他在1950年发表的一篇论文里描述了如何让计算机下国际象棋。他给出了国际象棋的复杂度,大约是10¹²⁰量级,这样的量级不可能暴力破解,不过通过他在论文中给出的较为明智的算法,可以大幅简化计算——1997年,由这篇论文演化出来的算法,在“深蓝”中运行,成功击败了卡斯帕罗夫(Каспаров)。
被问及有没有想过要把他这些“小玩意儿”商业化时,香农直截了当的回答没有。按他自己的说法,自己是一个没什么好胜心的人,要去商业化的话,一定会亏钱。
信息时代的功劳肯定不能全归功于香农一人,但他在其中肯定占有举足轻重的位置。在被繁杂信息浪花包围的我们中,这名天才的知名度并不高。不过,带入他的性格,可能他也并不在意。毕竟作为一个老顽童,在自己各种小玩意儿的包围下,亲眼见证了建立在自己理论上的信息时代如何改变人们的生活,对于一个数学家、工程师来说,这可能是能想象到的最幸福的事了。
内容来源:环球科学