这样把热机、小妖和环境合起来看成一个体系,热力学第二定律依然成立。
这个推理无懈可击。
但是,妖为什么不能违背热力学第二定律?就因为它被称为“智慧主体”?
5 布里渊的解释如果在Szilard那里,妖如何观察和判断热机的工作情况,还是一个抽象的说法,那么从1951到1952年,布里渊(Leolard Brillouin)写了一系列文章,则把小妖的观察判断进一步具体化了。[5]
要理解布里渊的工作,必须知道一个大的背景。
5.1 信息论的建立1948年,香农建立了信息论,并且在冯·诺伊曼的建议下,借用玻尔兹曼的定义方式,将平均信息量定义为信息熵,并且选用了H定理中如我们前文提到的H,作为信息熵的记号。[6-7]
因此,在这种情况下,讨论信息熵和统计力学熵的关系,就成为一种必然。
信息理论的建立,是为了编码。
编码有两重含义,一重是指打电报用的莫尔斯电码之类的编码。这种编码,为了节省打电报用的时间,编码要足够短;另一方面,信息是通过电信号来传输的,就要有一定的信息冗余,来克服信道噪声,以便在接收端正确接收。因此,这一重问题的研究,主要是寻求最短的编码的极限,并以此为基础,再来分析具体的编码方案,在编码效率和克服噪声之间寻求一个平衡。编码的另一重含义,是如何通过快速的机械工作来完成编码。在当时,继电器已经成为一个常规的机械运动控制手段,所以优秀的编码,也意味着尽量少的继电器使用和合理的继电器安排。
编码这件事,本来与玻尔兹曼用统计力学处理的体系的热量、能量和做功等,没有什么关系。
但是,看看Szilard的分析,小妖又要判断测量结果,又要选择与哪个连轴相连,这不是和使用继电器操作机械动作来编码,是一模一样的吗?
而且,通过选择进行动作,既是薛定谔在《生命是什么》里表现出来对生命和智能的基本认识,也是信息理论的重要建立者之一维纳对智能的一贯想法。[8]
在这样的背景下,布里渊,既作为一个物理学家,又作为信息学家,建立了一套从物理学角度来理解信息熵的学说。
5.2 布里渊眼里的“信息”自然,布里渊是从麦克斯韦的小妖精开始的。这回,布里渊回到了麦克斯韦最初的小妖精的模型:小妖精必须判断分子的速度。
如何判断呢?小妖精准备了个带了电池的手电筒,然后发出光来照亮分子;按一定时间间隔来照亮分子,就可以判断分子的位置和速度了。
这样的做法有何玄机?
布里渊要给信息的判断引入能量的概念。
如果小妖不带手电筒,盒子里的光只是来自盒子本身的黑体辐射。由于盒子的温度比较低,这时黑体辐射的光波长都很长,因此就算分子本身发光,由于长波长光的衍射,小妖也很难给分子定位;另外,分子的发光非常微弱,也没有办法使分子的光跟整个黑体辐射背景区分开来。
小妖要带一个什么样的手电筒呢?小妖应该带一个能产生高频率光的手电筒。
在布里渊建立模型的年代,需要再过十年才有激光。所以,布里渊不可能想象出激光或者LED这种东西。他假设的发光源是灯丝,我们把灯丝这种光源叫作热辐射光源,其特点是发出波长越短、频率越高的光,灯丝的温度就要越高。
由此可知,小妖实验和判别带来的熵增,远大于判决后所获得的熵减。
在这一模型中,小妖确实无法违背热力学第二定律。
而这一过程带来的妖的信息测量和判决行为,则成为布里渊从物理学角度阐释信息熵的基础。
6 基于能量的信息熵现在,我们可以来总结一下信息学家和物理学家理解的信息熵的不同。
对信息学家而言,其关心的,仅仅是编码的问题,能量并不是一个一定要考虑的因素。
对于物理学家来说,从克劳修斯提出熵的概念开始,熵就与能量和做功紧紧相连,就算是要讨论信息的概念,布里渊也是从光子的能量带来的信息判决开始讨论的。
物理学的概念发展过程,先是讨论热量的变化,再是讨论最可几的状态的态分布,再引申出判决对态分布的影响,最后通过光子引出判决本身所需要的能量。
因此,物理学家的信息熵和信息学家的信息熵的含义是不同的。现实物理世界用信息学家的信息熵来表征的时候,物理体系的自发趋势不一定是熵增的;而用物理学家如布里渊的信息熵来考虑,则一定是熵增的。
7 小炉老师的小妖精讲完拉拉杂杂这么多话,终于我们可以来看看小炉老师的小妖精了。
如下视频[9](前往“返朴”观看视频)
容易想明白,只要我们把不同颜色的小球做成不同大小,然后让轨道有不同的宽窄,那么小球就可以依大小掉入不同的槽。
区分小球的是大小,而不是颜色。而不同大小的球的自然分离,则是依靠轨道有无支撑的力。换言之,在自然的过程中,测量和区分,依然是依靠能量和做功的不同。
依此,我们可以球的大小、或使用重力(让重的向左,轻的向右)、磁力(有磁力向左,没磁力向右)等方式或方式的组合,来设计本文开始的伽尔顿板,对球做出区分。但是,在这些方式中,我们测量的,都不是颜色。颜色的属性,只是碰巧和大小或者别的属性一致。
因此,小炉老师的小妖精并不是麦克斯韦小妖精,没有违背热力学第二定律。
颜色,只是障眼法。
在信息熵的计算中,我们可以考虑伽尔顿板实验的球的颜色;但考虑实验的实现机制时,我们必须考虑基于能量的手段。
8 一点讨论这篇文章中另外一个需要注意的地方,是当我们提到的颜色、重量和磁力大小等概念时,我一般会说,这是属性。但是,学物理的朋友,容易把属性理解为自由度。这样的理解会影响对问题的把握。因为,自由度有两层含义,第一层是有抽象空间的维度的含义,而属性的含义则广泛得多,从数学的角度出发,只要可以对一个集合进行划分,分成几个不同的子集,这个划分就对应一种属性;第二层含义是利用自由度可以张成相空间,一旦使用了相空间的概念,理解的时候很容易会回到能量和做功的路子上去,就干扰了对问题概念的分辨。
8 致 谢本文是在我同湖南大学刘全慧教授就熵而进行的争论后产生的。在论战过程中,我邀请了中科院半导体所姬扬研究员、美国乔治敦大学吴建永教授助战,还邀请了本群李轻舟围观;刘老师邀请了本群肖重发围观。
结果,在论战过程中,姬扬和吴建永老师(也就是本文中的小炉老师)都产生了疑问。为了回答他们的疑问,先作此文,为解释工作的开胃菜也。
在审读本文的过程中,吴老师提出了巨轮的问题,李轻舟提出了以自由度理解属性的问题,我的同事陈熹提出了加强伽尔顿板实现的说明的建议。
吴老师对文章多次润色。
姬扬要求每一阅读段落长度基本一致。
本群刘艳红提出了文字润色的建议。
本群张艺琼对文章题目提出修改建议。
本群吕喆统一了伽尔顿板的叫法。
在此,向争论者、围观者、建议者和润色者一并致谢。
如果,你们还有疑问,以及其他观众有疑问,请release horse pass come(放马过来)。
徐晓
于“一边跑一边听”群
参考资料
[1] 视频截取至http://www.youtube.com/watch?v=Axw07_lxhhs
[2] M. Bandino, Mechanistic Slumber .vs. Statistical Insomnia: the Early History of the Boltzmann’s H theorem (1868-1877), Eur. Phy. J, H6, 353-378(2011)
[3] K. Sharp& F. Matschinsky, Translation of Ludwig Boltzmann's Paper "On the Relationship between the Second Fundamental Theorem of the Mechanical Theory of Heat and Probability Calculations Regarding the Conditions for Thermal Equilibrium", Enropy,17, 1971-2009(2015)
[4] Translation of "L.Szilard, ON ENTROPY REDUCTION IN A THERMODYNAMIC SYSTEM BY INTERFERENCE BY INTELLIGENT SUBJECTS " NASA TT F-16723. 德文原文在Zeitschrift fur Physik, Vol. 53, 1929, pp. 840- 856,
[5] L. Brillouin, Maxwell's Demon Cannot Operate: Information and Entropy. I Journal of Applied Physics, v24,N3,334-337(1951)
[6] C.E.Shannon, a Mathematical Theory of Communication, Bell System Technical Journal, v28, N4, 656–715(1949)
[7] Avery, John. Information Theory and Evolution[M], 2003, World Scientific. ISBN 981-238-400-6
[8] L. Brillouin, the Negentropy Principle of Information, Journal of Applied Physics, 24, 1152 (1953)
[9] 视频截取至http://www.youtube.com/watch?v=ya9zTstjOIU