信息论和中心极限定理

　　“香农信息科学经典”已引进了3本加拉格尔教授的经典名著：《麻省理工加拉格尔数字通信原理》、《信息论与可靠通信》和《数据网络（第2版）》。
　　“香农信息科学经典”书系的策划者曾在麻省理工学院多年亲聆加拉格尔教授授课并一起探讨前沿科技问题。书系的logo形象取材于麻省理工学院校园内的香农塑像。
　　“香农信息科学经典”包含信息科学各个领域的图书，如信息论、通信与网络、信号处理、机器学习、理论计算机科学、量子信息科学等。

　　“香农信息科学经典”以香农为名。香农何许人也？克劳德·香农（Claude E.Shannon，1916.4.30-2001.2.24）被世人称为“数字时代”之父和“信息时代”之父。我们来回顾一下香农对信息科学发展做出的伟大贡献。
　　“数字时代”起源于香农的硕士研究工作。最早的计算机并不是数字计算机，而是模拟计算机。早年的模拟计算机利用自然界中一些物理定律的相似性（比如电容的电学性质与弹簧的力学性质之间的相似性）来模拟求解当时的计算问题，尤其是科学计算中经常要解的微分方程。1936年，20岁的香农在美国麻省理工学院读硕士研究生时的科研任务就是设计这类早期计算机。在研究这种计算机的复杂电路时，香农认识到电子线路可以通过二进制逻辑（即“布尔逻辑”）来实现，并进一步证明了用基于1/0（开/关）两种状态的继电器电路可以模拟和完成所有的布尔逻辑运算。这一思想成为之后实现数字电路与数字计算机的基础，数字化可以实现通用计算。香农的硕士学位论文《继电器与开关电路的符号分析》被誉为人类科技发展史上最重要的硕士论文！
　　计算和通信是信息技术的两大领域。香农1937年的硕士论文的工作是将计算数字化，那通信是否也能数字化呢？如能数字化，与模拟通信相比又有何优势呢？1948年，任职于AT&T贝尔实验室的香农发表了他研究了十年的划时代成果：《通信的数学理论》，回答了上述问题。从此一个新的科学领域——信息论诞生了。这一著作中不仅仅定义了信息，建立了信源和信道的数学模型，也首创了数字通信的概念，1和0构成的数字比特流可以作为所有信息传输的载体。香农的工作揭示了“信息可以用数字来表征和传输”的本质，“信息时代”与“数字时代”其实是同义词。香农信息论的伟大程度被称誉为可与爱因斯坦的质能方程E=mc2相提并论。
　　1949年，香农在另一篇经典论文《噪声下的通信》中建立了数字信号处理的基础性定理——香农采样定理，给出了完美重构模拟信号的充分条件。这个定理有时也被称为奈奎斯特-香农采样定理，其实该定理是由香农给出的，奈奎斯特在之前仅提出了采样速率。
　　香农的信息论从数学上证明了利用信道编码可以在有噪信道上无差错地传递信息，这也是数字通信的显著优势。严格地说，这里的无差错指的是无论要求出错概率多低，都有办法能实现（数学上称之为错误概率趋近于零）。这非但有理论上的意义，更有工程上的意义。在这一条件下，一个信道上能达到的最大传输速率称为信道容量（也称“香农极限”）。现代通信系统从1G、2G、3G、4G到目前SG的整个发展过程中，全世界的通信运营商、生产商及科学家与工程师们一直都在试图设计出最好的实用信道编码去逼近香农极限。
　　1956年，香农又研究了传输出错概率绝对为零而非趋近于零的情况，在这个要求更为严苛的条件下的最大传输速率称为零差错信道容量。显然，零差错信道容量的值不会大于信道容量。不同于信道容量可用传统概率信息论的方法获得，计算零差错信道容量则要用组合数学的技巧，更为不易。香农还指出了两者的另一重要不同之处：若接收方能反馈一定的信息给发送方，信道容量并不会增大，但零差错信道容量可以被提高。
　　一个通信网络由许多的节点和链路构成，各条链路上存在着噪声。若我们知道每段有噪链路的信道容量，那它们可以等价视为一段段已知最大传输速率的无噪链路。利用这一网络等效模型，香农和麻省理工学院的合作者在1956年发表了另一篇经典论文，提出了网络流的最大流-最小割定理，给出了网络容量能达到的上限。华人科学家杨伟豪（Raymond W.Yeung）在本世纪初提出的“网络编码”又创造性地将这一定理从单播推广到了多播的情形，并引入了网络中间节点对信息流进行组合编码的革新性思想，这是华人科学家对信息论发展做出的令人骄傲的重要贡献。
　　香农最初提出信息论时考虑的数学模型针对的是在有噪环境中将信息从一点传输到另一点的情况。有线网络的每一段链路都可以简单视为一个独立的点对点通信信道，而无线网络的情况则更复杂，除了环境噪声，还存在着不同用户传输信号间的互相干扰。1961年香农发表的关于双向通信信道的论文，开启了包含互相干扰的多用户信息论的研究。多用户信息论直至今日还是全世界研究的热点，很多难题尚未被解决。
　　除了计算和通信，香农对任何他感兴趣的领域都会进行深入研究。比如他1940年的博士学位论文题目是《理论遗传学的代数学》，他进一步将其硕士论文研究的思想方法用到了生物学上。40年代香农又对金融投资产生了兴趣，并提出了一个被后人称为“香农妖”（Shannon's Demon）的思想实验，理论上证明了即使没有正的预期回报，也有可能获得投资资产的利润。1951年香农又将信息论中研究信源的方法用于自然语言研究（语言文字本是天然的信息源），发表了论文《书面英语的预测与熵》，从概率统计的角度去分析人类语言，由此开创了计算语言学的先河。