本文来自微信公众号：中科院物理所（ID：cas-iop），作者：David Tse，翻译：xux，审校：Dannis，头图来自：MIT Museum
一、香农其人
科学寻求自然的基本定律，数学则在旧基础上构造新的定理，而工程学建造系统来解决人类的需求。这三个学科相互依存，但又截然不同。同时为这三个领域做出核心贡献的人极为罕见，而克劳德·香农就是如此。
香农是纪录片《The Bit Player》的主题，其研究工作和研究哲学深深启发了笔者的事业。尽管如此，无论是生前还是在2001年去世之后，香农并不是一个像爱因斯坦一样家喻户晓的人物，他不像费曼那样出名，也从未获得过诺贝尔奖。然而，香农70多年前的一份开创性论文，奠定了整个现代通信设施的基础。没有他，就没有如今的信息时代。
纪录片《The Bit Player》
香农于1916年出生于密歇根州的盖洛德，是一位本地商人和一位教师的儿子。他在密歇根大学获得了电气工程和数学学位，之后，在麻省理工学院撰写了一篇硕士论文，将布尔代数应用于开关电路的分析和综合。这项变革性的工作，将电路设计从一门艺术变成了一门科学，如今这被认为是数字电路设计的起点。
克劳德·香农撰写的硕士论文，突破性地开创了数字电路设计这一领域，十年后，他撰写了有关信息论的开创性论文《通信的数学理论》
接下来，香农将目光投向了一个更大的目标：通信。
二、向通信进发
通信是人类最基本的需求之一。从烟雾信号到信鸽，再到电话、电视，人类一直在寻找更远、更快、更可靠的通信方法。但是，通信系统的工程问题总是逃不开各种发射源和传输介质。
香农却问了一个没人问过的问题：“是否有一个伟大的统一理论来描述通信？”1939年，香农在给导师范尼瓦尔·布什的信中，概述了他的一些关于“用于情报传递的通用系统的基本特性”的初步想法。经过十年的研究，香农终于在1948年发表了他的大师之作：《通信的数学理论》。
香农的理论的核心，是一个简单却非常通用的通信模型：发送器将信息编码为信号，该信号会被噪声破坏，然后由接收器解码。模型很简单，却有两个关键见解：
1.信息源和噪声源独立于要设计的通信系统；
2.对这两个源进行概率建模。他设想源生成许多可能的信息，每条信息都有一定的概率。概率噪声进一步增加了接收器所解码的随机性。
在香农之前，通信问题主要被视为决定论的信号重建问题：信号经介质传播后发生变形，如何处理接收信号，能够尽可能准确地复现原始信号？香农的天才在于他意识到：沟通的关键是不确定性。毕竟，如果我要讲述的内容您提前就知道，我还写它做什么呢？
香农的通信模型示意图，摘自他的论文
就是这一见解，将通信问题从实体转为抽象，从而使香农可以使用概率对不确定性进行建模。这极大地震惊了当时的通信工程师。
三、信息论到底在讲什么
建立起有关“不确定性和概率”的理论框架之后，香农开始着手他里程碑式的论文，并系统地确定了通信的基本极限。他的回答分为三个部分。在每个部分中，“bit（比特）”的概念都扮演着重要角色，香农将其用作不确定性的基本单位。“bit”是“binary digit（二进制数字）”的合成词，bit可以是1或0，香农的论文首先使用了该词（尽管他说数学家John Tukey在备忘录中首先使用了它）。
首先，香农提出了一个公式来计算每秒钟至少需要多少个bit来传输一条信息，并将这个数字称作熵率（entropy rate）H。熵率H表示发送者发送信息的不确定性，熵率越低，不确定性越小，因此越容易将消息压缩得更短。例如，以每分钟100个英文字母的速率发送短信意味着每分钟发送 26100 条可能的消息，每条消息都是100个字母组成的序列。用470个比特就可以编码所有可能，因为 2470≈ 26100。如果每种序列都具有相同的可能性，那么香农公式将表明熵率H确实是470 bits/分钟。实际上，某些序列比其他序列更有可能出现，熵率低得多，可以进行更大程度的压缩。
其次，香农提出了一个公式，来计算系统在噪声存在情况下的最大传输容量，他称之为系统容量（system’s capacity），C。这是接收器能够对传送的信息进行解码的最大速率，也代表了通信的速度极限。
最后，他证明了对于发出的信息受到噪声干扰的情况，只有当H < C时，通信才是可靠的。信息就像水一样，流量小于管道容量时，才可安全流过。
虽然这是一种通信理论，但同时也是一种有关信息如何产生和传递的理论——信息论。因此，现在香农被称作“信息论之父”。
他的定理得出了一些与直觉相反的结论。假设您在嘈杂的地方讲话。确保您的消息通过的最佳方法是什么？也许是一遍又一遍地重复？这可能是大多数人的本能，但事实证明这样做效率并不高。当然，重复的次数越多，沟通越可靠，但这是牺牲速度来换取可靠性。香农告诉我们，我们可以做得远远比这更好。重复消息是使用代码传输消息的一个例子，而使用不同的、更复杂的代码，可以在保持一定可靠性的同时，更快速地通信——一直到速度极限C。
香农站在一箱电子元件前 香农也有爱玩的一面，他经常将这一面带到他的工作中。这是香农和他为一只名为特修斯的电子老鼠建造的迷宫的合影
香农理论的另一个出乎意料的结论是，无论信息的性质是什么，无论是莎士比亚十四行诗，贝多芬第五交响曲的录音还是黑泽明的电影，在进行传输之前，将其编码为比特一定是最有效率的。因此，例如在无线电系统中，即使初始的声音和在空中传播的电磁信号都是模拟波形，基于香农定理，最好也要先将声波数字化为比特，然后再将这些比特映射为电磁波。这一令人惊讶的结果是现代数字信息时代的基石，在这个时代，比特已成为信息的“通用货币”。
四、跨界的天才
香农的通信理论是如此自然，他似乎是发现了，而不是发明了宇宙的信息传播定律。他的理论与大自然的物理定律一样基础。从这个意义上说，他是一位科学家。
香农发明了新的数学来描述通信定律。他首次引入的概念，例如概率模型的熵率，已经应用到广泛的数学分支的研究中，例如遍历理论（ergodic theory）（动力学系统的长期行为的研究）。从这个意义上说，香农是一个数学家。
但最重要的是，香农是一名工程师。他的理论是受到了实际工程问题的启发。尽管对当时的工程师来说，这些理论深奥难懂，但现已成为了所有现代（光学，水下，甚至星际）通信系统的基础标准框架。就个人而言，我很幸运地参与了一个全球范围的，将香农的理论应用和扩展到无线通信的事业，在多代标准中将通信速度提高了两个数量级。确实，当前推出的5G标准使用的不是一种而是两种实用的代码，它们都达到了香农的速度极限。
克劳德·香农在看一张土星照片
香农在70多年前就为所有这一切奠定了基础。他是怎么做到的？通过锲而不舍地专注于问题的基本特征，而忽略所有其他方面。他的交流模型的简单性就是这种风格的很好例证。他还知道要专注于可能的事情，而不是立即可行的事情。
香农制作的一辆黄色的遥控巴士。尽管香农在2001年去世了，但他的遗产仍然存在于构成我们现代世界的技术和他创造的设备（如这种遥控巴士）中
香农的作品说明了顶级科学的真正作用。当我开始读研究生时，我的导师告诉我，最好的工作往往是在修剪知识树，而不是发展知识树。那时候我无法理解这句话。我一直认为，研究人员应当追求的是添加自己的树枝。后来我有机会在自己的工作中运用了这种哲学，我才开始理解。
当香农开始研究传播时，工程师已经掌握了大量技术。正是他的工作将所有技术统一起来，将这些知识的枝条修剪成了一棵富有逻辑、一以贯之的、可爱的树，这棵树为几代科学家，数学家和工程师结出了累累硕果。
原文链接：
https://www.quantamagazine.org/how-claude-shannons-information-theory-invented-the-future-20201222/
本文来自微信公众号：中科院物理所（ID：cas-iop），作者：David Tse