Shannon 信息論及數字通信之父

香農：信息論及數字通信之父

發表日期：2004年12月14日 出處：《計算機教育》第10期 作者：劉瑞挺

　　20世紀中葉，信息論、控制論、系統論等標新立異的新理論相繼問世，有力地「晃動
」著傳統的科學框架。克勞德·香農是一位美國數學工程師，作為信息論的創始人，人們
認為他是20世紀最偉大的科學家之一。他在通信技術與工程方面的創造性工作，為計算機
與遠程通信奠定了堅實的理論基礎。人們尊崇香農為信息論及數字通信時代的奠基之父。
確實，他對人類的貢獻超過了一般的諾貝爾獲獎者。回顧20世紀的信息革命風暴，經他闡
明的信息概念、連同「比特」這個單位已經深入人心，成為今天日常生活都離不開的詞彙
。

　　克勞德·香農(Claude Elwood Shannon，1916-2001)1916年4月30日誕生於美國密西
根州的Petoskey。在Gaylord小鎮長大，當時鎮裡只有三千居民。父親是該鎮的法官，他
們父子的姓名完全相同，都是Claude Elwood Shannon。母親是鎮裡的中學校長，姓名是
Mabel Wolf Shannon。他生長在一個有良好教育的環境，不過父母給他的科學影響好像
還不如祖父的影響大。香農的祖父是一位農場主兼發明家，發明過洗衣機和許多農業機械
，這對香農的影響比較直接。此外，香農的家庭與大發明家愛迪生(Thomas Alva Edison
，1847-1931)還有遠親關係。
　　香農的大部分時間是在貝爾實驗室和MIT(麻省理工學院)度過的。在「功成名就」後
，香農與瑪麗(Mary Elizabeth Moore)1949年3月27日結婚，他們是在貝爾實驗室相識的
，瑪麗當時是數據分析員。他們共有四個孩子：三個兒子Robert、James、 Andrew Moore
和一個女兒Margarita Catherine。後來身邊還有兩個可愛的孫女。
　　2001年2月24日，香農在馬薩諸塞州Medford辭世，享年85歲。貝爾實驗室和MIT發表
的訃告都尊崇香農為信息論及數字通信時代的奠基之父。

攻讀學位
　　1936年香農在密西根大學獲得數學與電氣工程學士學位，然後進入MIT念研究生。
　　1938年香農在MIT獲得電氣工程碩士學位，碩士論文題目是《A Symbolic Analysis
of Relay and Switching Circuits》(繼電器與開關電路的符號分析)。當時他已經注意
到電話交換電路與布爾代數之間的類似性，即把布爾代數的「真」與「假」和電路系統的
「開」與「關」對應起來，並用1和0表示。於是他用布爾代數分析並優化開關電路，這
就奠定了數字電路的理論基礎。哈佛大學的伽登納(Howard Gardner)教授說，「這可能是
本世紀最重要、最著名的一篇碩士論文。」
　　1940年香農在MIT獲得數學博士學位，而他的博士論文卻是關於人類遺傳學的，題目
是《An Algebra for Theoretical Genetics》(理論遺傳學的代數學)。這說明香農的科
學興趣十分廣泛，後來他在不同的學科方面發表過許多有影響的文章。
　　在讀學位的同時，他還用部分時間跟溫尼法·布什(Vannevar Bush)教授進行微分分
析器的研究。這種分析器是早期的機械模擬計算機，用於獲得常微分方程的數值解。1941
年香農發表了《Mathematical theory of the differential analyzer》(微分分析器的
數學理論)，他寫道：「大多數結果通過證明的定理形式給出。最重要的是處理了一些條
件，有些條件可以生成一個或多個變量的函數，有些條件可使常微分方程得到解。還給出
了一些注意事項，給出求函數的近似值(不能產生精確值)、求調整率的近似值以及自動控
制速率的方法。」

特殊癖好
　　大家從照片上看，可能以為克勞德·香農是一位文質彬彬的書生。事實上，他有許多
愛好，特別令人難以置信的是香農可以熟練地玩一套雜技。不是在舞台上，而是在日常生
活中，例如在貝爾實驗室的走廊裡。
　　從MIT到香農寬敞的住宅只有幾英里。他的住宅裡放滿了各種樂器，諸如有5台鋼琴、
30多種其他樂器，從短笛到各種銅管樂器應有盡有。童年時代，他熱衷於裝無線電收音機
、練莫爾斯電報碼、搞密碼學等。在Gaylord 上中學時他還當過Western Union 的信使。
　　在他的玩具室裡，有一個雜耍傑作，由3個醜人一起玩11個環、7個球和5個棍子，通
過鐘錶機構驅動。可見當他還是孩子時就喜愛雜耍，香農的一生都迷戀於平衡與控制穩定
性。他的平衡興趣與能力是十分有名的，一個膾炙人口的故事是他經常騎著獨輪車
(unbicycle)、手裡拋著三個球來到貝爾實驗室的大廳。有時他還踩著高蹺騎摩托，使同
事害怕不已。他發明過有兩個座位的獨輪車，不過恐怕沒有人敢與他共享。他還把獨輪車
造成偏離地心的，騎在上面忽高忽低，像鴨子行走似的。
　　他設計並建造了下棋機器、迷宮老鼠(左圖)、雜耍器械以及智力閱讀機。下國際象棋
的機器包括用3個指頭能抓起棋子的手臂、蜂鳴器以及簡單的記錄裝置。他還建造了供孩
子們到湖邊玩耍的升降機，長約600英尺，設有座位。這些活動表明了香農的主張，即好
奇心比實用性對他的刺激更大。他的名言是：「我感到奇妙的是事物何以集成一體。」

參加工作
　　1941年香農以數學研究員的身份進入新澤西州的AT&T貝爾電話公司，並在貝爾實驗室
工作到1972年，從24歲到55歲，整整31年。1956年他當了MIT的訪問教授，1958年成為正
式教授，1978年退休。
　　人們描述香農的生活，白天他總是關起門來工作，晚上則騎著他的獨輪車來到貝爾實
驗室。他的同事D. Slepian寫到：「我們大家都帶著午飯來上班，飯後在黑板上玩玩數學
遊戲，但克勞德很少過來。他總是關起門來工作。但是，如果你要找他，他會非常耐心地
幫助你。他能立刻抓住問題的本質。他真是一位天才，在我認識的人中，我只對他一人使
用這個詞。」
　　香農與John Riordan一起工作，1942年發表了一篇關於串並聯網絡的雙終端數的論文
。這篇論文擴展了麥克馬洪(Percy A. MacMahon，1854-1929)1892年在Electrician上發
表的論文理論。1948年則創立了信息論(information theory)。
　　在漫長的歲月，他思考過許多問題。除在普林斯頓高等研究院工作過一年外，主要都
在MIT和Bell Lab度過。需要說明的是，在二次世界大戰時，香農博士也是一位著名的密
碼破譯者(這使筆者想到比他大4歲的圖靈博士)。他在Bell Lab的破譯團隊主要是追蹤德
國飛機和火箭，尤其是在德國火箭對英國進行閃電戰時起了很大作用。1949年香農發表了
另外一篇重要論文《Communication Theory of Secrecy Systems》(保密系統的通信理論
)，正是基於這種工作實踐，它的意義是使保密通信由藝術變成科學。

信息理論
　　1948年香農在Bell System Technical Journal上發表了《A Mathematical Theory
of Communication 》。論文由香農和威沃共同署名。前輩威沃(Warren Weaver，
1894-1978)當時是洛克菲勒基金會自然科學部的主任，他為文章寫了序言。後來，香農仍
然從事技術工作，而威沃則研究信息論的哲學問題。順便提一句，該論文剛發表時，使用
的是不定冠詞A，收入論文集時改為定冠詞The。
　　這篇奠基性的論文是建立在香農對通信的觀察上，即「通信的根本問題是報文的再生
，在某一點與另外選擇的一點上報文應該精確地或者近似地重現」。這篇論文建立了信息
論這一學科，給出了通信系統的線性示意模型，即信息源、發送者、信道、接收者、信息
宿，這是一個新思想。此後，通信就考慮為把電磁波發送到信道中，通過發送1和0的比特
流，人們可以傳輸圖像、文字、聲音等等。今天這已司空見慣，但在當時是相當新鮮的。
他建立的信息理論框架和術語已經成為技術標準。他的理論在通信工程師中立即獲得成功
，並刺激了今天信息時代所需要的技術發展。
　　香農考慮的信息源，產生由有限符號組成的詞。它們通過信道進行傳輸，每個符號開
銷有限的信道時間。這裡涉及到統計學問題，如果xn是第n個符號，它是由固定隨機過程
源xn產生的，香農給出一個分析信號誤差序列的方法，它是傳輸系統固有的，可以通過設
計相應的控制系統控制它。
　　在這篇論文中，香農首次引入「比特」(bit)一詞，如果在信號中附加額外的比特，
就能使傳輸錯誤得到糾正。按照物理學的習慣，把電流單位叫做「安培」，如果給「比特
流」一個單位名，那麼叫做「香農」是比較合適的。
　　通信的數學理論是香農在數學與工程研究上的頂峰。他把通信理論的解釋公式化，對
最有效地傳輸信息的問題進行了研究。香農的文章立即被世界各國的通信工程師和數學家
採用，大家詳細地論述它、擴展它、完善它。這個學科立刻繁榮起來，成為科學史上光輝
燦爛的一頁。後來，香農感到由他扮演重要角色而開始與通信革命走得有些過遠。他寫道
：「信息理論可能像一個升空的氣球，其重要性超過了它的實際成就」，真是大師的氣魄
。

熵的概念
　　香農理論的重要特徵是熵(entropy)的概念，他證明熵與信息內容的不確定程度有等
價關係。熵曾經是波爾茲曼在熱力學第二定律引入的概念，我們可以把它理解為分子運動
的混亂度。信息熵也有類似意義，例如在中文信息處理時，漢字的靜態平均信息熵比較大
，中文是9.65比特，英文是4.03比特。這表明中文的複雜程度高於英文，反映了中文詞義
豐富、行文簡練，但處理難度也大。信息熵大，意味著不確定性也大。因此我們應該深入
研究，以尋求中文信息處理的深層突破。不能盲目認為漢字是世界上最優美的文字，從而
引申出漢字最容易處理的錯誤結論。
　　眾所周知，質量、能量和信息量是三個非常重要的量。
　　人們很早就知道用秤或者天平計量物質的質量大小。然而，我們關於熱、燃料、功與
能的計量問題，遲至19世紀中葉，隨著熱功當量的明確和能量守恆定律的建立才逐漸清楚
。能量一詞就是它們的總稱，而能量的計量則通過「卡、焦耳」等新單位的出現而得到解
決。
　　然而，關於文字、數字、圖畫、聲音的知識已有幾千年歷史了。但是它們的總稱是什
麼，它們如何統一地計量，直到19世紀末還沒有被正確地提出來，更談不上如何去解決了
。20世紀初期，隨著電報、電話、照片、電視、無線電、雷達等的發展，如何計量信號中
信息量的問題被隱約地提上日程。
　　1928年哈特利(R.V. H. Harley)考慮到從D個彼此不同的符號中取出N個符號並且組成
一個「詞」的問題。如果各個符號出現的概率相同，而且是完全隨機選取的，就可以得到
DN 個不同的詞。從這些詞裡取了特定的一個就對應一個信息量I。哈特利建議用N log D
這個量表示信息量，即I=N log D 。這裡的log表示以10為底的對數。後來，1949年控制
論的創始人維納也研究了度量信息的問題，還把它引向熱力學第二定律。
　　但是就信息傳輸給出基本數學模型的核心人物還是香農。1948年香農長達數十頁的論
文「通信的數學理論」成了信息論正式誕生的里程碑。在他的通信數學模型中，清楚地提
出信息的度量問題，他把哈特利的公式擴大到概率pi不同的情況，得到了著名的計算信息
熵H的公式：
　　H=Σ-pi log pi
　　如果計算中的對數log是以2為底的，那麼計算出來的信息熵就以比特(bit)為單位。
今天在電腦和通信中廣泛使用的字節(Byte)、KB、MB、 GB等詞都是從比特演化而來。「
比特」的出現標誌著人類知道了如何計量信息量。香農的信息論為明確什麼是信息量概念
作出決定性的貢獻。
　　事實上，香農最初的動機是把電話中的噪音除掉，他給出通信速率的上限，這個結論
首先用在電話上，後來用到光纖，現在又用在無線通信上。我們今天能夠清晰地打越洋電
話或衛星電話，都與通信信道質量的改善密切相關。

科學意義
　　於是在20世紀中葉，人類終於對三個非常重要的概念：質量、能量、信息量都有了定
量的計量辦法。我們應該牢記，為闡明質量概念做出偉大貢獻的是發現物體力學定律的牛
頓(Sir Isaac Newton，1642-1727)，為闡明能量概念作出偉大貢獻的是熱力學第一定律
的發現者們：邁耳(Julius Robert von Mayer，1814-1878)、焦耳(James Prescott
Joule，1818-1899)、赫爾姆霍茲(Hermann von Helmholtz，1821-1894)、開爾文(Lord
Kelvin，1824-1907)，而為闡明信息概念作出偉大貢獻的就是香農。
　　20世紀中期隨著原子彈的出現，物理學成為最榮耀的科學學科。在隨後的50年裡，晶
體管、人造衛星、集成電路、電腦的飛躍發展無不與物理學知識的應用有關。但是我們也
驚奇地發現這些新技術都是為提高信息的處理能力服務。光榮的物理學家們忙了半個世紀
，終於發現自己僅是給信息科學當僕人。信息量能進入物理學嗎？但「信息不是物質」！
在物理學的版圖中人們不知道把信息論放到哪裡合適。人類知識體現的這種新的混亂局面
需要我們不斷地澄清。
　　後來，他在人工智能方面也做了許多工作。例如他設計了一個電子老鼠來解決迷宮問
題。他還研究過四色問題。他設計了國際象棋程序，發表在1950年的論文《Programming
a computer for playing chess》中。1956年在洛斯阿拉莫斯的MANIAC計算機上實現了一
個國際象棋的下棋程序。這一年香農還發表論文說明通用圖靈機可以僅用兩個狀態構建。

榮譽獎項
　　克勞德·香農在公眾中並不特別知名，但他是使我們的世界能進行立即通信的少數科
學家和思想家之一。他是美國科學院院士、美國工程院院士、英國皇家學會會員、美國哲
學學會會員。他獲得過許多榮譽和獎勵。例如1949年Morris獎、 1955年Ballantine獎、
1962年Kelly獎、1966年的國家科學獎章、IEEE的榮譽獎章、1978年Jaquard獎、1983年
Fritz獎、1985年基礎科學京都獎。他接受的榮譽學位不勝枚舉，不再贅述。
　　今天，我們懷念香農，要熟悉他的兩大貢獻：一是信息理論、信息熵的概念；另一是
符號邏輯和開關理論。我們更應該學習他好奇心強、重視實踐、追求完美、永不滿足的科
學精神，這是他獲得成功的重要經驗。

--
Reference:
http://www.itedu-tsinghua.com/ReadNews.asp?NewsID=309