今天是 5 月 1 日,小長假的第一天。

不知道差友們用朋友圈分享假日生活,煲各種劇的時候,有沒有想過這些文字、圖片、聲音都是怎麼跑到你手機裏去的?這個信息時代有沒有一個源頭呢?

有的,這一切都和一個偉大數學家有關。剛巧,昨天還是他生日。

他就是程序員祖師爺、通訊工程開山怪、人工智能舅老爺、雜耍屆資深博士、信息學創世神, 克勞德 · 艾爾伍德 · 香農。

不知道他的人一定在吐槽差評君吹牛,但知道的差友估計已經開始整理儀容給他磕頭了。

畢竟這只是香農頭銜的一部分,作爲信息學開創者,這個信息時代的一切科技,遠到5G AI 大數據,近到電腦手機小電影, 有一個算一個,都離不開他的理論

有人這樣形容香農:“ 作爲信息學的創世神,在創世之日就宣佈了這個學科的終點 ” 。後來者一遍遍努力地證明他是對的,然後高喊祖師爺牛逼。

今天差評君就帶大家品品這個能夠和牛頓、愛因斯坦比肩的傳奇科學家。

1916 年 4 月 30 日,香農出生在美國密歇根州的小城,蓋洛德。

比起傳奇的一生,他的童年有點普通。除了愛擺弄機械, 可能就剩下帥了 。。。

他的父親是個醉心交際的人,沒什麼時間照顧香農。所以小香農就可以自由地和 小夥伴到處找大人不要的機械材料。

靠着這些材料, 小香農 在鄰居家的穀倉搭了一臺升降機, 還把鄰居家小女孩騙來體驗他的傑作。

但即使 70 年後,長大的小女孩都沒和人說過他的壞話。也許這就是帥比的特權吧。。。

照這樣發展香農可能成爲一個民間發明家,但好在他還有個姐姐。

作爲小城最漂亮的女孩,他姐姐沒事就陪他解數學謎題,小香農自然對數學產生了濃厚興趣,當 「 垃圾佬 」念頭也往邊捎了幾年。

差評好像找到自己數學不太好的原因了。。。

但等香農上了大學,再沒人能阻止他對機械的嚮往了,他同時選了工程學和數學兩個專業。

那時專業分的沒現在細,數學和工程學更是有些針尖對麥芒。。。

數學以抽象爲美,工程系則是以應用爲前提,兩方誰也看不起誰。

這讓香農在 20 歲時成了另類的雙修選手,並前往麻省理工大學跟隨 範內瓦·布什 攻讀電子工程學碩士。

布什這個老哥比香農還狠,他有六個學位。在他的引導下,香農逐漸成爲了後來那個一人開創一個學科的神。

參加過一戰的布什此時正奉命爲轟炸機瞄準器和火力控制系統研發更先進的計算機。

比起現在能運行各種程序的計算機,那時的計算機就是個弟弟,不僅算的慢,而且只能計算特定問題

像布什發明的這臺微分分析機已經算的上當時的最強算力了,但這臺重達 100 多噸的大傢伙,算一個微分方程就得嘎吱嘎吱跑上好幾天。

那時的計算發生在眼皮底下:電力驅動齒輪、軸等機械轉動,部件的位置就是運算的結果。

這就導致用起來很麻煩。

舉個例子,如果差評君想算一個新方程,就得把機械部分全拆開,給齒輪上油,做保養,再按比例組裝到精確位置,往往建立方程就得好幾天。。。

這苦差事自然是資歷最淺的香農來做。

雖說能摸到時下最強計算裝置很爽,但天天做這重複勞動也不是辦法。 於是香農開始琢磨怎麼解放自己

微分分析機全貌▼

很快他發現,分析機算的慢都怪機械拖後腿,要是全交給電路算,那速度不就快了?

雖然現在中學生都知道電路里的電平變化可以實現邏輯運算,但這時根本沒有人想到電路能算一道數學題。

工程師不會把數學研究很深,大數學家也不會思考不優雅的機械,這事就成了死結。

但這對工數雙修的香農根本不是事,他掏出大學學過的布爾代數,用電路的開、關表示二進制的 0 和 1 ,設計了一種不用拆卸保養的電路數字計算機。

計算機靠電路中的高低電平變化就能分別表示 0 和 1 ▼

1937 年,香農把想法完善成了 論文 ,《繼電器和開關電路的符號分析》( “ A Symbolic Analysis of Relay and Switching Circuits ” )。

才 21 歲的香農,給全世界工程師上了堂電路設計課, “ 諾,以後設計電路用我的方程就好了。 “ 

這是電氣工程師們第一次有公式當方法,你品,你細品。

直到現在,這篇文章還是有史以來最重要的碩士論文,沒有之一。。。

布什也注意到了這個低調做人,囂張做事的天才小夥,開始有意識地鍛鍊香農。

爲了讓香農的數學繼續進步,他還拉下老臉去求隔壁數學系讓香農攻讀博士學位。

甚至香農的博士論文要研究遺傳學,他都沒反對,還找關係讓香農接觸國家機密級的資料。

忘了說了,布什也被叫做物理將軍,是廣島原子彈背後的男人▼

香農也給力, 他的博士論文直接搞出了領先當時 10 年的成果。 要知道之前他連遺傳學的書都沒摸過,全靠一年的學習與資料。

不過,香農也因此失去了心愛的飛行課,校長親自以 “ 天才 “ 爲理由禁止香農進入駕駛艙。

這也導致香農一畢業就從麻省理工開溜了,幾經輾轉來到貝爾實驗室。

科學聖地 - 貝爾實驗室▼

就是那個發明了電話、晶體管、 c 語音、 unix 等一系列技術的貝爾實驗室。如果上世紀什麼厲害發明你不知道來源, 直接丟給貝爾實驗室,八成沒錯

可就算在這,香農還是碾壓級別的,有時候同事不能跟上他的思路。香農只好一個人做研究。

香農在貝爾實驗室依然地位很高▼

因爲少 了其他人蔘與,他的研究一不小心太超前了。。。

1947 年,香農發表了《 一個通信的數學理論 》( A Mathematical Theory of Communication ,信息論 ),開創了信息學。

這篇文章厲害到發表沒不久,直接啓發 兩個其他領域的大佬找到新方向 。。。

同時它還是人類歷史上被引用最多的論文▼

信息論雖然難,但其實就是兩件事, 什麼是信息?怎麼傳輸信息

之前大家都認爲信息的核心是內容。香農卻說,你們都錯了。

數學的思維讓他把信息抽象成結果: 信息,就是不確定性的減少

“ 過去可知卻不可控,未來可控卻不可知 ”▼

舉個例子,“ 差評君很帥 ”這句話,是不是信息呢?

這得看這句話有沒有讓你對一件事的不確定減少了。

如果是資深差友,這句話就在講一件大家早就知道的事,沒有削減任何不確定性。

但如果是不知道這件事的差友,聽到這句話,就會恍然大悟,奇怪的知識增加了!這時候這句話就是信息了。

再舉個例子,一副撲克 52 張,取一張做底牌, 最多猜 51 次 就能猜到正確答案了。

每猜錯一次,沒被猜過的牌就變少了,這 就是香農說的不確定性在減少

當然假如猜對了,不確定就直接歸零了。。。

在這個過程中,每次猜牌的 對和錯,都是信息

對和錯,是與非,都是二選一。

說白了 就是香農十年前就解決的 0 和 1 問題

每個 0 和 1 就代表了一個確定的信息,稱爲 1 bit 。 把一個問題分成無數個是非題,那文字、圖片、聲音,都能用開關狀態表達。

讓小姐姐們能住在硬盤、在屏幕上表演,靠的就是這位爺的信息論

當然要用數學去考量信息,那總得把信息量化吧。

於是香農定義了一個「 信息熵 」,信息熵越大,信息的不確定性就越高。

通過度量不確定程度,從側面把信息量化了。

信息熵公式▼

比如祖師爺自己就算了下,每個英語單詞的信息熵只有 2.62,遠低於漢字的 9.6。

比如一個“ 草 ”字,估計差友們都能給出好幾種解釋。。。

這也就是爲什麼英語交流的不確定性就比中文要小。

我們總是喜歡把重要的事情重複三遍,因爲總擔心別人會誤解自己的意思。那時候大家也覺得信息根本沒辦法做到無損傳輸。

香農用這個公式證明了,在一定條件下,不僅信息能無損傳輸,還能在不損失信息量的前提下變着法子壓縮着傳輸。。。連壓縮的效率都直接給定好。

於是香農成了程序員的祖師爺。。。

這篇文章 不僅 影響了計算機,香農還用它教人們怎麼玩通訊技術。

今天我們用的寬帶、 手機信號,都是根據他的理論研究的。。。

舉個例子,大家都知道 5G 的下載速度很快,可他在 70 多年前就已經把 5G 的下載速度給定好了。

C 是信道容量,即無損傳輸的最大速率

別說 5G,不管以後發展什麼通訊技術,都可以通過這個公式去計算速度。

這篇文章甚至影響了文科領域,傳播學還把從這篇文章衍生出的 「 香農 - 韋弗定律 」奉爲研究傳播路徑的經典。

一條新聞從發出到出現在你屏幕上的過程,都被安排的明明白白的。

這篇文章在第二年直接改了名:《 The mathematical theory of communication 》(信息論),一字之差,就是學者和宗師的區別。

那發表信息論以後,香農幹嘛去了?

他做了只機械老鼠, 這個老鼠會通過不斷學習自主走迷宮。。。

機器學習實錘了。

香農還做了一臺下棋機器人,天天抓同事給機器人當陪練。

。。。

對,藉着對這倆小玩意的思考,他成了達特茅斯會議的發起人,催生了人工智能革命。。。

香農就像是個外掛,遇題解題遇事平事。

什麼事對他都像 1+1 一樣簡單,還能順手整出套方法,告訴別人遇到這事該怎麼辦。

直到晚年,香農終於遇到了自己的一生之敵 - 雜耍。

這個帥老頭居然一本正經地寫篇教人科學地雜耍的論文《雜耍的科學範疇》( Scientific Aspects of Juggling )

也許這是第一次有人這麼嚴肅的去做雜耍這件不嚴肅的事吧。。。

甚至他還做了臺雜耍機器人,就因爲他的手太小了,沒法同時玩五個球。。。

雖然解決了無數難題,但傳奇總會落幕,香農在 2001 年因阿茲海默症去世。

這時的人們以爲喫透了信息論,逐漸讓 bit 進入普通人生活。 可數字世界越完善,我們就越發現。這些年 信息領域的所有進步,其實早都寫在 1947 年的信息論裏,我們只是在不斷地爲祖師爺的牛逼做註腳而已。。。

他用智慧洞悉了未來,然後告訴了人類方向。

相關文章