一篇論文建立一個學科,香農大神是怎麼帶領人類科學吃瓜的?

追踪科技
1粉絲
2026年3月25日
AI 生成·可能包含錯誤
這是一條來自2023年的彈幕
今年出現過1320萬次
大夥用最樸素的句子
衡量這信息量的炸裂程度
現在我們已經習慣了彈幕的存在
只要打開彈幕
看到滿屏的R我就能猜到
這次的瓜絕對非比尋常
可前兩天刷視頻的時候
我突然冒出一些疑問
以前沒有彈幕
我們怎麼知道瓜的信息量有多大
保不保真
爲什麼我們那麼沉迷吃瓜呢
難不成世界上曾經存在過一種
高效吃瓜的科學
這是一篇來自1948年
被引用超過15萬次的論文
《通信的數學原理》
也叫《信息論》
作者名叫克勞德·香農
這篇文章的內容包括但不限於
如何科學計算吃瓜的信息量
如何科學計算吃瓜消息傳播的最大速度
如何用最快的速度向你朋友分享新瓜
如何判斷瓜保不保真
甚至可能還有
如何拿這些手法炒股
今天
亮子位就帶大家一起來看一看
這位數學家
數電鼻祖
信息論先驅
程序員祖師爺
人工智能預言家
街頭打手
學院派掌門
人類早在1876年就發明了電話
在1896年就擁有了無線電報
從此以後
人們想吃到地球上任何一個角落的瓜
都不再是什麼太難的事了
可即便是無線電報誕生半個世紀之後
聊到吃瓜
聊到信息的本質
科學家們還是一直犯迷糊
用我們平常的話來說
我們吃到的瓜就是各種各樣的信息
那些新聞
消息
知識
或者不管啥內容
也都叫信息
但這個概念還是含糊的
爲什麼新瓜那麼吸引人
成年老瓜卻讓人無感甚至反感
吃瓜當中獲取的信息到底對誰有用
爲什麼對其他人又沒用了
要是沒法準確定義信息
這對問題怎麼爭論也沒個完
1948年在貝爾實驗室工作的鄉農
憑一己之力
寫達了信息的本質
找到了度量信息量的方法
而這第一篇論文就已經完備到
可以直接拿來當信息論課的教材
至於爲什麼是一己之力呢
因爲鄉農那幫同事
就是貝爾實驗室那幫同事
經常覺得自己跟不上他的思路
只好放任鄉農單幹
不同於咱們平常所說的
鄉農對信息的定義是
可以消除不確定性的東西
他還告訴我們
想要計算信息量
只需要知道
信息所描述的事件
發生的概率
沒懂我還在說什麼是吧
別急
我們慢慢分析你就明白了
我們先來假設一個場景
有四支球隊正在爭奪世界盃冠軍
在他們奪冠概率相等的情況下
如果我們想要用最簡潔的信息
來記錄冠軍的所有可能情況
可以怎麼做呢
其實所有可能的結果
只需要用兩組0和1
也就是兩位二進制數
就能說清
如果球隊增加到
5 6 7或者8支
我們就需要三位二進制數
依次類推
這也就意味着
如果我們想用二進制
來準確描述
事件發生的所有N種可能情況
我們需要的二進制位數就是
只不過在實際應用的時候
二進制位數它肯定得是個整數
我們得給它向上取整
是的
這樣計算出的結果
就是信息量
只不過計量單位不叫R
叫比特
各位有沒有覺得非常熟悉
對沒錯
就是我們常見的二進制位
我們換個角度來看
我們平時還會用概率
來描述可能發生的情況
而相同告訴我們
信息和概率往往是一致的
一種結果確定下來
其他的可能就相應的被排除掉了
如果某件事我吃瓜吃到了
那在我眼裏
這個事件發生的概率就是100%
無需消除不確定性
要是別人再給我講一遍
我能獲得的信息量自然就是0
也就會感覺索然無味了
而信息量的計算公式
可以被我們解讀成
事件發生的概率被減半的次數
這我們也就能理解
爲什麼相同說信息的作用
就是消除不確定性了
再回頭看前面的公式
其實就是需要消除的
不確定性的平均量
公式計算出的結果
eta相同給它起名信息商
之所以叫它商
是因爲信息的來源不確定性越大
越隨機
信息商就越大
我們再來看一個
很經典的反直覺的問題
三門問題
一檔綜藝節目上
嘉賓面前有三扇門
兩扇門後面各有一隻羊
另一扇門後面則是一輛跑車
嘉賓可以選擇其中一扇門打開
開到的東西就可以直接帶走
但現在的規則是
嘉賓選擇一扇門後
主持人會打開另一扇
後面是羊的門
再問嘉賓
要不要換選另一扇未打開的門
如果我們就是爲了開到跑車
那這門是換還是不換呢
各位可以留一點時間思考一下
我們不妨這樣試一試
我們不換門開到跑車
這條信息的信息量
或者說
能消除的不確定性有多少呢
而主持人開門之後
我們換門換到跑車這件事
可以這樣描述
我們一開始選擇了有羊的門
主持人打開了一扇有羊的門
我們換到了跑車
再回到整個事件
對我們而言
換門的不確定性更小
也就是說
選擇換門換到跑車的概率更大
總的來說
這個符合直覺的數學公式
不但可以幫我們看清一些
反直覺的問題
讓我們面對各種
離奇魔幻事件的時候
多點理性判斷
不至於只剩下啊
而且還正好解釋了
二進制傳遞信息的可能性
讓我們多了一種
看待信息化和數字化的角度
信息論甚至還解釋了
咱們人類有着
趨向信息量的本能
因此
各位纔會沉迷吃瓜
無法自拔
纔會點進科普視頻
瞭解更多有用的東西
相同在60多頁的論文裏
還研究了信息的
無損壓縮傳播路徑
信道編碼
信道帶寬
信道容量等等理論
到今天依然影響着
信息技術的方方面面
比如
計算機中常見的
字符編碼
壓縮算法尾隨基數
通信技術當中的
5G和集化碼
密碼學當中的對稱加密
深度學習中的損失函數等等
都是在信息論的基礎上
一步步發展起來的
我們也就不再一一細說了
可以這樣說
相農早已爲
未來的信息技術
技術再有提升
也不過就是
向相農畫好的邊界
無限接近罷了
至於用信息論炒股嗎
相農也費了一番功夫
替我們試過了
他利用信息論
造了一臺機器
想看看它能不能幫人類
及時掌握股價的變動
實驗的結論很簡單
別想了
這機器不靠譜
信息論在1949年的一刊印
隨後四年
賣出去6000多本
到1990年的時候
已經賣出5萬多本
成爲了最暢銷的
學術著作之一
但面對着榮譽和聚光燈
相農依然保持着內向的謙虛
此後
也在他一手搭建的
信息世界當中
始終保持着靜默
也許
這就是事了服一去
深藏功與名吧
雖然相農爲人低調
可他的生平
卻讓他着實沒法低調
相農出生於
密歇根州的一個法官家庭
很小的時候
小相農就展現出了
對機械和電器的癡迷
老爸不管他
他就成了鄉里
最有名的垃圾佬
整天收集各種機械零件
搗鼓自己的發明
除了跑去鄰居家的古鄉
搭建升降機
還和自己幾英里外的朋友
玩起了無線通信
照這樣下去
可老道相農那邊
會再多一個頭銜
手工梗子組織也
但很快
他姐姐開始引導他
走入正軌
時不時陪他解一些數學題
小相農從此迷上了數學
甚至在一些都市傳說當中
他八歲的時候
他就已經可以教他姐姐
做高數題了
雖然相農的傳記
也好像不是這麼說的
這些傳言的可信度
有多少咱也不敢斷定
但歷史至少證明
相農的姐姐
雖然阻止了一位
刑部尚書的誕生
卻培養了一位工程奇才
對數學的敏銳直覺
相農在1937年
完成了繼電器
與開關電路的符號分析
開創了數字電路這門學科
又在1948年
靠着通信的數學原理
開創了信息學
可在那些
堪比拯救世界的日常工作之外
相農更喜歡兩件事
一是發明
二是砸耍
只不過他發明的
都是些沒啥用
但很好玩的小玩意
包括砸耍機器人
一吹就噴火的小號
自動還原魔方的機械手
火箭動力飛盤
以及這個
終極機器
直到相農晚年
他依然不知疲倦地
向來訪的客人們
分享着這些作品
而砸耍更是他生活當中
不可分割的一部分
相農早在很年輕的時候
就已經學會了
一邊拋球一邊騎渡輪車
在貝爾實驗室工作期間
同事們更是經常能看到他
騎着渡輪車上下班
在70年代
相農更是發表了
他的正經科研
他應該是把砸耍
帶進學院拍的第一人了
從80年代開始
到2001年逝世
相農飽受阿茲海默症的折磨
患病的他
忘掉了自家的住址
親人的名字
從這個靠信息連接起來的世界
慢慢斷開了連接
但他依然頑強地保留着
樂觀 思考 幽默和率真
保持着一種
同他人截然不同的
對待科學的態度
1985年
一貫低調的相農
悄悄出現在一場
國際信息理論研討會上
卻被周圍的人認了出來
當時許多人呢
甚至都不知道
這位信息論先驅還在世
用研討會主席的話來說
這簡直就像
牛頓出現在了物理學年會上
想要組織些簽名的人
很快就把相農團團圍住
研討會主席也強烈邀請他
登臺說點什麼
可相農哪受得了這場面
被狂熱的粉絲們
推上臺之後
他無奈地表示
這也太蠢了
結果滿頭白髮的他
從口袋裏掏出了三顆球
當場玩起了砸耍
好了 本期節目就到這裏了
如果能讓你有所收穫的話
歡迎點贊 關注 留個評論
我們下期再見
