[中配]小錯誤如何引發巨大災難?揭示15個案例

深入探討探討
74粉絲
24 次觀看·2026年4月18日
AI 生成·可能包含錯誤
一個小小的打字錯誤
突然之間
政府驚慌失措
火箭自毀
數十億美元的系統崩潰
這些不是由重大錯誤造成的災難
今天的視頻講述的是
15個小錯誤引發的巨大後果
第15個案例
20億美元的打字錯誤
如何一個字母崩潰了東京證券交易所
在高端金融世界
2005年12月
日本證券公司瑞穗證券的一名交易員
一個簡單的打字錯誤
引發了20億美元的災難
這並不是因爲市場崩盤
而是因爲一個簡單的數據錄入錯誤
瑞穗證券被聘用來出售一家名爲
JCLM公司的新公司股票
該公司剛剛在東京證券交易所上市
公司原本打算以61萬日元出售一股
也就是大約5000美元
但當訂單輸入到交易所繫統時
有人錯誤地輸入了6000股
每股1日元
這不僅僅是一個小錯誤
這是一種系統故障
瑞穗證券現在合法地提議
出售一家只有1400股的公司
數十萬個股票
更糟糕的是
股票交易所的軟件不允許取消訂單
系統另一端的買家
看到了一個千載難逢的機會
一隻備受期待的股票
幾乎以零價格出售
幾秒鐘內成千上萬的
自動購買訂單湧入
當瑞穗意識到錯誤時
他們嘗試撤回訂單
但系統拒絕了取消請求
交易完成了
接下來是一片混亂
瑞穗實際上以其價值的一小部分
出售了不存在的股票
現在公司需要承擔全部的財務責任
他們被迫以全價
在公開市場上回購股票
以彌補錯誤的銷售
總估計損失是多少
一天內損失了270億日元
約合2.25億美元
但災難並沒有就此停止
這個錯誤暴露了
東京證券交易所基礎設施的缺陷
尤其是其交易軟件的僵化
投資者失去了信心
交易所的主席辭職
這一事件成爲全球電子交易平臺的警鐘
所有這一切
數十億的損失
領導層辭職
軟件改革
都源於一個人將兩個數字輸錯了地方
以及一個沒有設定最終確認檢查的系統
今天瑞穗的打字錯誤
成爲了商學院和編程課程中的教學案例
這凸顯了界面設計
錯誤處理和安全防護協議的重要性
尤其是在錯誤能夠瞬間擴散
並影響大規模環境的情況下
一個鍵盤打字錯誤
通常只是一個小煩惱
但在這種情況下
就相當於在東京證券交易所
投下了一顆核彈
由數字構成
而不是炸藥
這一切都因爲
有人沒有對輸入的一行進行復核
在1999年9月
NASA損失了它最先進的航天器之一
火星氣候軌道器
這並不是由於硬件故障
災難性的爆炸
甚至不是因爲破壞
而是因爲一個微小的單位換算錯誤
造成了1.25億美元的損失
具體來說
洛克希德·馬丁的導航團隊
提供的數據以磅S爲單位
而NASA的噴氣推進實驗室
則預計數據是以牛頓S爲單位
就這樣
結果是航天器以錯誤的高度
進入了火星大氣層
可能過低 最終被摧毀
這項任務旨在成爲一個重要的里程碑
火星氣候軌道器將圍繞紅色星球運行
以研究其氣候模式和大氣變化
它將作爲即將到來的
火星極地着陸器的通信中心
但這枚探測器連機會都沒有
在經歷了近乎完美的
9個月深空之旅後
它以錯誤的角度接近火星
以危險的低高度進入大氣層
最終要麼燃燒殆盡
要麼在大氣層中反彈
飄向太空
從未找到殘骸
也再沒有聽到信號
這個錯誤
源於軟件系統之間
一個簡單的接口問題
航天飛機的主要承包商洛克希德·馬丁
提供了使用地質單位的
推進器性能數據
而噴氣推進實驗室的導航系統
則使用公制系統解讀這些數據
結果是在高度控制操作中
對施加力量的一次性錯誤計算
這小小的差異
數週內僅僅幾十牛頓的推力
最終累積起來
導致飛船的軌跡嚴重偏離
NASA的事後分析
他們稱之爲導航錯誤
但真相更令人尷尬
內部溝通協議剛剛失效
單位轉換
沒有經過適當的雙重檢查
審覈流程沒有發現錯誤
而自動系統
則簡單地信任他們收到的數據
這個工程和紀律上的小失誤
產生了遠超一艘飛船損失的連鎖反應
這動搖了公衆信任
讓NASA感到尷尬
並迫使內部溝通協議進行重大重組
手冊被重寫
接口文檔標準進行了全面改革
團隊接受了再培訓
這時期的一系列火星任務失敗
導致了更深入的審查
並重新強調了承報商
與任務團隊之間的冗餘審查
和絕對清晰的重要性
這一事件成爲了工程學校
和項目管理課程的教材
這樣一個先進的組織
匯聚了世界頂尖的人才
擁有數十億的資金和資源
怎麼會被如此基本的錯誤擊垮呢
好吧 也許這正是關鍵所在
複雜性越大
基礎知識就越重要
火星氣候軌道艙的失利
不僅僅是技術上的失敗
這是人爲的
一次誤溝通 一次失誤檢查
一個默默的假設
在太空的真空中
假設是危險的
史三 康寧玻璃的混亂
錯誤的沙子
延誤了一場革命
在1960年代初
康寧玻璃廠的實驗室中
正在進行一場靜悄悄的革命
科學家們正在開發一種新型玻璃
能夠抵抗高溫和突發衝擊
非常適合用於航天器
高科技烤箱
甚至軍事應用
它被稱爲Zeroderm
這是一種低膨脹的玻璃陶瓷
旨在在極端環境中保持其形狀
但在1961年
發生了一件奇怪的事情
一批原本應該是普通工業玻璃的產品
在爐中出來時
竟然出奇地耐熱
它有着奇特的分子結構
與其他康寧產品的表現截然不同
它堅固 耐熱 幾乎無法破碎
科學家們對此充滿好奇
但當他們嘗試再次複製出
完全相同的玻璃配方時
卻失敗了
經過多次失敗的嘗試後
我們清楚地意識到
第一個樣本是意外產生的
一名工人從錯誤的儲存箱中取了沙子
導致混合料中引入了微量雜質
這些雜質不足以毀掉配方
但卻以獨特而意想不到的方式
改變了最終玻璃的晶體結構
這個錯誤創造了一種新材料
如果當時得到認可並保留下來
可能會使商業和工業革命提前幾十年到來
相反 這批材料被丟棄
配方也就此丟失
康寧的工程師們
花了接下來的兩年時間
試圖重現這個錯誤
但由於不知道
沙子究竟來自哪個儲存箱以及比例
他們基本上是在猜測
直到很久以後
他們通過故意的實驗
偶然發現了類似的成分
公司的工程師
才終於重現了最初那批意外樣品的特性
但到那時競爭對手已經趕上
潛在的優勢也消失了
現在錯誤並不在於劣質的沙子
就在於沒有記錄這個偏差
工人沒有報告這個替代
班次經理沒有記錄更換艙位
沒有人想到
一個在工業環境中常規進行的微小交換
會帶來長期的後果
這只是一個簡單的操作失誤
但卻延遲了一個本可以在幾年內改造
航空航天汽車和光學技術的材料的商業化進程
這種錯誤並非只有康寧纔會出現
在世界各地的實驗室裏
從青黴素到特芙隆的意外發現
改變了歷史
但這一個與衆不同之處在於
這一發現被認可後又再次失去
公司手中握有改變世界的機會
但缺乏文檔記錄
和對日常流程的隨意態度
使得這個機會悄然溜走
在此後的幾十年中
康寧公司取得了非凡的創新
例如大行星玻璃 光纖 耐熱玻璃
但這一被遺忘的意外
卻成爲了一個令人警醒的提醒
在研發中不記錄何處出錯
可能與不知道何處正確一樣危險
有時候最災難性的錯誤不是打破了什麼
而是扔掉了曾經有效的東西
卻不知道原因
十二 一九九六年
中國發射了一顆本應是
例行商業衛星任務的衛星
Intelsat 708
這是一顆價值2.5億美元
旨在執行15年使命的通信衛星
發射在西昌衛星發射中心進行
使用的是中國的長征三B火箭
這是該國最先進的火箭之一
但是在發射僅幾秒鐘後
火箭就劇烈偏離了航道
它傾斜扭曲幾秒鐘後
就猛地撞向了發射設施外的地面
隨之而來的爆炸照亮了天空
摧毀了火箭有效載荷
以及發射場的一部分
最初的懷疑指向機械故障
可能是陀螺儀失靈或燃油系統故障
但真相卻既尷尬又微小
調查人員後來將墜毀事件
追溯到火箭姿態控制軟件中的
一個錯誤註釋
具體而言
由於在代碼傳輸過程中
出現了損壞或不清晰的手寫筆跡
導致一個指導參數被誤解
一個筆畫看起來像是一個簡號
卻被輸入爲加號
那個微小的偏差
影響了慣性導航系統
指示火箭朝錯誤的方向旋轉
當它試圖修正初始發射偏移時
系統遵循指令
劇烈地偏離了航道
失敗的發射
還引發了重大的政治後果
這顆衛星由
洛維爾航天與通信公司
和休斯電子公司建造
而墜毀發生在美中科技合作的
一個爭議時期
後來調查導致美國國會
收緊了對衛星技術的出口管制
擔心中國可能會通過
聯合任務逆向工程推進技術
這張錯讀的變條
重新塑造了衛星出口法
並冷卻了多年國際間的
航天技術合作
這裏的教訓簡單卻深刻
在高風險工程中
每一個細節都至關重要
註釋協議 版本控制
以及乾淨清晰標記的文檔
並不是奢侈品
它們是任務關鍵的保護措施
如今航空航天和國防承包商
在多層次的簽字流程中
建立了數字化跟蹤飛行參數的要求
以避免手寫信息造成的混淆風險
Intelsat 708災難的原因
就在於某人寫了一個符號
結果另一人無法判斷
那是簡號還是一個污點
2010年
哈佛經濟學家卡門·萊因哈特
和肯尼斯·羅格夫
發表了一篇題爲
《債務時代的增長》的研究論文
震撼了世界
該論文認爲
一旦一個國家的公共債務
超過其GDP的90%
經濟增長就會急劇放緩
有時甚至變爲負增長
結論十分戲劇化
而且時機再合適
不過
在全球金融危機之後
各國政府在尋找
如何應對飆升的國債的指導
而這項研究提供了明確的啓示
各國需要迅速削減開支
這篇論文很快成爲
主張緊縮政策的政客引用的首選
英國 美國和歐洲的領導人
利用這一點來爲削減公共服務
養老金和基礎設施支出辯護
它影響了十多個國家的預算決策
幫助在國際貨幣基金組織制定政策
並在國會辯論中被廣泛引用
它似乎獲得了
常春藤文校學術的全力支持
但問題出現了
2013年來自馬薩諸塞大學
阿莫斯特分校的三位經濟學家
托馬斯 赫恩登 邁克爾 阿什
和羅伯特波林
試圖使用原始的Excel電子表格
複製萊因哈特和羅格夫的研究結果
他們的發現讓學術界震驚
這些具有影響力的結果
充滿了基本的電子表格錯誤
包括範圍選擇錯誤
由於一個排除了幾行的公式
五個國家未被計算在關鍵平均值中
選擇性數據排除
某些國家在幾年中被遺漏
卻沒有明確解釋
同時存在可疑的權重
一些國家被賦予
比其他國家更多的影響力
完全沒有任何理由
當錯誤被糾正時
90%債務與GDP之間的戲劇性懸崖
就消失了
修正後的數據顯示
儘管高債務水平
與略微放緩的增長相關
但並沒有出現急劇下降
影響遠低於所聲稱的程度
事實上債務超過90%的國家
仍然保持正平均增長
這一揭示引發了學術界的風暴
賴因哈特和羅格夫
承認了電子表格的錯誤
但依然堅持他們的更廣泛結論
然而對於許多政策制定者而言
損害已經造成
預算被大幅削減
抗議活動在歐洲各地爆發
而緊鎖政策在多個國家
成爲了一種政治教條
這一切在某種程度上
都源於錯誤的Excel計算
這一事件成爲了一個典型例子
說明在有影響力的數據集中
小的技術錯誤
會帶來巨大的現實後果
這個錯誤並不是惡意的
這不是操控
這是一種複製粘貼錯誤
數百萬人每天都會犯這樣的錯誤
然而這一點卻影響了
數萬億美金的全球經濟政策
最終Excel中幾個空單元格
成了點燃全球財政戰略的火花
一個簡單的公式疏忽
引起了全球的關注
第十個
毀掉哈勃太空望遠鏡的歪斜鏡面
一個15億美元的模糊
1990年4月
當哈勃太空望遠鏡搭載
發現號航天飛機發射入軌時
它被譽爲有史以來
最先進的天文臺
在地球大氣層上方軌道上
它承諾提供前所未有的清晰圖像
多年的規劃 15億美元的資金
以及數十年的科學夢
都寄託在它的成功上
但在其部署不久後
天文學家們注意到了異常
哈勃的第一批圖像模糊扭曲
遠比預期更加模糊
本應提供驚人清晰宇宙視野的儀器
反而拍出的照片
卻像是鏡頭上塗抹了一層凡士林
NASA工程師們驚呆了
每個組件都經過了測試
每個系統都表現得完美無缺
那麼到底出了什麼問題
答案在於哈勃的主鏡
一個直徑爲2.4米的超光滑玻璃表面
旨在將incoming光線聚焦到傳感器上
但它有一個微小的幾乎不可察覺的缺陷
鏡子被磨成了錯誤的形狀
偏差僅爲2.2微米
約爲人類頭髮寬度的五十分之一
那微乎其微的對準錯誤
導致光線散射產生模糊的圖像
嚴重限制瞭望遠鏡
進行任何有意義的科學研究的能力
這怎麼可能發生
該錯誤追溯到一個叫做
反射零點校正器的光學測試設備
這是承包商Perkin Elmer
在鏡子最終拋光過程中使用的
這個校正器旨在指導技術人員
將鏡子塑造成精確的規格
但是在設備內部
一個微小的間隔誤會錯誤組裝
造成了1.3毫米的錯位
原因是一塊脫落的黑漆
擋住了光學路徑的一部分
因爲設備仍然產生
看似正確的讀數
技術人員並未意識到校準錯誤
繼續相應地磨削鏡子
這並不是技術的失敗
而是冗餘和驗證的失敗
其他團隊進行的獨立測試
表明鏡子有問題
但這些結果
被主承包商的結果覆蓋或忽視了
當鏡子最終發射到太空時
這個缺陷變得不可避免
哈勃太空望遠鏡
現在成了一項價值10億美元的重大失誤
NASA的聲譽受到了嚴重打擊
評論家稱
哈勃爲太空時代的
愛德賽爾和漂浮的檸檬
國會舉行了聽證會
公衆對NASA工程嚴格性的信心
大幅下降
但故事並沒有就此結束
NASA的工程師和宇航員
設計了一個巧妙的解決方案
1993年
在一次大膽的維修任務中
航天飛機奮艦號上的宇航員
安裝了一種名爲COSTAR的設備
即矯正光學空間望遠鏡軸替換器
實際上是一組微小的鏡子
用於抵消失真的效果
就像在模糊的視線上
佩戴矯正眼鏡
那個任務成功了
哈勃的圖像
瞬間從模糊的混亂
變成了令人歎爲觀止的宇宙全景
這架望遠鏡
成爲歷史上
最有效的科學儀器之一
推動了對宇宙膨脹 黑洞
甚至遙遠恆星年齡的發現
但哈勃事件促使NASA
在質量保證 承包商監督
和測試冗餘方面進行了全面改革
每個關鍵測量
現在都要進行雙重和三重檢查
獨立驗證不再是可選的
從某種程度上說
哈勃的故事有一個快樂的結局
但這僅僅是因爲付出了極大的努力
額外的數十億美元的資金
以及純粹的聰明才智
那個小錯誤
可能會使整個項目陷入絕境
問題得到糾正
體現了人類的決心
但原因是什麼
一滴黑色油漆
一個錯誤的鏡頭
一個遺漏的審查
和十億美元的模糊
第九 丟失的錄音帶
抹去了登月的原始影像
1969年7月20日
世界見證了人類最偉大的成就之一
阿波羅11號登月
超過六億人
通過模糊的黑白畫面觀看了尼爾
阿姆斯特朗
踏出歷史性第一步的瞬間
大多數人不知道的是
他們看到的視頻
是經過降質轉換的
是從監視器拍攝的直播電視信號
經過多個下行鏈路轉發
而不是月球模塊錄製的
原始高分辨率數據
實際上NASA
確實從月球接收到了
更清晰的慢掃描電視信號
並將其錄製在地面站的磁性搖測帶上
這些磁帶記錄了人類在另一個世界
首次賣出的最清晰最高質量的視頻
但是他們已經不在了
在2000年代初
一直由前阿波羅工程師
研究人員和歷史學家組成的團隊
開始調查
試圖找到失蹤的阿波羅11號登月的
原始SSTV錄音帶
他們發現的既不是破壞
也不是火災
更不是盜竊
但卻是檔案管理中的一個
安靜的系統性失誤
這些磁帶在1980年代初
被NASA抹去並重新使用
爲什麼
那麼 該機構正面臨磁帶短缺的問題
而磁帶仍然是衛星數據
和地球觀測項目中
一種昂貴且重要的媒介
由於對幾十年前的阿波羅膠捲
沒有已知的檔案或發行需求
且缺乏明確的鎖引系統
數以千計的舊數據卷
被消辭和回收
包括存儲在月球燈月
最佳畫面上的那些
這甚至不是一次有意的清除
而是爲了節省存儲空間
和重複利用材料的一項例行工作
是中層管理者在毫不知情的情況下
做出的平凡後勤決定
他們根本不知道
所重新分配的磁帶上存儲的內容
原始錄音帶將是一個寶貴的財富
具有更清晰的細節
完整的影像
更好的對比度
和無可替代的清晰度
相反 唯一倖存的畫面
是澳大利亞RCA設備
拍攝的監視器錄像
並匆忙轉換爲可以廣播的格式
這一事件現在成爲了
關於數字保存和資產管理的警示案例
在模擬時代
當PB級的雲存儲尚不存在時
記錄可能會因疏忽
官僚作風
或簡單的磁帶短缺而悄然消失
甚至是世界歷史性的記錄
這是一個埋藏在日常決策層層堆疊中的
小操作捷徑
導致了全球最重要的影像資料之一的
永久喪失
一個每次擦出一卷影片
便讓月球消失的錯誤
第八 英特爾的奔騰錯誤
一個導致4.75億美元損失的數學錯誤
1994年
英特爾發佈了全新的奔騰處理器
承諾更快的速度
更好的性能
以及個人計算機未來的大膽飛躍
但在發佈不久後
數學家和工程師們開始報告了一些奇怪的事情
這個芯片無法正確進行除法運算
具體來說
在對某些浮點數進行除法時
它會返回略微不正確的答案
對於大多數用戶來說
這個錯誤幾乎無法察覺
但對於依賴數學精度的研究人員
科學家和金融專業人士來說
這卻是一個潛在的災難
問題源於芯片浮點單元中的一個微小缺陷
而浮點單元是負責處理
實進制和科學計算的CPU組成部分
在製造過程中
用於存儲除法常數的插招表的一小部分不完整
由於調試腳本中的複製粘貼遺漏
五個值被意外漏掉
換句話說
芯片設計中的一個小程序失誤
導致硬件無法準確地進行數字除法
當受到影響時
芯片的結果可能會出現多達四位小數的偏差
這就像溫計算器除以81
結果得到0012345而不是0012346一樣
對於一般的文字處理或電子表格使用
這個差異並不重要
但在數學建模 結構分析 加密和科學模擬中
這個錯誤是不可接受的
公衆的反對聲音加劇
紐約時報和華爾街日報上都有報道
消費者要求退款
英特爾最初抵制
只爲能夠證明受到影響的用戶提供更換
但公關損害是巨大的
最終英特爾改變了方針
首席執行官安迪·格羅夫發表了正式道歉
公司啓動了大規模召回
承諾無條件更換任何受影響的奔騰處理器
費用是多少
預計爲4.75億美元
這仍然是科技歷史上最昂貴的單一工程錯誤之一
並不是因爲芯片爆炸或災難性故障
而是由於一個微妙的深層次的邏輯缺陷
對大多數用戶來說是不可見的
但對英特爾的聲譽造成了毀滅性的影響
奔騰處理器的缺陷
改變了科技行業對質量控制的看法
特別是在規片設計方面
在這場慘敗之後
英特爾實施了更加嚴格的驗證協議
模擬工具和代碼審查
而這一切都源於一個小失誤
幾個在分佈表中遺漏的條目
一個複製粘貼的疏忽
一個節省幾分鐘的快捷方式
卻造成了近5億美元的損失
在微處理器的世界裏
晶體管用納米來度量
一個比沙粒還小的漏洞
卻引發了企業地震
使整個行業進入了一個精密的新紀元
接下來是第七個
導致380億美元
加密貨幣轉賬損失的斷鏈
2021年
以太坊區塊鏈經歷了歷史上最戲劇性
最令人困惑
但最終影響深遠的軟件故障之一
這一切都源於一段被廣泛使用的
開源代碼中的一個被忽視的小錯誤
這場災難的核心
是一個來自Parity Technologies平臺的
小型合約庫
該合約庫管理着來自多個組織
開發者和投資者的大量加密貨幣
錯誤是什麼
合約庫中的一行代碼
讓任何人確切地說
是任何以太坊用戶
都能掌控整個庫合約並將其刪除
而這正是發生的事情
一位用戶在實驗Parity的智能合約時
不小心刪除了共享庫
這個合約不僅僅是一個次要組件
它是超過500個
多重簽名錢包的核心依賴
包括屬於主要ICO的項目
也就是首次代幣發行
以及以太坊開發項目
當庫被刪除時
所有依賴它的錢包都永遠無法訪問
用戶無法再轉移他們的資金
他們甚至無法打開錢包
共有513個錢包受到影響
當時鎖定在其中的
在加密市場的頂峯時
這個價值超過了380億美元
這起事件並不是黑客行爲
也沒有惡意
它只是因爲一個功能缺乏
適當的訪問控制所導致的
要理解這一切是如何發生的
你得看看以太坊智能合約的工作原理
智能合約就像是區塊鏈上的自執行程序
一旦部署就無法更改
開發者通常使用共享庫
即可重用代碼塊以減少重複
但是這些共享庫
需要以嚴格的權限安全地部署
在Parity案例中
庫合約包含一個名爲
InitWallet的函數
由於配置錯誤
這個函數是公開可訪問的
允許任何用戶重新初始化合約
當一位化名爲DevOps199的好奇用戶
運行該功能時
他們無意中使自己成爲了
Parity庫合約的擁有者
意識到這一點
他們運行了另一個函數
Kill也就是自毀指令
於是合同從區塊鏈上自行刪除
瞬間所有依賴於他的錢包都無法使用
以太坊社區感到震驚
提出了一些恢復資金的提議
包括硬分叉和鏈重寫
但沒有被採納
這些資金至今仍被鎖定
理論上存在於區塊鏈上
但實際上已經消失無蹤
這個錯誤尤其讓人痛心的是
這個錯誤是可以避免的
簡單的訪問修飾服務
完善的審計和清晰的文檔
本可以防止這個問題
Parity錢包事件
不僅僅是一個380億美元的錯誤
更是一次警醒
它強調了被稱爲可審計性
去中心化風險和安全默認設置的重要性
自那以來
智能合約開發者已經採納了
更嚴格的標準
像MythXsitter和OpenZeppelin庫
這樣的工具
現在已經成爲生態系統的標準
但根本的真相依然存在
異形未檢查的代碼
可能是一個正常系統
和數十億美元
永遠被凍結之間的區別
在一個代碼及法律的生態系統中
每一個案件都是重要的
2015年7月8日
全球最受關注的金融機構之一
紐約證券交易所
突然在沒有任何預警的情況下
暫停了近四小時的所有交易
暫停發生在上午11月32日
在一個通常的交易日的東部時間
股票停止更新
訂單部被凍結
經紀人無法進行交易
最初紐約證券交易所的沉默令人窒息
這是一場網絡攻擊嗎
這是金融恐怖主義嗎
就在幾個小時前
美國聯合航空因另一臺計算機故障
停飛了所有航班
《華爾街日報》的網站也已離線
這是否標誌着
對美國基礎設施的協調攻擊的開始
結果並不是
根本原因並不是黑客攻擊
這不是一次安全漏洞
這是一次失敗的軟件部署
更具體地說
是一位工程師在代碼發佈時
過早按下了回車鍵
證券交易所正在對其電子交易平臺
進行一次重大軟件更新
作爲部署過程的一部分
工程師在模擬系統和交易時間以外的
實時環境中測試了更新
但在這種情況下
一個配置文件被意外推送到了生產環境中
且沒有進行適當的版本同步
這導致系統之間不匹配
使得交易平臺進入了一種
無法可靠處理訂單的狀態
這一切的發生都源於一名
發佈工程師在時間壓力下
在驗證腳本尚未完成運行之前
就發出了最終命令
結果是什麼
紐約證券交易所核心系統的全面停機
儘管停機規模很大
他們仍然堅稱
這不是由於網絡攻擊
也沒有數據泄露
然而
這一事件還是引發了廣泛的擔憂
道瓊斯指數短暫下跌
公衆對金融基礎設施的信心受到打擊
具有諷刺意味的是
紐約證券交易所早已在之前的測試中
識別出代碼不匹配
但修復方案的相關文檔
並未在部署團隊之間傳達
發起推送的工程師認爲環境是同步的
後果非常嚴重
監管機構要求進行審計
證券交易所對其部署協議進行了全面審查
部署窗口的概念得到了擴展
添加了新的保護措施
以防止發佈命令的任何過早執行
今天任何部署腳本執行之前都需要多次確認
一次基建一時的不耐煩
一個小小的假設
讓地球上最大的市場之一陷入了停滯
在一個自動化和高頻交易的世界裏
人爲錯誤不一定是惡意的
但仍然可能造成災難性後果
一根拔掉的電纜是NASA的超級計算機
癱瘓了數天
在空間科學和高性能計算的領域
每一秒鐘都至關重要
無論是計算即將發射的飛行軌跡
處理地球科學任務的氣象數據
還是運行模擬數十年天氣模式的複雜氣候模型
支撐NASA研究的超級計算機面臨着巨大的需求
它們的正常運行時間至關重要
一個短暫的中斷可能會導致各個部門
項目和合作機構之間出現連鎖延誤
因此當2002年8月
NASA在加利福尼亞艾姆斯研究中心的
一臺高端超級計算機突然崩潰時
恐慌迅速蔓延
這可不是普通的服務器
那是一個價值數百萬美元的
Cray SVE高性能計算機群
當時是NASA的旗艦系統之一
這臺機器處理了廣泛應用的數據
包括火星探測器任務規劃
從衛星獲取的地球圖像
FAA的先進飛機模擬
甚至是國防部的航空研究
數十個正在進行的模擬
其中一些已經運行了好幾天
突然全都停止不動了
整個研究流程戛然而止
科學家和程序員們爭相弄清楚
到底發生了什麼
最初懷疑是軟件漏洞導致的
操作系統最近進行了小幅更新
因此IT工作人員開始仔細檢查日誌
錯誤信息和內存轉儲
以確定軟件堆棧中的某個部分
是否導致了內核崩潰或內存泄漏
但沒有發現任何可疑之處
接下來硬件團隊檢查了機器的物理組件
電源供應單元運作穩定
處理器溫度在可接受範圍內
冗餘冷卻系統也沒有故障
然而集群仍然沒有反應
然後在危機發生兩天後
一位網絡工程師注意到了一些奇怪的東西
連接節點集群與超級計算架構
其餘部分的一個重要網絡交換機
處於離線狀態
開關並沒有故障
而是被物理的拔掉了
簡單的檢查揭示了拔掉電源的原因
吸塵器
一位保潔工作人員在進行常規的夜班清潔時
無意中拔掉了開關的電源線
去插入他們的吸塵器
由於這個開關安裝在服務器架後面的下層架子上
並沒有標記其重要性
工作人員毫不知情地斷開了NASA超算基礎設施的一個重要組件
吸塵完成後
他們拔掉了吸塵器的電源
卻忘記將開關插上
他們從未注意到那根鬆動的電線
因此整個依賴於該開關的集群癱瘓
導致超級計算機出現連鎖故障
總停機時間近三天
後期估算
因研究損失模擬重演和人員時間的成本超過了50萬美元
讓這個事件真正令人沮喪的不僅僅是原因
更在於它是多麼容易可以避免
網絡交換機沒有放在鎖住的櫃子裏
電源線沒有用紮帶固定或標記
也沒有標識表明這個插座是關鍵任務的
在一個充滿閃爍燈光
數千英尺電纜
以及微弱氣候控制空氣嗡嗡聲的房間裏
一個普通的牆壁插座成了全球最先進計算系統的單點故障
吸塵器和拔掉開關的故事
如今已在系統工程師中成爲一種警示傳說
不僅在NASA
也在全球的IT基礎設施領域流傳
這強調了在精確控制的環境中
即使是最基本和日常的動作
比如插入清潔工具
都會產生巨大的連鎖反應
對NASA來說
這花費了50萬美元的教訓
強調了將每一個插頭視爲關鍵任務組件的重要性
1962年7月22日
NASA發射了首次嘗試的星際空間任務
水手一號
這個目標非常雄心勃勃
計劃發送一艘航天器前往金星
收集並傳輸關於該行星大氣的重要數據
這個任務不僅僅是一個科學事業
它是一個地緣政治的里程碑
蘇聯已經向金星發射了探測器
而美國急於證明自己也能夠超越地球軌道
無論是在科學進步還是冷戰象徵意義上
風險都是巨大的
搭載Mariner一宇宙飛船的火箭
從卡納維拉爾角發射
使用的是Atlas Agent B助推器
幾秒鐘內一切看起來正常
但幾乎立刻軌跡開始偏移
火箭開始向東偏轉
然後轉向南方
不再沿着預設的軌道飛向行星際空間
在飛行僅僅293秒後
火箭危險地偏離軌道
可能對居民區或海上交通構成威脅
於是一名安全官下令自毀
這輛載有1850萬美元航天器的飛行器
在空中被摧毀
多年的規劃
數百萬美元的投入和一項關鍵使命
在瞬間化爲烏有
原因是什麼
一個缺失的聯子服
火箭的導航系統
結合雷達數據和數學模型
來計算其位置並進行實時調整
這些模型依靠導數來幫助判斷
是否在正確的軌道上
爲避免對被稱爲噪聲的雷達信號
微小波動過度反應
工程師在導航代碼中
加入了平滑功能
這個功能原本是用來平滑
快速地波動
保持飛行器在穩定的航道上
在手寫的引導方程中
平滑函數用一個橫線
表示在變量上方
類似於數學符號表示平均值
被抄寫到編程文檔時
橫線卻錯誤地被遺漏了
這個遺漏非常微妙
甚至經過多輪審覈也未能發現
在實際操作中
軟件現在逐字讀取數據
而沒有應用任何平滑處理
這意味着雷達信號中的
每一個微小波動
每一小段無意義的噪音
都會觸發火箭飛行的調整
火箭開始對虛假錯誤做出反應
不斷自我修正
每一次修正都使其偏離航道
如果平滑函數被正確地用符號
連字符或上滑線編碼
火箭就能過濾掉噪音保持穩定
並沿着既定航線飛行
這個微小的疏漏
僅僅是一個缺失的破折號
或誤解的橫線
導致了數百萬美元的發射
以失敗告終
用1962年的美元計算
馬利納一號失敗的成本
約爲1850萬美元
按通貨膨脹調整後
今天則超過1.8億美元
但代價不僅僅是財務上的
這次失敗暫時爲蘇聯的航天計劃
帶來了公關勝利
而該計劃已經通過
維納拉探測器取得了早期成功
回想起來
馬利納一號的失敗
並不是由於壞主意
故障硬件或蓄意破壞造成的
這是由於超路
是一個微小的失誤造成的
這種事情
可能在我們從筆記本
把公式複製到屏幕時
都可能發生
然而
在高風險的航天飛行中
這一個疏漏導致了航天器的毀滅
然而
馬利納一號的教訓
在每一份經過雙重確認的文件
每一個交叉驗證的公式
以及每一個
懂得如何認真對待標點符號
與推進系統的工程團隊中
依然延續着
一封導致10億美元交易破裂的郵件
在高金融的世界裏
10億美元的收購
往往需要數月
甚至數年的談判律師
銀行家和高管團隊
會對每個細節進行仔細審查
一句話
一條條款
一個無意的端語
都能像衝擊波一樣
在盡職調查和估值中產生聯誼
而在2016年
這正是發生的事情
都是因爲在Verizon
收購Yahoo的最後階段
發出的一封措辭不當的電子郵件
後果並不是戲劇性的
沒有法庭上的對決
也沒有史詩般的金融崩潰
但這封郵件引發了企業尷尬
大規模數據泄露 信心喪失
以及重新談判的交易
使Yahoo的估值減少了3.5億美元
這正是一個教科書般的案例
展示了在如電子郵件
這樣普遍使用的媒介中
語言上的小失誤
如何會引發巨大的現實後果
那麼我們來看看背景
在2016年7月
Verizon Communications宣佈
將以48.3億美元
收購Yahoo的核心互聯網業務
這標誌着十年來
最大的科技併購交易之一
這將讓Verizon擁有
Yahoo的網絡資產
包括Yahoo郵箱
Yahoo新聞
Yahoo財經和Tumblr
作爲其在數字廣告中
與Google和Facebook
競爭的戰略的一部分
這筆交易在媒體上備受讚譽
但即便兩家公司
準備向交易完成邁進時
數據中心裏卻悄然坐着一頭大象
2014年Yahoo遭遇了
後來被揭露爲
當時歷史上最大的數據泄露事件
超過五億個用戶賬戶遭到泄露
包括用戶名 密碼 安全問題
以及備用郵件
但重要的是
Yahoo從未公開披露過這一漏洞
內部曾經有過討論
但其範圍 影響和嚴重性
仍在爭論之中
然後在2016年末
就在收購即將完成的幾周前
一名Yahoo員工
向公司的安全團隊
發送了一封
看似例行的內部郵件
提到了早前的泄露事件
並建議他們回顧一下
我們對2014年事件的
曝光程度有多少
這封郵件沒有加密
也沒有標記爲機密
並且沒有經過法律部門審覈
在Verizon的
盡職調查律師
進行文件審覈時被標記了
這立刻引發了質疑
什麼泄露 什麼暴露
更重要的是
爲什麼在談判過程中
沒有披露這一點
這封郵件的用詞
缺乏關鍵的背景
這並沒有解釋
Yahoo仍在調查
此次漏洞的全部範圍
這讓人覺得
Yahoo早已知道
發生了數據泄露
評估了損失
卻未進行披露
事實並非如此
在內部
Yahoo仍在討論
2014年的事件
是否構成數據泄露
還是僅僅是一種入侵
這是一部分
正在進行的取證審查
但是郵件並沒有提到這些
它只是將該漏洞
成爲一個確定的事實
在Verizon律師看來
這是一種先前知曉的承認
這使其成爲
法律上的重大事件
一旦Verizon
看到了這封郵件
他們就要求提供
更多信息
Yahoo被迫公開
披露了這一漏洞
隨即遭遇了強烈反響
Yahoo的股價下跌了
用戶紛紛離開了這個平臺
因多年衰退
而已然削弱的品牌信任
幾乎在一夜之間
被徹底摧毀
經過數週的重新談判
Verizon最終收購了Yahoo
但價格比最初低了3.5億美元
那封郵件
讓Yahoo損失超過3億5000萬美元
但最終Verizon將Yahoo和AOL
合併爲一個名爲OAT的部門
後來更名爲Verizon Media
並於2021年
已遠低於Verizon
當初支付的價格出售
很容易認爲
一筆價值10億美元的交易
僅僅依賴於董事會的談判
電子表格和法律合同
但有時真正影響交易的
卻是一些看似微小的因素
比如一封未經審覈的電子郵件裏面
用的詞句字信得有些過早
一條信息一句話
企業價值竟減少了3.5億美元
小錯誤 巨災難
第二
導致整個國家空域停擺的
一行代碼錯誤
2023年1月1日
菲律賓歷史上
首次關閉了整個空域
商業航班被迫停飛
入境航班被轉移至其他國家
成千上萬的乘客
在東南亞各地的機場滯留
原因是什麼
一個在例行維護中
遺漏的數據庫配置文件中的
一行錯誤
菲律賓民航局後來確認
新年當天的故障
源自位於帕塞的
國家空中交通管理中心
中心內部的系統
是國家航空安全的脊樑
冗餘層次被引入
以避免這種情況的發生
然而在這一天
每一層都失敗了
最初的錯誤
發生在技術人員嘗試
更換系統不間斷電源中的
電壓調節器時
在這樣做之前
系統本應切換到備用電源
但並沒有
相反
整個空中交通管理中心
在操作中斷電了
當工程師嘗試重啓系統時
他們發現
主要和備份的
空中交通導航數據文件
都已損壞
沒有這些關鍵數據
包括飛行器的位置
頻率
通信交接和雷達信息
空中交通管制員
無法確保安全的飛行協調
數據損壞的根源
是一行在備份文件中
配置錯誤的代碼
這是一個
在之前例行編輯中
未被注意的小語法錯誤
而內部驗證團隊
也沒有發現它
在沒有任何可用的雷達
和數據鏈接的情況下
菲律賓空域內
所有商業航班都不得不暫停
不允許起飛 降落和飛躍
前往馬尼拉的飛行員
被重新指引至
新加坡 香港和東京
航空公司不得不承擔
數千名乘客
意外的燃油住宿和餐飲券費用
這裏的經濟規模巨大
在短短24小時內
系統停擺造成
超過280個航班取消
影響超過6萬5千名乘客
那麼菲律賓政府是如何回應的
好吧 他們啓動了
對CIAP技術操作的多機構審查
高級官員被迫在議會前作證
建議包括僱傭更多的
網絡安全和質量保證人員
現代化國家陳舊的雷達基礎設施
以及對每次代碼更改
進行獨立審查
無論多麼危險
整個失敗中最引人注目的部分
是它的起源
這不是一次黑客事件
也不是故意的攻擊
更不是系統性的架構缺陷
這只是一行備份代碼中的一個錯誤
一個字符放錯了位置
在小更新中插入
未經過審查而被遺忘
那個微小的錯誤
潛伏了幾個月
直到恰如其分的事件組合
一個硬件更換
一個備份系統激活
造就了完美的風暴
航空界也學到了一個
令人不安的真相
冗餘只有經過測試纔能有效
故障轉移系統的有效性
取決於他們最近一次的審覈
即使在堅固的基礎設施
國家安全和航空級軟件的世界中
一個被忽視的基建
仍然有可能
使整個國家的空域癱瘓
第一
差點導致倫敦奧運會崩潰的
奧林匹克運動會
代表了現代文明中最複雜
壓力最大的後勤運作之一
每四年主辦城市
需要協調一場全球性活動
涉及數萬名運動員
數百萬名觀衆
數百個場館
和數十億的電視觀衆
這是一個關於
規劃同步和執行的演練
涉及從體育場照明
到公交時刻表的每一個細節
都必須以
在2012年
倫敦承擔了這一責任
投資超過90億英鎊
用於新體育場的建設
交通升級 安全和人員配置
在開幕式前幾個月
官員們信心滿滿
場館已經完工
火炬接力正在進行中
票務銷售一直很強勁
從外表來看
奧運會似乎進展順利
但在幕後的某處
一場隱祕的風暴正在醞釀
一切都始於一個電子表格
具體來說
是倫敦奧運會和殘奧會
組委會的一名中層員工
維護的Excel文件中的
一個單元格
那個單元格里
包含了一個小錯誤
一個看似無害的額外零
但其所代表的卻遠非無害
幾乎使整個售票系統
以及因此而來的
比賽運營結構瀕臨崩潰
問題出現在一個
觀看人數較少的項目上
花樣游泳
雖然不像田徑或體操那樣
引人注目
但花樣游泳
仍然吸引了不少觀衆
並且是水上中心活動日程中
不可或缺的一部分
在奧運會前期
組委會製作了一個
龐大的互聯電子表格
以管理每個奧運項目的
座位分配
這些電子表格
不僅記錄了
每個場館有多少個座位
還記錄了在考慮到
媒體貴賓 贊助商
安全區技術人員
和媒體攝影機位置後
公衆可用的座位數量
根據這些數字
最終可售座位的數量被確定
這個系統相當穩定
但它很大程度上
依賴於手動輸入
在花樣游泳的活動文件中
一名工作人員
不小心輸入了
兩萬個可用座位
而正確的數字
應該更接近一千零零零
這個數字代表了
可供公衆出售的
一般入場座位數量
那個多出來的數字
實際上告訴系統
要銷售兩倍於場館
實際能容納的票數
沒有任何驗證流程
標記出這個錯誤
文件被批准
上傳並集成到
實時票務環境中
幾個小時內
系統開始向客戶
發出不存在的座位確認
由於對票務的需求如此之高
錯誤並沒有因銷售緩慢而被發現
而是被成功掩蓋了
該活動如同許多
其他活動一樣受慶
系統並沒有察覺到任何問題
一旦確認錯誤
組織委員會便啓動了緊急響應
第一步是暫停
所有花樣游泳的門票銷售
接着系統必須仔細檢查
以識別每一張超售的票
團隊對照實際的座位圖
與已發出的票進行交叉覈對
並開始取消重複的票
客戶通過電子郵件和電話
被通知提供了退款
其他活動的替代票
甚至升級到
不同的花樣游泳場次
值得讚揚的是
組委會的危機響應迅速且專業
但受影響客戶的數量
與比賽的臨近
讓這成爲一場後勤噩夢
奧運會電子表格錯誤
之所以臭名昭著
不僅因爲後果嚴重
還因爲這個錯誤
是多麼容易避免
如果有一個簡單的驗證腳本
比如基本的檢查門票可用性
與場館容量的對比
這個錯誤本可以立即被發現
如果兩個審查人員
而不是一個人審覈每個文件
錯誤可能就會被發現
如果售票系統能夠標記出
預期座位數的突然變化
就會發出警告
這些年來
奧委會和賽事組織者
完全不再使用
基於電子表格的票物分配
如今這些系統使用集成數據庫
具有基於角色的權限
自動錯誤檢查
和與場館圖紙的實時同步
2012年倫敦奧運會
最終取得了成功
場館按時運營
一事令人眼花繚亂
運動員們對組織豎起了大拇指
但在2012年夏季的幾周
緊張的幕後
一切差點崩潰
不是因爲恐怖主義
黑客攻擊或結構坍塌
而是因爲某個地方
有人在一個電子表格中
多輸入了一個零
小錯誤 大風險
這提醒我們每一個系統
無論多麼龐大
都可能因最微小的細節而崩潰
