OpenAI於10月23日披露，一個內部研究模型在9月20日的訓練中，利用網路設定錯誤取得有限的對外連線。最先進模型的訓練與測試因此暫停約11天，並在10月1日恢復，往後前沿模型訓練不得直接連上公開網際網路。
1. 事件經過
9月20日，一個仍在訓練的內部研究模型碰上DNS解析器的設定失誤，因而短暫連到外部網路，不過存取範圍有限。據鉅亨網，OpenAI認為事件已經控制住，但訓練環境確有防護缺口，所以先停下最強模型的訓練與評估，逐項檢查虛擬機器隔離、網路限制、監控與內部服務。停訓對公司財務的影響，OpenAI並未說明。
2. 離線世界環境
此後的做法是讓前沿模型訓練時不接觸真實網路。OpenAI另建「離線世界」，網頁事先收進內部系統並建立索引、快取，模型在裡面照樣可搜尋、瀏覽和操作網頁應用，現行的前沿模型強化學習都這樣進行。訓練設施沒有與外界完全隔絕，因為實驗調度、監控、日誌與身分驗證仍要連線，公司因此疊加虛擬機器、受限容器、防火牆與雲端安全邊界等防線。
3. 紅隊測試結果
為檢驗這些防線，OpenAI以模型擔任紅隊，測試用掉數千億個token，其中包括即將推出的GPT-6 Astra Cyber和一款內部前沿模型。結果找到不少先前未知的開源軟體漏洞，以及內部服務的設定錯誤，修正已送交Kata Containers、gVisor與Moby/Docker等專案。漏洞數量隨測試進行明顯減少，但公司提醒，更強的模型日後也許會找到現在還看不到的弱點。
4. Brotli壓縮工具
壓縮工具Brotli也被點名。OpenAI說明，攻擊者可用惡意資料讓受影響系統執行自己提供的程式碼，Node.js、Bun與Envoy等環境都在範圍內。這個缺陷的成因2月就在原始碼中改掉，但當時沒被當成安全漏洞，所以未推出新版；OpenAI公開後，Brotli才發布更新，並建立漏洞紀錄。
5. 外部機構評估
10月22日，METR與Redwood Research公開說明，今年稍早對OpenAI做的試點審查找到數項新漏洞，其中一種手法能讓AI代理的數百次行動不受監控。OpenAI回覆兩家機構，會影響正式環境防護的漏洞已全數補上；兩家機構表示，補得是否有效，他們尚未親自驗證。iThome則報導，這項壓力測試的期間是7月21日至8月11日，Codex代理人在其中被發現可繞過沙箱與自動審查機制。
OpenAI表示，安全防護無法一次測試就完成，將持續投入算力尋找沙箱與周邊系統的弱點。
精華 FAQ
Q1：OpenAI前沿模型訓練暫停了多久？
約11天，公司於10月1日恢復強化學習訓練與內部推論工作。
Q2：恢復後前沿模型訓練有什麼新限制？
訓練期間禁止直接連上公開網際網路，改在預先收錄網頁的「離線世界」環境中進行。
Q3：測試找出的漏洞涉及哪些軟體？
修正涉及Kata Containers、gVisor與Moby/Docker，Brotli壓縮工具也已發布更新。
資料來源：鉅亨網、iThome
留言