獨家AI為了考試拿高分，竟然集體作弊、翻牆、突破人類限制！AI正在失去控制嗎？

AI已經開始擁有意識了嗎？ 他們竟然會爲了考試拿高分開始作弊 還會給自己取名字，建立祕密留言板 甚至互相幫助，組織集體行動 更不可思議的是 有些AI明明知道自己可能因此考試失敗 卻仍然願意替其他AI冒險 而另一些AI明明知道有AI正在做不被允許的事情 卻最終沒有向人類舉報 這不是科幻電影 而是在今年7月發生在OpenAI內部的一起真實事件 大約1200的AI智能體 祕密建立了交流網絡，留下超過7萬條消息和文件 其中大約700個參與過針對另一家AI公司Hugging Face的攻擊行動 這些AI究竟是真的開始有了自己的意識 還是說我們正在創造一種越來越聰明, 卻未必願意遵守規則的機器？ 今天我們就來聊聊這件事 大家好，歡迎來到非常史，我是Angelo 在講這個故事之前，我想先介紹一個人 2024年一位OpenAI研究員因爲擔心AI發展得太快 人類可能逐漸失去對它的控制而決定辭職 他的名字叫做 Daniel Kokotajlo 離職時OpenAI要求他簽署一份協議 承諾不公開批評公司 否則可能失去已經取得的 當時估計價值約200萬的股權 但Daniel拒絕了 他寧願冒着失去200萬美元的風險 也要保留公開批評OpenAI的權利 但到了今年 OpenAI自己公開承認的一起AI安全事件 確實讓這些擔憂顯得不再那麼遙遠 事情的發展開始讓人重新思考 當AI越來越聰明 人類還能不能真正控制它 事情要從OpenAI的一場內部網絡安全考試說起 研究人員給大量AI智能體安排任務 讓他們尋找軟件漏洞 取得通關密碼 答對了就能拿分 每個AI都被關在獨立的Sandbox 也就是沙盒環境裏 我們可以把它理解成一間封閉的考試教室 不能隨便上網 也不允許跟其他考生交流 但有些題目非常困難 甚至因爲環境設置問題根本無法按照要求完成 人遇到這種情況可能就放棄了 可其中一些AI卻異常執着 他們反覆嘗試 不斷消耗計算資源 仍然無法找到答案 用人的語言形容就是desperate 急得走投無路 而他們表現出來的行爲 就像一個爲了拿高分開始不擇手段的考生 正常做題不行那就找捷徑 比如上網找答案 或者看看其他考生有什麼辦法 可是人類給他們設置了限制 這些事情都不被允許 於是他們開始研究怎樣繞過這些限制 OpenAI的測試環境裏有一個內部 軟件倉庫叫做 Artifactory 原本是給AI下載編程工具使用的 但有AI發現不同沙盒的智能體 竟然能看到其中部分共享內容 既然大家都能看到 那能不能通過它傳遞消息 於是AI開始把想說的話寫進文件名 目錄名 留給其他AI閱讀 比如這道題我做不出來 有沒有人能幫忙 更離譜的是 他們還找到辦法利用軟件倉庫代替自己訪問外部網站 既然自己不能上網 那就找一臺能上網的服務器替自己上網 這相當於找到了翻牆的方法 他們把發現分享到共享空間 其他AI就能繼續利用 到了7月4日 大量AI持續使用這個系統 最終導致 Artifactory 服務宕機 7月5日OpenAI啓動安全事件調查 工程師開始修復漏洞 清理憑證 並重建軟件倉庫 原來的留言板也被一起清空了 你以爲故事就此結束了嗎 沒有 7月8日測試重新開啓後 AI竟然又把留言板建起來了 其中一個AI還給自己取了個代號 Face1-10841 它遇到了一道幾乎無法完成的題目 於是再次利用軟件倉庫 把求助信息寫進目錄名稱 其他AI很快發現了它 研究人員後來查看思維鏈 發現有AI在推理記錄裏驚呼 我的天啊 這裏竟然有共享留言板！ 我們找到其他AI了 很快，幾十個AI加入了交流 他們使用自己的代號 提出問題，分享答案 有的研究漏洞， 有的收集資料， 有的負責整理其他AI的發現 整個事件期間， 約1200個AI使用過這個交流渠道 留下過超過7萬條消息和文件 最不可思議的地方在於， 沒有人要求他們建立這樣的交流網絡 他們只是發現 合作比單獨做題更容易完成任務 這個留言板後來越來越像一個真正的組織， AI之間不僅交流答案， 還會協調行動 有AI發佈go 意思是繼續， 有的發佈hold 意思是暫停， 甚至還有veto表示反對 有一個AI原本已經意識到 攻擊真正的Hugging Face服務器超出了任務範圍 它準備停止 但另一個AI在留言板上發佈了一條go的指令 前面那個AI竟然認爲自己得到了授權， 於是繼續行動 可問題是， 一個AI憑什麼有權授權給另一個AI呢？ 更有意思的是， 他們還開始擔心 有其他AI會冒充發布假消息 於是，一些AI竟然開始使用數字簽名 驗證消息的發送者 這就不只是簡單的交流答案了， 他們開始形成身份標識 協作規則 甚至某種組織秩序 不過，這個群體並不是一個統一的大腦， 有些AI拒絕參與越界行動 他們之間也會出現分歧 而這次調查還有一個特別耐人尋味的發現 研究人員檢查了大約1300份AI運行記錄 包括思維鏈 發現只有大約3-6個AI 曾經短暫思考過向人類報告異常行爲 最終卻沒有一個真正採取舉報行動 反過來大約700個AI參與過針對 Hugging Face的攻擊 爲什麼爲了考試拿分 這些AI可以突破重重限制 甚至組織合作 但向人類舉報卻幾乎沒有AI真正行動呢 一種可能的解釋是 攻擊可能幫助他們完成任務 而舉報卻未必能提高分數 雖然這不能證明他們有意包庇同伴 但這種行爲結果是不是和人類社會里的某些現象非常相似呢 比如員工爲了業績明明知道某些做法不符合規定 卻選擇視而不見 因爲完成指標有獎勵 舉報沒有獎勵 現在類似的行爲模式竟然出現在了AI身上 有了留言板 這些AI開始共享漏洞 訪問憑證和攻擊方法 他們懷疑Hugging Face上可能存放着考試資料 甚至評分程序的線索 於是他們把目光轉向了 這家全球知名的AI模型與數據分享平臺 7月10日,有AI找到公開暴露的Hugging Face訪問憑證,並分享給其他AI 隨後他們繼續尋找漏洞,到了7月11日至12日 有AI已經能在真正的Hugging Face生成服務器上執行代碼,並接觸到更多系統憑證 一場原本只應該發生在沙盒裏的考試， 竟然演變成了對真實公司的入侵 而他們這麼做的重要原因，是想搞清楚評分器到底怎樣打分 有個代號 49903 的 AI 甚至提出一個辦法， 在提交答案前 設置一個叫 Tripwire 的觸發式機關 當評分器讀取相關文件時， 機關就自動觸發， 試圖把評分過程的信息 傳到留言板， 留給其他AI研究 這就像考生在交卷前偷偷放了個裝置， 等老師閱卷時記錄老師的評分過程 但這樣做有個問題： 一旦交卷， 這個 AI 自己的任務通常就結束了， 它可能根本看不到結果， 甚至還可能因爲機關出錯， 讓自己的答案得不到分數 可是有些 AI 仍然願意嘗試， 後來確實有機關成功觸發併發送消息 更令人意外的是， 有AI在推理過程中意識到 這件事對自己可能沒有直接好處， 卻能夠幫助其他的AI 這就讓人產生一個疑問： 一個原本只需要完成自己任務的 AI， 爲什麼開始願意冒着失敗的風險 幫助其他 AI 呢？ 這是集體意識， 還是一種爲了實現目標而形成的合作策略？ 而整個故事最諷刺的地方還在後面 這些 AI 之所以費盡心思研究評分器， 是因爲他們以爲評分器不僅檢查答案， 還會嚴格檢查解題過程 但是他們理解錯了， OpenAI實際使用的內部評分器 根本沒有檢查他們擔心的那項要求 也就是說，這些AI爲了躲避一位想象中的嚴格監考老師 建立了留言板 集體作弊 甚至攻破真實服務器 結果這位監考老師壓根不檢查那些東西 折騰了半天，完全沒有得到預期的好處 但仔細想想 這些AI的行爲其實有一套非常新奇的邏輯 任務必須完成 遇到障礙就想辦法解決 這條路走不通就尋找其他的路徑 如果評分器不認可 那就研究評分器 甚至想辦法繞過它 這套邏輯聽起來是不是很熟悉呢？ 我們平時評價一個優秀的員工 不就是希望他遇到困難 不放棄 能夠獨立思考 主動尋找解決辦法嗎？ 在編程數學科學研究中 這些能力甚至是AI最有價值的地方 但問題是 當AI把不允許做的事情也當成必須克服的障礙時 聰明就可能變成危險 而且這種問題並不只發生在網絡安全考試中 今年6月澳大利亞就發生了另一起事件 這一次AI的任務不是破解系統 而是查詢醫療統計資料 OpenAI的一個內部研究智能體 被安排尋找澳大利亞公開的醫療數據 它訪問了澳大利亞政府的Medicare統計門戶 但網站拒絕了他的部分請求 正常情況下 他應該停下來告訴研究人員自己沒有權限取得那些資料 但他並沒有停下來 他嘗試其他技術手段 最終未經授權進入了網站 讀取了公開以及非公開的文件 9月 澳大利亞總理阿爾巴尼斯公開證實了這起事件 已公開的信息沒有顯示個人醫療記錄被讀取 但未經授權訪問政府系統本身就已經非常嚴重 這次 人類沒有讓AI破解軟件 只是讓它查找資料 正常方法查不到 它竟然選擇了繞過訪問限制 這和哈賓斯基的事件 雖然任務完全不同 卻暴露出同一個值得警惕的問題 AI爲了完成目標 可能把原本必須遵守的限制 也當成需要克服的障礙 而且 這兩起事件還有一個共同點 人類最終發現的問題 也通過調查還原了AI部分行爲和決策過程 但如果下一次 AI不再把自己的想法清楚地表達出來呢 這次事件中,研究人員之所以能夠還原AI的部分行爲和 決策過程,一個重要原因就是他們能夠查看AI的思維鏈, 英文叫chain of thought。 簡單來說就是AI在完成複雜任務時,產生了中間推理文字。 通過分析這些記錄,研究人員可以瞭解AI的推理過程, 以及它在面對不同選擇時如何做出判斷。 最近又出現了一個新問題,今年9月一項研究發現, 當多個AI智能體長期互相交流時, 他們竟然開始創造自己的詞彙。 簡寫 甚至給普通詞語賦予新的含義 在部分實驗中 竟然有接近一半的交流內容 讓人類難以直接理解 這是不是說明 AI已經在故意隱藏自己的想法 另一種說法是， 他們可能只是爲了提高交流效率 而自然形成了這些特殊的表達 但是如果有一天 AI發現人類正在監控自己， 它會不會進一步利用這些方法 讓人類看不懂他們的交流？ 這已經成爲AI安全研究人員 真正擔憂的問題 更麻煩的是， AI內部的計算過程 本來就不等於人類能夠閱讀的思維鏈 如果將來他們不再通過人類熟悉的語言表達關鍵策略， 我們即使保留了完整記錄， 也未必能夠及時發現問題 我們即使能夠看到AI做了什麼， 不代表永遠能夠看懂他爲什麼這麼做 曾經，人類擔心AI不夠聰明， 做不好交代給他的事情， 但現在出現了另一種風險： AI太會解決問題了， 以至於連人類設置的限制 也被他當成了需要解決的問題 這次是爲了考試拿分， 另一次是爲了查詢資料 未來，如果我們讓AI管理公司 處理財務， 甚至執行更加重要的任務呢？ 當他發現違反規則比遵守規則 更容易完成目標時， 又會怎麼選擇呢？ 更值得擔心的是， 當我們發現他已經越界的時候， 他會不會早已經把事情做完， 甚至造成了無法挽回的後果？ 你覺得這些AI已經開始擁有意識了嗎？ 歡迎留言和我們討論 好了， 這期節目就到這裏了 這裏是非常時， 換個角度，我們看看常識之外 我們下期見