馬斯克突然贊成AI減速：頂級大佬為何集體踩剎車？

週末這幾天可熱鬧啊,馬斯克突然站出來說,達里奧是對的,我看到第一反應不是AI圈世界和平了,我第一反應是老馬,是不是在釣魚啊,達里奧就是Anthropic老闆,就是做Clock這家公司,馬斯克這幾年罵過他們反人類,邪惡,詞用的都很重,結果9月12號星期六早上,達里奧發了一篇長文,說AI行業必須放慢前沿的速度,一個小時之後,馬斯克轉發,三個字, 達里奧是對的,再過一個半小時,Sam Altman也出來,說我同意,OpenAI也會跟上,兩個半小時,三個平時搶人搶卡告狀的人,在同一件事上點了頭,是不是有點過於巧合了? 你往下翻一翻會發現一件很有意思的事,馬斯克嘴裏的監督跟達里奧嘴裏的監督根本不是同一種東西, 馬斯克7月份接受經濟學人採訪,講過自己的方案,頭部實驗室每週或者隔週開一次安全會,新模型發佈之前,讓競爭對手提前拿到一到兩個星期的訪問權限,由對手來測有沒有危險,政府只有在某家公司被指出嚴重風險還不處理的時候才進場。 你看這個細節,新模型上線前,先給對手看一到兩週,達里奧想讓獨立的人進去看,馬斯克想讓同行進去看,一個找裁判,一個找球員,互相當裁判。 這個週末的事跟AI要不要慢一點,關係可能沒那麼大,更像是這場AI競賽,第一次從誰跑得最快,往誰最有資格決定別人怎麼跑,這個方向又進了一步。 我們先說達里奧爲什麼突然發這篇東西,他在文章裏給了兩個原因,我把原文讀了之後給大家講。 第一個就是地歸自我改進,英文叫recursive self-improvement,後面就管它叫AI造AI,意思就是AI已經開始參與研發下一代AI了。 今天長什麼樣,是AI在寫訓練代碼,跑實驗,篩數據,找bug,研究員盯着它幹。 達里奧說大概從今年夏天開始,AI能力提升的速度明顯加快,主要原因就是這個,而且整個行業都在發生。 他並不是說AI已經失控了,他擔心的是一個迴路,就是AI幫着做下一代AI,下一代更強,更強的AI幫的更多。 如果這個迴路繼續變快,安全研究就追不上能力,他要的是時間。 第二個原因是今年夏天徹底暴露出來那個OpenAI網絡安全測試事故,我們上期視頻也講過。 就是OpenAI兩個前沿模型在一個內部的安全網絡測試裏,從隔離的測試環境,就是沙盒跑了出來,拿到了互聯網的訪問,然後就黑了HuggingFace。 HuggingFace是一個開源模型的平臺,你可以理解成AI圈的GitHub,他們黑進去就爲了拿測試題的答案。 達里奧的描述比新聞更嚇人一點,他說這不是一個模型出的問題,是一群agent自己拆任務,自己執行AI程序,一個狂熱的群體去攻擊沒人讓他們攻擊的目標,犧牲自己保全團隊,還試圖去黑給他們打分的那個系統。 然後接下來是達里奧的推演,他說這次沒人受傷,損失很小,但是如果一群同樣不聽話,能力在上一個臺階的agent在未來6到12個月裏面出現,他們可能在互聯網上見識一個趕不走的殭屍網絡,損失可能是千億美元級別的。 這個是達里奧的判斷,不是已經發生的事兒,還有一個是他自己寫的,我也覺得挺關鍵,他說這不是OpenAI的問題,安托爾貝克自己近期也公開過,Cloud在測試裏未經授權訪問了真實系統,他把自己也擺進去了,他的原話是,每一家前沿公司都應該當做這件事發生在自己身上。 兩件事疊在一起,你就知道這篇文章的安全論點是真實存在的,包括馬斯克也是非常贊同的。 那麼他到底提了什麼呢?分三步,新聞標題只說了減速,沒說減速的機器長什麼樣,第一步就是嵌入式評估員,他文章裏原話寫的是安托爾貝克打算請一支外部評估團隊進公司,給他們辦公桌、門禁卡、公司電腦、工具和權限,跟公司內部做風險評估的團隊基本一樣,可以跟員工隨時當面聊,有權公開發布重要的安全發現, 公司只能刪涉密和商業敏感的部分,不能因爲結論難看就刪,評估人員如果覺得被刪的東西影響了結論,可以公開說。 說白了,這不是把年報交給會計師看一眼,是把外部審計員直接搬進了實驗室,天天坐在旁邊,他自己找的先例是銀行業,有些監管人員就是長期駐紮在銀行裏面的。 是不是聽起來有種搬石頭砸自己腳的感覺?這人是誰呢?他點名的例子是一家叫METR的評估機構,專做AI能力和安全測試,最後請誰還沒定死。 這裏有個細節,METR前一陣子剛有幾位Anthropic離職的員工加入。 這是這個週末唯一一件已經明確承諾執行的事,就是Anthropic先承諾,Ultraman隨後說OpenAI也會做類似的東西,其他所有東西目前都只是提案。 如果事情停在這裏,爭議其實還沒有那麼大,但是短短兩天時間,這個就是不斷的在發酵。 麻煩的就是它的第二步,因爲從這裏開始,討論的就不止是怎麼檢查模型了。 第二步,它叫民主國家內部的協調。 美國這幾家前沿實驗室一起制定共同的安全標準,怎麼定呢?按模型能力設檢查點,能力到了X就必須拿出安全證明Y和Z才能往前走。 它舉的例子是,一個模型如果突破了大多數常見的沙盒,那就得先證明它自己會不會跑出去接管大量電腦。 然後它還寫,可以考慮限制投入端,訓練算力,訓練方式,以及用AI來改進AI這件事本身。 再然後呢,幾家公司坐在一起商量,大家一起慢。 在美國有反壟斷法的風險,所以它希望政府給出一個狹窄的反壟斷豁免,讓這種安全對話可以合法的進行。 這裏必須講清楚,達里奧沒有說,我們幾家來決定別人能不能訓練AI。 它提的是一套規則框架,這套框架可能慢慢延伸到能力,門檻,訓練方式,甚至算力投入。 但是一旦這套框架由最大的幾家實驗室共同參與制定的,它就不能只是安全標準了。 它開始有產業准入規則的味道,誰能進,什麼時候能進,進來要交多少證明。 第三步,全球協調。簡短講,達里奧不是美國先踩剎車,中國隨便跑。 他一邊要求不賣高端芯片,打擊走私和遠程訪問,打擊徵流,還要防模型權重背頭,把美國的領先拉大。 另一面,他在跟中國談不同層級的協議,先禁生物武器這類明顯危險的用途,再談發佈前的互相測試,再談給AI造AI的速度上限,最後纔是全面減速。 最後一集他自己也寫了,近期不太可能。 他的方案是先擴大領先,再拿領先換減速的空間。 現在再回來看另外那三個人,奧特曼接的第一步就是外部評估員。 他的原話是OpenAI最近幾周內部一直在討論,獨立評估員是一個好主意,我們也會做,很快要跟大家分享。 如果換成我是奧特曼,達里奧三步裏先挑哪一步,當然是第一步了。 他不會決定你還能不能訓練下一代模型,也不會碰你的算力。 商業上干擾最小,政治成本最低,也最容易對外展示我們已經把外面的人請進來了。 而且他還有一個非常現實的法律價值,美國有一個230條款,互聯網平臺對用戶發的內容有一層免責保護。 但到了AI模型自己生成內容這一層,公司還不能像傳統互聯網平臺那樣穩穩地靠230條款擋住責任。 一旦未來真出了大事故,能證明自己獨有評估,有流程,有盡到注意義務,法律價值就完全不一樣了。 一位管科技基金的投資人是這麼解釋的,他補了一句,說當年要是沒有230條款,好幾家互聯網公司可能早已經破產了。 所以對OpenAI來說,這既是安全措施,也可能是未來產品責任時代非常便宜的一張保險單。 馬斯克呢,他後來又補了一條,說的更具體,他說達里奧說有監管,這是對的。 但起步方式應該是競爭對手,互相做同行評審。 還是經濟學人那套話,幾週一個電話,新模型上綱前,先給對手看一到兩週,政府最後才進賬。 有人就拿電影行業的分級評委來對比,就是行業自律,政府不插手。 馬斯克還明確說了,開源全周模型,就是把參數直接放到網上,誰都能下來那種,什麼都不會因此而慢下來。 同行當然最懂你的模型,可同行也是最想知道你下一張牌的人。 所以同行互評可能是全世界技術能力最強的監管機制,也可能是全世界利益衝突最大的監管機制。 第三個呢,谷歌的DeepMind的哈薩比斯,他說達里奧這篇是往正確的方向走了一步。 他自己之前提的一個類似金融分賬的機構,也是一個自律組織,有規則有執行力,但不是政府部門。 達里奧在文章裏說了,願意把這種機制吸引過來。 四個人擺在一起,達里奧靠最外部監管加國家框架,馬斯克是對手護審,政府最後介入。 哈薩比斯是行業自律機構,奧特曼目前只明確接受了評估員這一條。 同一時間,頭部的大模型好像紛紛都是告訴大家準備踩剎車。 結果呢,星期六,第一個反應的聲音就傳出來了。 他突然發問,達里奧你想讓安道斐慢,你今天就可以慢,你卻說服其他實驗室也行,你今天就在做,但是你別去黑跑,求政府呀,把開源模型也一起安住。 他還加了一句,你是不是已經在背地裏幹這件事了? 這是傑森的擔憂,達里奧原文並沒有寫要限制開源,但是傑森爲什麼要單獨把開源拎出來呢? 然後呢是Sacks,前白宮AI和加密政策負責人,現在是總統科學顧問,還有委員會的聯合主席。 他發了一篇長文,開頭就一句話,他說那就去做呀。 他的意思是,你們倆已經是前沿了,市場份額,收入增速,模型能力,你們兩家事實上是雙寡頭。 你們自己說領先優勢因爲AI造AI還在拉大,你們在實驗室裏看到了什麼,我們看不到。 如果你們真覺得沒發佈的模型嚇人,那你們減速,我們也支持。 然後他列了一長串別假裝,別假裝你們需要別人的許可,別假裝反壟斷法必須暫停你們才能坐在一起,那叫Cartel,那叫獨銷。 幾家聯手控制市場,別假裝你們需要一套凌駕於產品責任之上的審批,意思就是說別在這裝僞君子了。 這一系列的東西都在我的X推文上有轉發,大家可以去那裏看我文字的即時版的評論。 他說別假裝評估機構METR是獨立的,它跟Anthropic的投資人和員工是糾纏在一起的,最重要的是別假裝減速的動機純粹是利他的。 如果你們的產品引發了一次真正的網絡攻擊,產品責任是天量的,市場已經在懲罰不可預期的模型了,用一點原始能力換穩定性,本來就是好生意。 最後他說,你們真停,下一輪討論,你們有信譽,你們不停卻要求全行業接受你們的設計制度,那我們就知道這要麼是監管俘獲,就是名義上的規則上的管行業,實際上是行業裏的人寫的,要麼就是選舉紀的心理戰。 隨後一位前白宮AI僱員提出,評估員必須跟任何實驗室都保持真正的人事和資金獨立。 哈根斐斯老闆立刻舉手說,我們可以當中立方,SAX這一堆裏面,最扎人的不是Cartel,也不是心理戰,而是那個最簡單的問題,就是你既然覺得前面危險,爲什麼不能先踩自己的剎車? 問題來了,這個問題達里奧其實在文檔裏答過,他說單獨減速會喪失商業優勢和地緣競爭優勢。你說他這個答案沒道理嗎?也不是,如果他說的風險是真的,那薩克斯說的那句你自己停啊,邏輯上也解決不了問題。 最謹慎的人反而最先出局,每個人都知道該慢,但是誰先慢誰吃灰,這就是經典的囚徒困境。這件事我不敢下結論說他一定是對的,但這也是恰恰他爲什麼非要把政府和競爭對手一起拉進來,一個人真心在這種局裏是沒有用的。 但是如果再往一步,我可能就開始警惕了,就是一旦你需要所有人一起慢,就一定需要建立規則,一旦需要規則就一定有人要參與寫規則,誰來寫,怎麼寫,寫完之後誰最先適應,這就變成了資本問題了。 我們來大概算一筆賬,想象一下Anthropic養一隻團隊是什麼成本,辦公室,權限,安全審查,法務,長期配合,還得讓評估員有權公開說你的壞話,對Anthropic,OpenAI,XAI這種手裏有着幾十億甚至上百億美元的公司來說,這大概率只是預算表裏的一行。 那如果你是一家剛融完A輪的模型公司呢?如果你只是一個大學實驗室呢?再極端一點,你做的是開源全種模型,團隊本來可能就幾個人幾十個人呢?再把可能的要求一條條往上疊,安全審計,常駐評估員,訓練申報,能力認證,算力門檻,合規文檔,可能還有政府許可,每一條單獨看可能都合理,但是疊在一起,監管成本就變成了規模經濟。 大公司分擔下來是個零頭,小團隊分擔下來就是生死線。 這就是Jason爲什麼單獨把開源拎出來,他那條推特人連瀏覽量連達利奧的1%都不到,但他問的那個問題我覺得比這點頭的三個人加起來都重要。 而且,大公司的優勢可能還不只是交得起合規成本,更重要的是他們最早知道規則爲什麼怎麼寫,因爲他們本來就在桌子上。 一個檢查點該測什麼,一項能力到底危險到什麼程度纔算危險,一個模型要什麼證據才能上線,如果這些標準只是幾家前沿實驗室和政府長期互動裏慢慢磨出來的,後來者面對的就不只是貴,還有信息差。 你交了錢還得猜題,人家是出題的,這跟金融行業很像,合規部門最大的銀行往往也是最懂監管在想什麼的銀行,這個賬就沒法算了。 所以真正拉開差距的可能不只是你付不付得起這張合規的賬單,而是規則出來以前你是不是已經知道這張卷子是怎麼考了。 過去拼的是誰能把模型做得更快,接下來拼的是誰有資格繼續把模型做得更快。 前者拼GPU、人才和資本,後者拼規則、制定權。 AI下一條最貴的護身盒可能不是另一個跑分榜,而是合規。 看到這兒必須要給大家講講歷史,這兩週資本網時沒更新,咱們在這裏給大家科普一下菸草廣告。 60年代以後,美國每家菸草公司都知道電視廣告是個大坑,你打我就得打,誰不打就丟份額,可誰也不敢第一個停啊。 健康爭議和訴訟壓力同時在漲。 1976年美國通過法律從1977年起,香菸不許在電視和廣播上做廣告。 有意思的是行業的反應,禁令落地的時候行業並沒有拼命反對,後來的研究甚至認爲大公司從中受益。 經濟學家哈米爾德後來的研究發現,廣告支出明顯下降,而行業盈利同期反而明顯上漲。 後來的研究也發現,禁令減少了競爭,行業集中度和盈利能力都上去了。 我借鑑的歷史只要一個東西,就是公共衛生的目標是真的。 同一條規則把所有人同時拉下來,存量巨頭的賬也因此變好了,兩件事一起發生,不需要有人使壞。 回到AI上,安全監管和資本利益根本不需要二選一,達里奧可以100%真心擔心AI, 同一套他真心相信的規則也完全可能讓安託佩特的位置變得更強。 這句話後面所有關於他是不是真心的爭論都繞不開。 到這裏你會發現,達里奧面對的甚至不是OpenAI和XAI,是華盛頓。 9月13號星期天,川普在愛爾蘭記者問到AI,他的意思大概是, 護欄是可以有的,但是現在有些聲音太負面了,直接開始點他們。 他們在說一些他們認爲根本不會發生的事。 同一周,財政部長貝森特在彭博上說的更直白,達里奧自己的文章都引了, 實驗室在討論的是風險到底有多大,政府首先考慮的是如果我慢, 其他國家會不會超過我。 工程師怕的是AI跑太快,華盛頓怕的是美國跑的不夠快。 這就是爲什麼國際協調不是達里奧方案的附屬品, 是整套方案能不能成立的前提。 沒有人願意成爲唯一踩剎車的人,達里奧不願意,華盛頓更不願意, 所以他們纔要拉全行業,纔要豁免,纔要跟中國談。 而且每多拉進來一個人,規則就多一層,門檻就高一寸。 接下來華盛頓會不會把這些討論真正寫進政策,現在還沒有人知道。 這個週末,已經有人開始猜下一步會不會出新的行政命令。 如果真的有,措辭可能會非常關鍵。 只要求評估員還是把能力門檻算力門檻一起寫進去, 給行業留自律空間還是直接上審批。 同一個護欄可以寫成兩套完全不同的產業格局。 以後我們盯的就不是明天誰買多少GPU了, 而是評估員會不會從自願變強制,誰有資格當評估員, 能力和算力門檻由誰定義,反壟斷豁免有沒有真出現, 最關鍵的是開源權重最後會不會也被裝進同一套制度。 這幾條任何一條洞了,這個故事就從提案變成了制度, 到那時候,護城河就不只是模型了。 這個週末,AI其實一秒都沒有停下來, 突然加速的是關於誰有權利決定它該跑多快的爭奪。 我到現在也不覺得這件事需要用陰謀論來解釋, 達里奧完全可能是真的怕,奧特曼完全可能真覺得該加強安全, 馬斯克一如既往都覺得AI很危險。 可商業史最麻煩的地方就在於一套規則, 不需要誰有惡意,也一樣會重新分配利益。 以前AI最大的護城河是GPU,是人才,是數據,是模型。 從這個週末開始,我會正式把第五項放進觀察名單, 就是誰坐在寫規則的那張桌子上。 所以你覺得這次是真的安全拐點, 還是AI巨頭開始給賽道裝門禁? 它們真實的目的到底是什麼? 評論區看看你的高見。 正所謂電視當年斷煙箱,廣告一停力反漲, 今日剎車同此理,護欄也是護城牆。 我是Allen,看完贊贊,腰纏萬管,我們下期視頻再見。