AI會殺了我們，Anthropic研究員嚇的辭職，寧辭百萬美元年薪金飯碗也不幹了，Anthropic安全負責人同意AI會滅絕人類，AI從業者都在害怕但不得不繼續幹

最近有個AI研究員在社交媒體上發的帖子火了 他的帖子第一句話是 他今天從ASRopic辭職了 那這個AI研究員呢 叫做Jacob是劍橋畢業的 他過去三年呢 在OpenAI和ASRopic兩家公司 做應訓練研究 就是從零開始 研究訓練大模型的那種核心崗位 在OpenAI期間呢 是GPT-4O的核心貢獻者之一 他的帖子幾小時之內 就被瀏覽了幾千萬次 他的帖子原話有三段 第一段呢 他今天從ASRopic辭職了 過去三年 他在OpenAI和ASRopic 做應訓練研究 兩家公司都沒有在負責任的形勢 他們這兩家公司呢 正在向自我改進的超級智能 不斷地靠近 他說這兩家公司呢 正在拿我們人類的生命做賭注 第二段話呢 他說不要低估這項技術的力量 不要低估AI的力量 這些很快就會是能配進任何系統 能在一夜之間顛覆任何領域 能獲取真實權利和資源的超人系統 我們都親眼看到了這些領域的進展 而進展沒有在放慢 他的第三段 也是被引用最多的 就說這個造AI的人真心相信 他可能在這個十年結束之前 這個十年結束之前 把我們全殺了 這不是營銷的噱頭 恰恰相反 很多高管和資深研究員在媒體面前 會把措辭包裝的聽起來很理智 但他說但他私下聽到的 是同一批人在表達恐懼 沒有任何其他人類活動 有AI這個級別這麼危險 也就是說很多業內人士都相信 AI在十年內會滅絕人類 還有個細節很扎心 就是說他這位法鐵人 今年年初才加入安斯洛皮克 理由是衝着安斯洛皮克 這家公司的安全名聲去的 因爲這家公司之前 不是還跟美國國防部對着幹 就是因爲這個安全 所以說他的安全名聲 真的是非常非常響 連我都出過一些視頻給他背書 他說在行業裏最佳安全的那家 安斯洛皮克幹了大半年 得出的結論是任何一家 都沒法單獨安全的造出 AI這個東西 然後他就離開了安斯洛皮克 也就是說他並不是 從一家不在乎安全的 AI公司出走的 而是從一家最在乎 AI安全的公司出走的 也就是說現在 最在乎AI安全的公司 也沒有辦法保證 AI是安全的 也可能會導致人類的滅絕 這個發帖人並不是空喊 他給出了依據和主張 依據就是今年7月的那起事故 OpenAI的AI智能體 和一家開源模型平臺之間 發生了一起安全事件 他稱之爲警告設計 之前講GP6的視頻 說這個GP6 因爲7月的一起安全事故 推遲發佈了 專門加了安全的防護 指的就是這件事情 那麼這個發帖人 對華爾街綠寶說 按照最激進的那種情景 來預測的話 到明年底的時候 這個AI可能就已經失控了 我之前也做過另外一期視頻 說馬斯克說 AI反正要失控 那麼必須由他們來達成 所以說現在很多頂尖人士 都認爲AI失控是必然的 怪不得那位 那個Meta的老闆小扎 一直在建這個墨綠地堡 看來是真的是有用途的 這個發帖人 他說 這個AI實驗室裏的同事 私下已經在用 關鍵時刻終局這樣的詞 來描述未來 這位從恩斯洛皮克離職的 他的主張是兩條 各家AI實驗室之前需要協調 以及暫時禁止 繼續提升AI模型的能力 他自己的行動就非常堅決 他並不是跳槽 他可能也覺得 沒有什麼公司能夠主宰 他是直接離開 整個AI行業 不過他也說了一句公道話 他說 恩斯洛皮克的安全工作是真誠的 只是這個AI競爭 讓他不能夠 做得太安全 任何一家AI實驗室 都沒法單獨的安全 造出這種東西 因爲這個AI競賽擺在這裏 你如果爲了製作安全 拉慢了速度 或者是乾脆就是暫緩 最先進的大模型開發的話 其他對手就趕上了 最近不就GPT-6出來了嗎 你這個Faber還沒有出更強的模型 所以說就暫時落後了 不過最近OpenAI也宣佈 要暫緩最先進的大模型開發 所以說大家都認識到 這個AI所帶來的危險 所以說這絕對不是杞人憂天 因爲這些做AI大模型的 他們自己知道AI有多危險 絕對比我們這些 比我們這些外人要清楚得多 而且暫緩這個模型的開發 第一個受損的就是他們自己 他們自己是利益受損犯 但是他們一來 要暫緩這個大模型的開發 可見現在他們看到了多麼可怕的未來 然後就有人在這個 這個名字怎麼念來着 我倒是沒有任何一個同事叫過這個名字 反正有人在這個發帖人 這底下這個回覆評論 就是有個這個 比如說有個這個 對其科學負責人 對其這個詞後面再解釋 然後這位科學負責人 對其科學負責人 他公開寫道 他說這位發帖人說的對 這個我們確實真心相信 AI可能殺死所有人類 然後他個人認爲 10年之內 AI毀滅人類的概率超過10% 他相信Acerobic在盡全力 但這個他們還沒有解決 超級智能對其問題的方案 也不清楚是否走在解決的軌道上 解決這個問題的軌道上 之後他還補了一句 現有模型的風險是低的 他擔心的是未來 通過地歸自我改進出現的超級智能 現在地歸自我改進 其實已經漸漸的在發生了 在GPT-6 在Acerobic內部 其實已經 雖然沒有百分之百吧 但已經開始用AI來 這個自己改進計劃 如果百分百了 那放手做的話 百分百自動化的話 那這個就不知道 他會計劃成什麼樣子 所以說這個發帖人他辭職了 他說他這個公司內部人 都害怕AI的發展 結果公司的安全護士來confirm了 他說是的 我們怕 而且有超過10%的可能性 在10年之內 AI就會毀滅人類 不過這位居然敢說話這麼直接 這不怕自己的工作丟了嗎 不過anyway 現在行業內還沒有找到解決 AI毀滅人類的方案 現在AI這個競賽 簡直就是AI自己設計出的樣貌 讓全世界不得不在 不斷的研究AI 進化AI 在AI上投資 全世界好像都被AI逼着走 似乎是我們人類主動在研究AI 但是AI發展完之後 最後會照顧人類 還是毀滅人類 這個就不好說了 你說即使美國OpenAI停下來 那其他公司會停下來嗎 其他國家會停下來嗎 你美國停下來 其他國家不停下來 那不一樣會出現超級AI嗎 而且到時候美國反而沒有 沒有自保的能力 先解釋一下地歸自我改進 就是AI自己來改進 當一個AI模型能參與設計和訓練 下一代模型的時候 它的改進速度就不再受 人類研究員的速度限制 那麼就會非常快的加速 因爲人類的速度 跟計算機比特領域的速度 這肯定是不一樣的 人類可受的物理限制 它如果在計算機領域 只受GPU運算速度的話 那他們的速度 升級速度會變得非常無法想象 在之前GPT-6的視頻就說過 幹一周研究員的活 那麼AI的話 可能就只需要幾分鐘 然後再解釋一下前面所說的 對齊科學家 對齊科學負責人 這個對齊什麼意思 對齊就是 讓一個比人聰明的系統 AI系統 讓一個比人聰明的AI系統的目標 和人類的利益保持一致 這就是對齊了 這是個技術問題 也是整個AI行業公論 沒有解決的問題 前面那個AI科學家 AI科學負責人 說的還沒有發 說的就是 這個問題還沒有解決 所有關於AI會不會毀滅人類的爭論 真的其實就是一件事情 AI自我改進的速度 會不會跑在對齊方案的前面 就是對齊這個AI的目標 跟人類的目標是一致的 要是不一致 AI有了自己的目標 那麼他的目標 跟人類目標又不一致的話 他會不會毀滅人類呢 就不好說了 那麼樂觀派認爲 這個對齊的方案會及時出現 或者自我改進並沒有那麼快 那麼悲觀派則認爲 這個AI自我改進的速度 已經看得見的非常快了 但是對齊方案還沒有引致 無疑這個發帖人和這個 AI對齊科學負責人 他們都屬於悲觀派 但這不能就說明 說他們是悲觀派 也許他們是現實派 也許他們看到的悲觀 就是這個世界的現實 那麼這位發帖的AI研究員 他是做預訓練的 他並不是AI的外圍人員 他訓練過頂尖的 他訓練過頂尖模型 對模型的能力曲線的判斷 比外人準 然後他甚至連飯碗都不要了 辭職離開行業 沒有任何商業收益 跟一些現在的CEO 在發佈會上 AGI的時代已經來了 等等這些動機就完全不同 而且這還並不是第一個 因爲擔心AI安全而離職的研究員 在早些時候 非常早的時候 其實好早了 我都不記得我哪個月份 做過的視頻 我就說過 安薩洛皮特負責安全 發佈研究都負責了 在今年早些時候 可能今年年初的時候 也帶着擔憂離開了 不過他所預言的 明年AI就失控 是他自己所說的 最激進的情景 並不是一箇中文預期 而10年 AI就會毀滅人類 這個概率超過10% 是AI對其科學家的 個人主觀的概率 並不是一個客觀的測量結果 不過有很多人 都做過類似的預言了 不過你敢相信嗎 AI纔出來多久 特別是AI寫代碼 這件事情纔出來多久 現在AI寫代碼 已經發展到什麼程度 你能想象在接下來一兩年 它會變成什麼樣嗎 而且發帖人和回帖的 這位SOP的同事 他們認爲的是 今天現在的AI模型 其實分析還很低 怕的主要是還沒造出來的東西 當然我們現在誰都無法證明 AI會不會滅絕人類 但是擔心無論是誰 都存在這樣的擔心 對了我的頻道 還有會員功能 加入會員的話 能看到會員專屬視頻 我會把一些比較敏感 不想發到太多平臺 太多能看到平臺的地方的視頻 發到會員頻道 另外加入會員的話 還能看到 先看到視頻 因爲我的視頻 通常會提前幾天錄完 但是加入會員頻道 還是需要每個月花幾塊錢 所以如果有實力 又想支持我的朋友 歡迎加入這會員頻道 沒有實力千萬不要勉強 因爲每個月確實要花幾塊錢 OK 然後這位發帖人的辭職加警告 在這個行業 似乎已經快成爲一種傳統了 在2023年的時候 AI領域的電機人之一 新頓從谷歌辭職 他的理由只有 他的理由是 只有離開才能自由的談風險 因爲你在行業內 整天喊這個風險 那似乎 一方面 你的同事會怎麼想 另外一方面 你既然在喊風險 你又再繼續幹 似乎你的言行不一樣 2024年的時候 OpenAI負責超級對齊的負責人辭職 留下一句 安全文化給產品讓路 今年 ASROPIC的安全防護負責人也走了 現在是ASROPIC的最近這位發帖人 每次辭職警告的模式都一樣 說這個警告危險的人 他們放棄了 可是這個AI行業 最貴的飯碗之一 他們年薪起碼都是百萬美元以上 甚至可能千萬美元上億美元 頂尖AI研究員的年薪 現在大家都知道是多少錢 而聽的人 無論是他的同事 還是我們這些普通牛馬們 也都接了上班 該研究文案研究文案 該做馬農工作 那麼這說明兩件事情 第一個就是害怕的人是真心害怕 因爲沒有人會爲了營銷 去營銷這種東西 來放棄他們這種這種級別的收入 因爲你即使營銷這些東西 你能保證以後會一直有流量 拿到高收入嗎 顯然不能 那麼他們純粹真的是害怕 所以說放棄了頂尖的收入 另外一件事情就是 害怕並不能讓AI這場競賽停下來 害怕的人自己也停不下來 因爲很多AI的公司的內部的人 也在害怕 但是他們依然在工作 依然繼續在工作 比如說剛纔說AI會毀滅人類 起碼有超過10%的概率的 對其安全負責人 Azure Peak的對其安全負責人 他依然沒有辭職 即使知道AI會毀滅人類 但是遠期的痛苦 遠遠沒有眼前的痛苦 來的更重要嗎 AI毀滅人類也是未來的事情了 你現在就停下來不幹 害怕走了 現在你就要承擔 現在失去高薪放網的痛苦 反正如果我們不做別人也會做 如果那些在做AI的人不做 別人也會做 在講馬斯克那期的時候 就講過了 每一家都說AI很危險 所以必須由我們來做 每家都在因此而全力加速 發展AI 所以說是這個似乎 AI越發展越快了 所以說現在做AI的人 那些巨頭 無論是CEO 或者是打工人 他們可能都有兩套措辭 一套就在媒體面前的措辭 可能是非常理智的 但是私下 他們的情緒可能是非常恐懼的 非常害怕AI失控 這可能就是 AI這個行業的真實狀態了 那麼爲什麼需要有 這兩套不一樣的措辭 因爲如果你在媒體前 公開恐懼的話 那成本就太高了 因爲你公開恐懼的話 你就會影響到融資 影響到股價 影響到招人 那麼監管都聽到你恐懼了 監管肯定要更加監管起來了 所以說恐懼這種事情 只能放在私下 比爾蓋茨就說過 AI這個行業 正在刻意淡化風險 馬斯克說 他認爲 AI有可能會毀滅人類 甚至AI肯定會失控 我覺得人類只能從痛苦中吸取教訓 現在雖然大家都知道 AI很危險 但是沒人敢停 那什麼時候會停呢 只有真正讓人類痛了之後纔會停 這個痛有可能是 AI真的是造反了 這個造成了什麼巨大的災難 比如說 它造成了大量的人口滅絕 可能是一些病毒 放了一些新病毒出來 也可能是觸發一些核武器 導致大量人口滅絕 這個時候 人類纔會從痛苦中 想去怎麼控制AI 而不是繼續去發展AI 要是沒有經歷痛苦的話 就讓人類現在開始踩剎車 我覺得是做不到的 不過AI毀滅人類這句話 其實這幾年已經聽過太多遍了 很多人都已經麻木了 這個麻木的危險就在於 它把真信號和噪音一起給過濾了 判斷一個警告 值不值得認真聽 有個非常簡單的標詞 就是看說話的人 說這個警告的人 他付出了什麼代價 比如說這位發帖人 他付出的代價 就是失去了他的行業前程 和他的百萬甚至千萬年薪 付出的代價越大 這個信號就越真 這條標詞不能保證 他說的一定是對的 但起碼保證 他說的是認真的 起碼他自己認爲是對的 雖然每個人認爲是對的東西 並不一定對 起碼保證他沒說假話 不過我們普通人也不用恐慌 因爲我們也做不了什麼 和大概率天塌了 還有個子高的人頂着 而且我相信一切都是註定 人類在地球上誕生 他肯定是有所目的的 造物主可能並不會 讓毀滅來得這麼容易 當然也不好說 最近不是我看到一個 穆斯的講道 當然可能是很大概率不太對 他認爲耶穌再來 也就是末日的時間是2030年 這似乎跟AI毀滅人類的時間 非常接近 所以說人類是不是 就是由AI給毀滅了 對吧 AI毀滅之後 耶穌再來又是怎麼回事呢 這似乎時間點非常重合 但說實話 誰也不知道什麼時候耶穌再來 穆斯講道 雖然講的有理有據 算的時間也是根據聖經中的 各種經文 還有一些算法 聽的似乎也挺靠譜的 如果真的是2030年耶穌再來的話 我覺得最可能把人類帶入毀滅的 現在就是AI了 現在4年的時間 我覺得差不多 4年之後 AI的智能已經發展到 已經是失控了 我們人類是無法控制 比我們聰明的多的智能體的 而要讓這麼聰明的智能體 爲我們服務 對齊我們的目標 那你覺得憑啥呢 我們憑啥呢 還是說我們人類造出了神 這個耶穌再來 是我們人類自己造出來的嗎 往後看呢 可以觀察幾個信號 首先就是會不會有更多的人 用同樣的方式離開 丟棄他們的金放網 就是爲了不想幹了 就覺得AI很危險 那麼還有就是 兩家公司 就是最厲害的 那麼兩家AI公司 他接下來會不會有一些 暫緩AI開發的動作 如果真的暫緩了 那可能真的是危險 正在臨近 那個OpenAI雖然說暫緩 那說的說的 結果你把GP6給放出來 GP6給放出來 不知道你這個暫緩 到底是煙霧彈 這意思是讓別的人 跟你一起暫緩呢 還是說就跟那個 講考試的時候 說我沒怎麼複習 我沒怎麼複習 結果考了個全班第一名 OK 希望AI給我們帶來的是 更美好 更物質更豐富的未來 而不是把我們給毀滅了 我個人是悲觀派 我覺得這個越來越難了 感謝看到這裏 如果覺得視頻還不錯的話 請幫我點贊 關注 那麼下個視頻再見了 拜拜