川普堅信： 不打就不會贏 DeepSeek是真牛還是蒸餾？

觀眾朋友大家好 歡迎收看傑森視角 川普革命和人工智能 目前人類就這兩件大事 一方面過去一週川普革命再次超乎我們的預期 另一方面有關中國AI公司DeepSeek的話題成為持續的熱點 1月31日 美國OpenAI推出的新一代AI模型 O3 mini展現出驚人的性能 從OpenAI對這個模型的定價來看 這是OpenAI對DeepSeek的強力回應 中美AI軍備競賽自此進入新一輪抗爭 過去一週 新舊媒體在討論相關話題時 對很多關鍵技術的描述不太準確 引發很多爭議 作為在AI領域幹了二十多年的自媒體人 我感覺有責任花時間和大家釐清一些概念 我非常感謝大家在這期節目前應邀給我提供的幾十條相關問題 我把它們歸納為七大類 會在節目合適的地方回應 原本這期節目我想專門談AI 但是過去一週 川普革命引發的這輪衝擊波 我實在是無法忽視 首先川普政府正式宣佈 從2月1日開始 美國將對來自加拿大和墨西哥的商品徵收25%的關稅 對來自中國的商品增加徵收10%的關稅 全球新一輪貿易戰從2025年2月1日開打 美國對加拿大和墨西哥的關稅說徵就徵 著實讓人大喫一驚 雖然此前川普反復說了 他要對加拿大和墨西哥收關稅 但是很多人還是認為 他這是在用關稅做槓桿來逼迫兩國配合解決非法移民問題 芬太尼毒品問題等 特別是墨西哥政府 最近他們在配合川普遞解非法移民問題上還是相當賣力 很多人以為川普會因此對墨西哥在關稅問題上手下留情 沒想到川普還是一到時間就掀桌子了 加拿大和墨西哥是美國的近鄰和最大的貿易夥伴 川普為什麼對他們說出手就出手呢? 有人分析說 因為過去此年加拿大和墨西哥 事實上違反了川普2018年煞費苦心和他們簽署的美加墨協定 川普簽署那個協定的核心目的 就是要平衡三國之間的貿易 最終實現允許基礎加工和原材料產業留在加墨 核心產業迴流美國的目的 但是過去四年 拜登政府對這個協議完全忽視 而加拿大和墨西哥也樂得如此 美加墨協議在過去四年變成了一紙空文 現在川普對加墨下手 就是想重回他當年簽署三國協議時設定的軌道 也就是逼迫核心製造業迴流美國 商場如戰場 每次戰爭都會有傷亡 但不打就不會贏 現在川普正在把這個經商理念帶入世界博弈 此前加拿大和墨西哥就表示 如果川普先動手 他們會對美國商品報復 這輪三國貿易戰的後果如何? 生活在美加墨的每個人 未來應該都會感受到 川普對中國只增加了10%的關稅 很多中國人感覺是小菜一碟 中國有多個渠道 可以輕鬆化解這個小幅度的關稅增加 不過理智的人都知道 這只是川普和習近平面談前的一次 象徵性的小行動 根據兩人未來在多個意向上的談判結果 未來越來越嚴厲的措施 大概率還在路上 中共是美國最大的對手 這是美國兩黨之間唯一的一個共識 認識到這一點很關鍵 上面說的是川普的攘外手段 下面談談他如何安內 川普針對聯邦政府官員 特別是針對FBI、司法部和情報系統的清理行動 在過去一週全面展開 所有負責1月6日國會山案件的聯邦檢察官 都被解僱 電腦被鎖定 並由安保人員陪同離開司法部的辦公室 另外負責1月6日案件調查的FBI副局長也被解僱 全國20位FBI現場辦公室的領導也被解僱 被保安帶離FBI的辦公大樓 2020年大選期間 宣稱亨特‧拜登的筆記本 是俄國虛假信息的51名情報官員 在被取消涉密權限後 現在又被禁止進入任何聯邦政府設施 同時川普政府向200多萬聯邦員工發出辭職邀請 給他們辭職後領取6個多月薪水的機會 並要求所有聯邦官員返回辦公室辦公 如果2月6日以後還不到辦公室上班的話 將被解僱 而過去一週最讓人震驚的行動 還是來自馬斯克的政府效率部Dodge的消息 華盛頓權力圈對馬斯克的效率部的共識是 它將一事無成 盤根錯節的龐大權力網絡 最終會把它逼入一個無解的死衚衕 我在一期節目中引用里根政府類似的經歷 給大家解釋效率部面對的是何等艱難的使命 但實際上 效率部的成敗真的關乎美國的未來 因為美國目前每年高達GDP6%的政府赤字 是不可持續的 現在美國每年還債務利息的錢數 已經快和國防開支持平了 這樣發展下去 政府債務的利息 就可能喫光美國所有可支配的財政收入 造成美國政府停擺 因此美國未來只有兩條道路可選 要麼是削減政府開支 減少財政浪費 要麼是大幅度提高美國的稅收 讓美國歐洲化 這次美國大選顯示 多數美國人選擇拒絕走歐洲高稅收的道路 但是美國能否在剩下的道路中成功 效率部的成敗至關重要 路透社1月31日獨家報導說 兩個匿名的美國政府內部人士透露 馬斯克的嫡系人馬 在全面接管美國聯邦政府人事管理辦公室 我們把這個機構簡稱為人事辦 人事辦成立於1979年 相當於聯邦政府的人力資源部 負責公務員的招聘管理福利等各種事宜 它擁有200多萬聯邦僱員的信息數據庫 包括他們從出生日期到履歷工資等所有信息 1月20日川普上任當天 一組馬斯克的嫡系人馬就接管了整個人事辦的指揮權 他們直接把沙發牀搬到了人事辦主任辦公室所在的5樓 把整個樓層都給控制起來了 只有佩戴特別安全徽章或有安全護衛的人才能進入 人事辦現任首席管理官的辦公室 因此被搬到了辦公樓的另一層 在辦公室安沙發牀 是馬斯克為確保團隊能夠全天候工作的標準配置 2022年馬斯克收購推特後 也是從特斯拉公司抽調了一支嫡系團隊 和他一起連續持住在推特總部 認真分析推特內部每個程序員過去半年完成的代碼數量和質量 以此為標準決定開除誰 另外《華盛頓郵報》1月31日還報導了 當馬斯克團隊在財政部要求訪問財政部的支付系統時 和財政部最資深的職業官員萊布萊克發生了衝突 最後結果是萊布萊克被離職了 馬斯克在他1月30日的一個推文中說 如果想把美國2026年財年的聯邦赤字 從2萬億削減到1萬億美元 效率部需要從現在到9月30日平均每天找到約40億美元的 可削減的2026年支出項目 2月1日凌晨1點半 馬斯克再次發推說 我對本週末實現每天減少2026財年的支出 40億的目標是謹慎樂觀態度 通過各種渠道 效率部查出的一些美國政府的荒謬花錢項目被公佈出來 比如美國財政部曾提供5千萬美元用來給加沙地區購買避孕套 據估計加沙地區性活躍男子約50萬人 這相當於美國政府給加沙男子人均100美元專門用於買避孕套 到底是加沙那兒的人與眾不同呢? 還是美國政府有關官員的腦子有問題呢? 我傾向於選擇後者 事實上此前就有報道說 巴勒斯坦人在用避孕套做爆炸氣球 用來燒毀以色列的農村和房屋 現在大家才意識到 他們那麼多避孕套原來是誰給提供的? 2月1日凌晨2點 馬斯克發了這樣一個推文 效率部的團隊發現負責財政部付款審批的官員接到指示是 凡是付款一律批 哪怕是給已知的欺詐或恐怖組織付款 這些審批官員在他們整個職業生涯中 從未拒絕過一筆付款 一次都沒有 川普革命帶來的是立刻的眼前的巨大衝擊 但是如果把視角放在更長遠的歷史圍堵上 深刻決定人類歷史進程的關鍵因素 還不是制度 不是強人 而是技術 目前人工智能正以無法逆轉的方式 顛覆著人類的方方面面 那麼下面我們就轉入第二個話題 長期看我節目的朋友知道我博士的主攻方向是繼續學習 過去二十多年 我持續跟蹤人工智能的發展 我目前的工作方向之一也是人工智能 兩年前OpenAI剛推出ChatGPT人工智能平臺不久 我做過兩期節目 大膽預測人類歷史發展將出現一個奇異點 但過去兩年 人工智能發展的速度之快還是超出了我當年的預期 就拿對世界發展嗅覺最敏銳的華爾街來說 過去兩年他們持續關注的概念就一個 人工智能 拋去這個概念 過去兩年美國股市其實沒有增長 我這裡先和大家分享一下 我們人工智能技術領域對最新的DeepSeeker模型的感受 有不同觀點的朋友 請別急著噴我 先耐心看我後面的分析 1月20日我們人工智能領域的確是炸鍋了 在X平臺上 大家全都在討論中國人工智能公司DeepSeeker 剛剛開源了一個叫R1的人工智能模型 讓人震驚的原因有多個 第一個原因 DeepSeeker居然把他們一個最新的 最先進的R1模型給開源了 全世界誰都能下載都能用 而且考慮到R1模型有近700G實在太大 多數人沒有能力下載運行 DeepSeeker還專門用這個R1模型 調教出六個不同大小的小模型 尺寸從1.5G到70G不等 這個調教的過程套用一個專業名詞 就是蒸餾的過程 我們在後面會給大家解釋這個概念 而且DeepSeeker給這些模型的許可證是最寬鬆的那種 幾乎允許你拿它幹什麼都行 包括你用他們的模型去給你自己賺錢 這麼先進的模型 一個中國公司居然免費向全世界大放送 這也太不可思議了 那麼第二個原因 DeepSeeker同時公佈了他們對R1模型 在數學編程邏輯思維等多個方面 在標準測試集上的測試結果 顯示這個R1模型已經超越了目前性能最高的 OpenAI公司去年年底才推出的O1模型 當然很多人是不太相信這些標準測試集上的測試結果的 但是因為R1模型是全開放的 因此很多人都有機會親自去測試這個模型 大家測試的結果是 DeepSeeker的R1模型在實際工作中 雖然達不到他們自己聲稱的性能超越OpenAI的O1模型 但是它的性能其實只比O1模型差一點 是絕對碾壓OpenAI的其他模型 例如GPT-4O模型 也碾壓美國其他AI公司的一眾最新模型 還有最後原因就是DeepSeeker伴隨他們開放這個模型 還發表了一篇論文 那個論文也非常有料 那論文寫的是既清晰又簡潔 把他們在訓練R1模型中的一系列關鍵技術和心得分享出來 論文中分享的技術創新和對相關領域的新理解 對我這個一直在這個領域做研究的人 有種毛色鈍開的感覺 同時論文開誠布公的態度和風格 也讓人感覺耳目一新 印象深刻 1月20日下班後 我第一時間就用程序測試了R1模型的性能 在編程和數學推理方面 它真的給我一種驚艷的感覺 而且R1模型在回答問題時 不但給出答案 還輸出它的思考全過程 和OpenAI同類的O1模型相比 這顯得更加透明開放 同時我發現R1模型程序端口的定價 只有OpenAI同類O1模型價格的三十分之一 經過我簡單推算 我意識到DeepSeek大概率是在賠錢賣吆喝 在用燒錢的方式佔領市場 隨後我又下載了他們提供的 14G和32G兩個小規模的模型 到我的個人電腦上 斷網做了本地測試 發現這些可以在本地運行的小模型 性能也是直接碾壓 我以前用過的類似大小的模型 在真金之魚 我開始認真閱讀他們的論文 我的感覺和網上其他專業人士的感覺很類似 就是他們在論文中分享了體會 會給很多在做類似研究的公司和人員 提供一些科研捷徑 在興奮之餘 我在第二天晚上就和一些技術界的朋友 分享了我對DeepSeek相關技術的體會 當時我單純認為 這是人工智能領域內部的一個技術性話題 根本沒有意識到五天後 這個技術話題居然演變成了一個全球熱點 圍繞DeepSeek的全球大辯論 也從一個技術性的話題 快速向金融投資 世界貿易 地緣政治 社會制度 國家民族等人類各個層面蔓延 甚至導致美國股市在1月27日 市值蒸發上萬億美元 在這場大辯論中 我看到不同人基於不同的理念 用不同的視角來解讀和分析DeepSeek和相關話題 有人把DeepSeek連同中國的AI領域捧上了天 DeepSeek的創始人梁文峯 在一夜之間成為世界最耀眼的新星 不說中國網民和媒體如何熱捧 連華爾街日報也為他出人物特寫 英國的《財經時代》還專門派記者去他廣東的農村老家 跟蹤報導他回鄉過年 與之對比的是 也有一批人把DeepSeek連同中國的人工智能研究 批得一錢不值 很多人在沒有釐清一些技術概念的情況下 就開始發表自己的觀點 因此在回答大傢俱體問題前 我先給大家快速科普一些相關概念 和大家一起回顧一下過去兩年人工智能發展的軌跡 我盡量多講事實少談觀點 因為理解了相關概念後 DeepSeek的很多爭議性話題也就一目瞭然了 AI模型的能力是靠算力驚人的計算機系統 直接從海量的訓練數據集中學習出來 訓練人工智能模型的過程 可以和人類學習知識和技能的過程相類比 目前人工智能模型的訓練主要有兩大階段 首先是預訓練階段 在這個階段人工智能模型被餵入海量的訓練數據 這個訓練數據的規模大到什麼程度 你可以想象 它就相當於把整個互聯網上的東西都給收集下來 然後再加上很多沒有上網的書籍 還有很多線下的數據庫等等包羅萬象 這個預訓練的過程 就如同讓一個不知疲勞的人去博覽羣書 去積累基礎知識 AI模型的這個過程中 會學會人類的各種語言 世界上的各種知識和觀點 其中既包括事實和真相 也包括謊言和謬論 訓練到這一步的AI模型 就如同一個腦子中裝滿了海量信息的超人 他知道很多 但是腦子裡糟粕和精華同在 而且他沒有穩定的道德理念做指導 也沒有辨別是非真假的能力 這樣的AI模型是沒法用的 AI公司因此需要對這些初級模型進行第二階段的訓練 在2024年9月以前 這個階段的訓練 一個主要方法是採用監督下的微調這種方法 在這個階段需要建立一個新的訓練級 訓練級的每個訓練條目 既包括問題 也包括問題的正確答案 或者是人對每個問題多個答案的優劣排序 什麼是真的 什麼是美的 什麼是正確的 這一系列關鍵概念 就是AI模型的訓練者 通過這個新的訓練級 通過給每個問題提供的最優答案 來展現給AI模型的 經過這個階段的訓練 AI模型會學會訓練者期望的正確答案是什麼 會學會如何使用他在第一階段學到的基礎知識 生成訓練者期望的答案 這個訓練過程就像學過理論知識的學生 通過立題來學習如何使用知識 解題的這個技巧 經過這個訓練 AI模型的理念和他訓練者的理念就會趨於一致 但是要建立這種既有問題又有正確答案的新訓練級 成本非常高 為確保這種訓練級的質量 每個問題的答案都需要有相關知識的人來檢查和確認 一旦需要人的介入 建立海量訓練級需要的時間和成本都會大幅度提升 當初OpenAI為建立這樣一個高質量的新訓練級 不得不通過外包公司在肯尼亞 烏幹達和印度僱用大量有高學歷的人 花了很多時間給OpenAI的訓練級標註結果 而構建這個海量的高質量的有問有答的新訓練級 就成為很多AI公司優化模型的一個瓶頸 OpenAI的GPT-4這樣的高性能模型出來後 很快一些小的AI公司就想出了一個走捷徑的辦法 我可以把很多問題提交給GPT-4模型 然後用它給我生成的答案來作為我訓練級的條目 這種利用一個高質量的模型來生成問答訓練級的條目 然後再用這樣的訓練級去訓練新的模型的這個過程 就是對高級模型的蒸餾的過程 但是這樣使用GPT-4模型 是違背OpenAI的用戶使用合約的違規性 雖然如此很多AI小公司其實都或多或少的 在使用這個方法來擴大他們的問答訓練級 因為這些公司比較小 OpenAI對他們這些違規行為也基本是睜一隻眼閉一隻眼 去年頂級的科學雜誌發表了一篇研究論文 專門研究AI界可不可以利用這種蒸餾的方法 快速創造出海量的新問答訓練級 訓練新的模型從而實現AI模型的快速換代 結論是完全使用蒸餾出來的訓練級 訓練的模型性能通常不會超越上一代模型 而且這樣連續迭代下去 最終AI模型有智能徹底崩潰的可能 因此多數AI公司在用蒸餾的辦法創建訓練級的同時 也會往裡邊加入自己新收集和創建的問答訓練 來給自己的模型獲得可能的提升空間 由此可以推論 微軟等機構指責DeepSeek公司 蒸餾OpenAI公司的AI模型的做法應該不是空穴來風 而且大部分中國AI公司的這類訓練集中 都應該有很多這種蒸餾出來的問答訓練記錄 只是蒸餾的記錄在種訓練集中佔的比例 從一個公司到另一個公司中有所不同而已 目前大家看到的多數AI模型都是在第二個訓練階段 通過監管下微調的方法來訓練出來的 但是這個格局在2024年9月12日 被OpenAI自己打破了 那天OpenAI發布了兩個新的模型 O1 Mini和O1 Preview 這是通過一種全新的第二階段訓練理念生成的新一代模型 也被稱為推理模型 這種模型的原理和以前有什麼不同呢 GB4這樣的老一代模型會花很多時間去學知識 但是他們在回答問題時 卻往往是不加思索的就給你出他想到的第一個答案 對於需要數學分析、編程或邏輯推理這樣的複雜問題 不加思索給出的答案往往都不是最優的 與之對比 一個思維嚴謹的人在回答複雜的問題前 通常都要先認真思考和推理 然後才會給出一個深思熟慮後的答案 OpenAI就是模仿人在回答問題時的這個思維過程 在第二個階段的訓練中 著重訓練模型在給出答案前 先進行系統的思考和推理 優化自己的解決問題的策略 這個思路給AI領域帶來了一次革命 OpenAI表示新一代推理模型 在數學、編程和邏輯等領域的性能產生了一個非要 這個新思路還給AI領域開闢出一個新的發展方向 去年年底 OpenAI透露 利用這個思路 他們在三個月就迭代出O1模型的下一代模型 O3模型 O3模型的智能在數學、編程等多個領域都達到了人類天才級別的能力 因為它能力過於驚人 OpenAI表示 他們需要花更多的時間來對O3模型安全性檢測 並說會在2025年1月底先推出一個低性能高速度的O3模型 給大家看看 這種推理模型是如何訓練出來的 OpenAI只說他們用了強化學習的算法 卻沒有公開任何技術細節 OpenAI的推理模型就好像讓AI界知道了 有一條路是可以翻過山 而且山那邊很美好 但是卻沒有告訴大家如何才能找到翻過這座大山的路 於是全世界的AI公司都開始摸索翻過眼前大山的道路 其中一個主要難題就是 如何構建強化學習的訓練集 大家普遍以為 訓練集不但需要問題和答案 而且需要提供中間的一步步實現推理的過程 這就把訓練集構建需要的成本和時間指數級的提高了 DeepSeek的推理模型R1模型 和它的相關論文就是在這樣的大背景下提出的 它用開放的R1模型向全世界展現出 他們也找到了到山那邊的道路 而且他們還告訴了大家其中一些關鍵技術細節 例如利用他們公司去年發表的一個加強學習的算法 只需要問題和答案 而不需要提供中間的實現過程 這樣的訓練集就能訓練出推理性模型 他們的算法可以從一羣結果中自動學到 類似於人類思維推理的中間過程 這個技術貢獻把這類強化學習的難度大大降低 很多公司很可能會利用這個捷徑進行強化學習 訓練出新的推理性模型 OpenAI首席研究官Mark Chen 1月28日在X上發文說 祝賀DeepSeek開發出O1級的推理模型 他們的論文表明 他們已經獨立地找到了一些和我們通往O1道路類似的核心思路 和OpenAI提出推理模型這種開創性思維相比 DeepSeek的創新是真實的 但更多是工程層面的 DeepSeek搶先在OpenAI發表O3模型前推出了O1模型 明顯是在向世界宣告 中國的AI技術已經達到了世界領先的地位 但是我們業內的人都知道 和OpenAI已經內部實現了的O3模型相比 O1模型其實已經是晚了一代了 根據用戶的測試 1月31日OpenAI推出的O3 mini模型 在性能上已經整體碾壓了DeepSeek的O1模型 而且定價和O1模型也很靠近 至此美國再次穩穩坐上了AI世界霸主的位置 在這期節目前 大家給我提了很多很深刻的問題 內容涵蓋眾多有爭議的話題 包括抄襲、專利、侵權、開源、芯片管制、技術突破 產業生態、股票投資、全球競爭 世界和個人的未來等眾多方面 這些問題對我準備這期節目幫助很大 但是因為時間的原因 我無法在這個節目中對大家的問題直接回答 因此我決定今天額外再做一個問答節目 專門來直接回答大家的問題 我會把那期節目放在我最新開的一個副頻道中 這個副頻道的中文名字叫傑森新聞快遞 英文名字是The Jason Express 我計劃未來用這個頻道發布最新新聞 藉助AI的輔助 現場口譯、重要的講話和發布會 或對一些重大事件進行快速回應等 開設這個新頻道的主要目的 是希望在不破壞傑森視角的一貫風格的情況下 能用更靈活的方式和大家互動 所以希望支持我的朋友 也能訂閱傑森新聞快遞那個頻道 好,下面我們傑森新聞快遞再見 今天節目就到這裡 謝謝大家的收看 希望大家能夠訂閱和推薦傑森視角 和傑森新聞快遞這兩個頻道