全球AI六巨頭巔峰對話：黃仁勳、辛頓、LeCun共議人工智能 六位人工智能領域最具影響力的人物做客FT Live，就他們的突破性成果以及人工智能的現狀如何塑造我 P2 - 感謝支持

大家好，下午好，早上好，我很榮幸能被選中來進行介紹 在座的各位，這群真正出色的人物。 六位，我認為是今日地球上最聰明、影響力最深遠的人。 而且我认为這並非誇大其詞。因此，這些就是2025年女王的獲獎者。 工程學伊麗莎白獎，並表彰今日在場的各位得獎者 對今日人工智慧技術產生獨特影響。 鑒於您在先進機器學習與人工智慧領域的開創性成就， 以及你所參與打造的創新成果如何正在塑造我們當今的生活，我想這一點再清楚不過了。 讓大家聚在一起，這是一個非常罕見且令人興奮的機會。 就我個人而言，我真的很期待聽到你對我們當下這個時刻的反思。 那個 everybody 都在努力超越並理解的，還有你的旅程，那條旅程 今天帶你們來此，不僅是為了了解你們的工作，更是為了理解你們個人如何產生影響。 彼此產生影響，並影響了你們所建立的公司與技術。 最後，我非常樂意聆聽您的意見，以展望未來，幫助我們所有人看得更清楚一些。 未來將會發生什麼，正是你們最擅長去完成的事。因此，我非常高興能有你們在場。 今天與我們一同參與，並期待接下來的討論。因此，我將開始進行講解。 從聚焦於宏觀的視角，轉向極其個人的層面。我想聽聽你們每一位分享一個個人化的頓悟時刻。 在你的職業生涯中，有哪些經歷是你認為對你所從事的工作產生了影響的？ 還是你人生中的轉折點，引導你走上了今天坐在此處的這條路？ 無論是您職業生涯的早期、研究生涯的階段，還是最近的事。 你個人覺醒的瞬間是什麼？它如何影響了科技？ 我們從你開始吧，約書亞？謝謝。是的，很樂意。我會 前往兩個時刻。第一個，當我還是研究生時，我正在尋找一些有趣的事情。 研究。我讀了一些傑夫·辛頓早期的論文。我心想，天啊，這真是太了不起了。 令人興تعيين。或許有一些簡單的原則，就像物理定律一樣，能幫助我們。 理解人類智慧，並協助我們打造智慧機器。第二個時刻，我想 要談的是兩年半前，ChatGPT 问世後，我意識到，哦，我們究竟在做什麼 會發生什麼？如果我們建造出能夠理解語言、擁有目標的機器，而我們卻無法掌控它們，會有什麼後果？ 控制這些目標？如果它們比我們更聰明會怎樣？如果人們濫用會怎樣 那股力量？所以我就決定徹底轉變我的研究方向和職業生涯，試圖去探索…… 我盡了一切可能去處理它。這兩件事非常不同。非常有趣。 告訴我們你建構支撐現有成果的基礎設施的那一刻。 我也會給你兩個時刻。第一個是九十年代末，當時我在史丹福大學，試圖 找出克服當時所稱的記憶體壁壘的方法。事實上 從記憶體存取資料所耗費的能源與時間，遠遠超過對資料進行算術運算。而且 它突然讓我意識到，可以將計算組織成由資料流連接的這些核心運算單元。 因此，你可以在不需要進行太多記憶體存取的情況下進行大量的算術運算。 這基本上引導了後來被稱為串流處理的發展，最終演變為GPU運算。 我們一開始建造它時，是認為不僅可以用於圖形處理，還能應用於通用計算。 科學計算。因此，第二個瞬間，我正與我的同事一起 commission 早餐 史丹福大學的吳恩達。當時他正在谷歌工作，致力於在網際網路上尋找貓的影像。 使用16,000個中央處理器，採用稱為神經網絡的這種技術。 李飛飛也參與了其中。 而且他基本上說服了我，這是一項了不起的技術。因此，我與布萊恩·卡彭瑙爾一起， 在48張GPU和NVIDIA上重複進行了實驗，當我看到那結果時，我完全 相信這正是 NVIDIA 應該致力的方向。我們應該打造能夠執行深度學習的 GPU。 學習，因為這在尋找貓以外的各種領域都有著廣泛的應用。 而那確實是一個恍然大悟的時刻，真正開始努力奮鬥。 專注於針對深度學習優化GPU，並使其更加高效。 那是在什麼時候？哪一年？ 早餐是在2010年，我想我們在2011年又重複了這個實驗。 好的。傑夫，跟我們談談你的工作吧。 一個非常重要的時刻出現在大約1984年，當時我嘗試使用反向傳播算法 學習序列中下一個詞。因此它是一個微小的語言模型，並發現了 它會學習到有關詞語意義的有趣特徵。因此，只需提供一個字串 符號，僅透過試圖預測一串符號中的下一個詞，它就能學會如何 將文字轉換為捕捉該詞語意義的特徵集合 這些預測的下一詞特徵之間的互動。所以那其實只是一個微小的 1984年晚期的語言模型，我認為它是這些大型語言模型的前身。 基本原則是一樣的。只是規模非常小。我們只有100個訓練樣本。 雖然花了40年才走到這一步。 而且我們花了40年才走到這一步。之所以花了40年，是因為我們當初沒有足夠的運算能力。 我們沒有數據，當時也並不知道這一點，我們無法理解其中原因。 我們不只是用反向傳播來解決所有問題。 這讓我們自然地過渡到詹森。我們過去四十年都沒有足夠的運算能力，而如今終於有了。 你正在建造它。告訴我們那些真正清晰的時刻。 嗯，就我的職業生涯而言，我是首批能夠使用更高階工具的晶片設計師之一。 階層化的表示方法與設計工具來設計晶片。而這一發現很有幫助。 當我在2010年左右了解到一種開發軟體的新方式時，同時 來自三個不同實驗室。多倫多大學的研究人員正在做什麼？ 在同一時間，紐約大學的研究人員也聯繫了我們。 以及史丹福大學也同時與我們聯繫。我看到了早期的跡象 後來發現，同一時期使用框架和結構化方法的深度學習 設計用來開發軟體。而那套軟體最終被證明極其有效。 而第二個觀察，則是透過框架、更高層次的表示方式再次進行檢視。 像深度學習網絡之類的結構化結構類型，能夠開發軟體 對我來說，這與設計晶片非常相似。這些圖案也非常相似。我意識到 在那個時候，我們或許能夠開發出能夠非常順利擴展的軟體與能力。 隨著多年來晶片設計規模的擴大，這對我而言是一個非常重要的時刻。 你認為晶片真正開始協助擴展規模的時刻是什麼時候？ 我們今天所擁有的大型語言模型？因為你提到2010年，那還差15年呢。 是的，NVIDIA 架構的問題在於，一旦你能夠讓某個程式順利運行，就會發現它的表現非常出色。 由於它變得可以平行運算，因此你可以在多個 GPU 上讓它順利執行。 同樣的擴展演算法以在單一 GPU 上的多個處理器上運行的直覺也是一樣的 邏輯與相同的推理方式，你可以在多個 GPU 上執行，現在則可擴展到多個系統。 事實上，是多個資料中心。因此，一旦我們意識到能夠有效地做到這一點， 然後剩下的內容是關於想像這種能力可以被推廣到多遠。 我們有多少數據？網絡可以有多大？可以承受多高的維度？ 捕捉？它能解決什麼問題？所有這些在那個層面都已經是工程問題了。 你知道，深度學習模型如此有效這一觀察結果實在非常令人驚訝。 火花。其餘部分實際上都是工程上的推測延伸。 菲菲，跟我們分享一下你的那一刻吧。 是的，我也想分享兩個時刻。大約在2006年到2007年期間，我正處於轉變之中 從一位研究生到一位年輕的助理教授，我正是首批獲得此職位的一代人之一。 在機器學習研究生中，閱讀楊、約書亞、傑夫和我的論文真的非常…… 沉迷於解決視覺識別的問題，即機器具備識別能力的問題。 在日常圖片中的物件裡看出意義。而我們當時正為這個問題而苦惱。 機器學習中稱為泛化能力，即在從一定數量的範例中學習之後， 我們能否辨識某樣東西，一個新的範例，一個新的樣本？我已經嘗試過每一個演算法。 太陽底下的所有事物，從基本的網路到支援向量機，再到神經網路。還有那個遺失的環節 我們意識到的一點是，資料遺失了。你知道，如果你仔細觀察的話 人類等智能動物的演化或發展，我們被大量資料淹沒了。 發展的早期階段，但我們的機器卻缺乏數據。因此我們決定採取行動。 當時瘋狂地花了三年時間創建一個互聯網規模的數據集，稱為 ImageNet 包含了由全球各地人員手工精選的 1500 萬張圖片 22,000 個分類。因此，對我而言，那一刻的頓悟是，巨 FG Pig 驅動機器學習。 現在，它已成為限制因素，是所有演算法的基礎構建單元。 我們所看到的。是的，這正是當今人工智慧擴展定律的一部分。第二個頓悟時刻是 2018年，我是Google Cloudحوال的首位首席科學家。我們所從事的部分工作 正為天上地下所有垂直行業提供服務，沒錯，從醫療保健到金融服務，應有盡有。 從娛樂到製造業，從農業到能源業。那還是幾年前的事。 在我們所謂的 ImageNet 時刻、也就是 AlphaGo 之後的幾年，我意識到 AlphaGo 是能夠擊敗人類在中國棋類遊戲中對弈的演算法。 是的。作為谷歌的首席科學家，我意識到這是一項文明級的技術。 這將影響每一個個人以及每一個商業領域。 如果人類即將邁入人工智慧時代，什麼樣的指導框架是必要的？ 讓我們不僅實現創新，更透過這項強大的技術傳遞仁慈與關懷 給每一位人士。就在那時，我重返史丹福大學擔任教授，共同創立了人類學研究所。 中心人工智慧研究所提出以人為本的人工智慧框架，讓我們能夠持續保障人類的福祉。 將人類價值置于這項技術的中心。因此，在開發的同時，也要關注其影響。 接下來怎麼樣呢？這就是我們其他人發揮作用的地方。珍，你來為我們做個總結吧？ 你最精彩的部分是什麼？嗯，可能要追溯很久以前。我當時還是本科生的時候就意識到了。 我對人工智慧與智能這類問題感到著迷，並發現 那時人們在五十年代和六十年代就已經致力於訓練機器，而非編程它們。 我對這個想法感到非常著迷，或許是因為我覺得自己要么太笨，要么太 懶得從頭開始打造一台智能機器。所以不如讓它自己來。 自我訓練或自我組織，這就是生命中智慧的運作方式，你知道的。 它會自我建立，自我組織。因此，我觉得這個概念非常迷人。 畢業時我根本找不到工作，順帶一提，我當時在做偽造設計。 原本想申請研究所，卻找不到任何人在從事這方面的工作，但後來還是建立了聯繫。 與一些對此感興趣並發現傑夫論文的人，例如這樣的人。 在1983年，他是在這個世界上我最想見到的人。 當我開始研究生學業時，我們兩年後才終於相遇。 他們是你的朋友嗎？是的，我們在1985年一起吃過午餐。 我們幾乎可以接對方的句子。他有一篇用法文vertise的論文 在一次他擔任主題演講者的會議上，他居然真的多少破解了那堆數學內容。 有點像反向傳播，用來訓練多層網絡。 自20世紀60年代以來便已知，機器學習的限制在於我們無法 用多層次的結構訓練機器，這正是我著迷之處，也是他著迷之處。 所以我有一篇論文，大致提出了一種做法，而他則大致讀懂了。 數學，所以我們就這樣認識了。而這就是讓你走上這條路的原因？對，然後…… 之後，你知道的，一旦你能訓練這種複雜的系統，你就會問自己這個問題， 那麼我該怎麼建立它們，讓它們能執行一些有用的任務，例如辨識圖像之類的功能？ 當時，傑夫和我在八十年代末我做博士後研究的時候，曾有過這場辯論。 我原本以為唯一一個表述得相當明確的機器學習範式是監督學習。 你把一張圖像展示給機器，然後告訴它答案是什麼，對吧？他說：不，不，不。 我們唯一能夠取得進展的方式，就是透過無監督學習。 當時我有點不以為意。到了2000年代中期，發生了…… 約書亞和我開始有點交往，並重新啟動了 鑒於社區對深度學習的興趣，我們實際上在無監督學習上押下了賭注。 學習。這不過是一個強化迴圈，對吧？這並非強化。不，這基本上是 在不訓練機器執行任何特定任務的情況下，發現資料中的結構，這就是， 順便一提，大語言模型的訓練方式。因此，大語言模型的訓練目標是預測下一個詞。 但它並不是一個真正的任務。這只是一種讓系統學習良好表徵方式的方法。 還是捕捉結構？那裡沒有獎勵機制嗎？抱歉，有點太專業了，但真的是這樣嗎？ 沒什麼好說的，這就是正確的，所以繼續做下去吧？嗯，如果你預測的話，這確實是正確的。 沒錯。這與強化學習中的獎勵有所不同。 你說那很好。是的，好吧。所以，事實上，我要把責任歸到你身上。 原來飛飛製作了一個名為 ImageNet 的大型資料集，該資料集已進行標註，因此我們 可以使用監督式學習來訓練這些系統。結果發現，實際上效果很好。 比我們預期的還要好。因此，我們暫時放棄了整個工作計畫。 自監督學習而非監督學習，因為監督學習的效果已經非常好。 我們想出了幾個技巧。我說我沒有。不，你確實沒有。但這幾乎重新聚焦了整個局面。 產業界與研究社群，如果你願意的話，關於深度學習、監督式學習等主題， 等等。又過了幾年，大概在2016至2017年左右，才終於能告訴大家，這根本行不通。 帶我們前往我們想去的地方。我們現在需要進行自監督學習。這就是為什麼會有大語言模型（LLM） 這確實是最好的例子。但我們現在正在致力於將此方法應用於其他領域。 資料類型，例如視訊感測器資料，這類資料是大型語言模型極其不擅長的。而這正是一個 未來幾年的全新挑戰。這其實讓我們來到了當下的時刻。而我 想想看，你們都知道，那些原本對這件事一無所知的人，突然間interest的浪潮就湧了上來。 resizing 不僅僅是一項技術創新，對吧？這帶來了巨大的商業繁榮，已演變為地緣政治問題。 策略問題。而且，你知道，每個人都在努力弄清楚這到底是什么。所以， 或他們的頭腦裡轉不過彎來。延森，我先到你這裡來。我希望你們所有人都能好好思考一下這件事。 現在正是關鍵時刻。尤其是NVIDIA，幾乎每天、每小時、每週都在新聞上出現。 你知道的，你已經成為世界上最有價值的公司。所以這其中一定有什麼原因。 人們想要的。你會很高興聽到這件事。是的。你知道，告訴我們，你…… 擔心我們已經到了人們不太理解的地步，而我們所有人都 操之過急了，而且終將面臨一次清算，因為那裡存在著一個泡沫。 即將爆發，然後自行恢復正常？如果不會，那最大的誤解是什麼？ 關於來自人工智慧的需求，與網路泡沫時期的需求有所不同，人們可能尚未意識到這一點。 明白嗎？你知道的，如果情況不是這樣的話？在網路泡沫時期，也就是泡沫期間， 絕大多數部署的光纖都是未使用的，這意味著業界部署了遠超實際需求的光纖。 比原本所需還要多。如今，幾乎你所能找到的每一張顯示卡都處於全速運轉狀態。因此，原因在於， 我认为，退一步了解人工智能究竟是什麼很重要。你知道，對很多人來說， 人們，AI 就是 ChatGPT 和圖像生成，這一切都沒錯。這只是其中一個應用。 它。而且在過去幾年中，人工智慧取得了巨大的進步。不僅僅是記憶能力，還有了更多發展。 並加以推廣，而是透過研究進行推理與有效思考，並立足於實證。 它現在能夠產生更有價值的回應並完成更為重要的任務。這要強得多。 有效。並且能夠建立對其他企業有幫助之業務的公司數量也越來越多。 例如，一家軟體程式開發公司，或我們所使用的稱為人工智慧軟體公司的企業。 Cursor 的確非常賺錢，我們大量使用他們的軟體，而且用起來極其實用。 或簡化或公開的證據，正在為醫療產業服務的人們，都做得非常好。 產生了非常出色的成果。因此，人工智慧的能力已大幅提升。結果， serialize 我們看到這兩個指數函數同時發生。一方面， 產生一個答案所需的運算量已大幅增加。另一方面， 這些人工智慧模型的使用量也正在呈指數級增長。這兩個指數增長趨勢是 導致對計算資源產生巨大需求。現在，當你退一步思考時，你會問自己， 根本上，今天的AI與過去的軟體產業有何不同？ 過去的軟體都是預先編譯好的，執行所需的運算量也相對較大。 該軟體並不高明。但為了讓人工智慧發揮效能，它必須具備上下文意識。 知道。它只能在當時產生智慧，你無法事先創造出來。 並加以提取，這稱為內容。人工智慧的智能必須被產生與生成。 即時進行。因此，我們現在擁有一個產業，其中所需的運算能力已大幅增加。 創造出真正具有高價值且需求旺盛的東西，其難度相當大。我們已經創造出 一個需要工廠的產業。這就是為什麼我要提醒自己，人工智慧也需要工廠。 產生這些記號，產生智慧。這前所未見。 電腦實際上是工廠的一部分。因此，我們需要數以百億計的美元。 這些工廠，以服務其上所支撐的數萬億美元產業 智慧。你回來看看過去的軟體。過去的軟體是 軟體工具。它們由人們使用。首次，人工智慧成為一種增強人類智能的技術。 あたりまえのことです。そしてそれは労働に言及します。仕事に言及します。実際に働きかけます。 所以你是說，不，這跟人無關？ 我认为我們正處於智能建設的初期階段。 事實是，目前大多數人仍然沒有使用人工智慧。而在不久的將來某一天， 我們每一天所做的每一件事，每一刻，你都會是 以某種方式吸引人工智能。因此，從我們目前的狀況來看，使用率還相當低， 到我們將來會到達的地方，那裡的使用基本上是連續的，那種建設將是…… 即使大型語言模型的發展跑道結束，你認為GPU以及你正在建立的基礎設施能夠嗎 仍然能在另一種範式中發揮作用嗎？接著，我想邀請其他人一起討論…… 不僅僅是大語言模型。而且大語言模型在其中佔了很大一部分。但實際上存在的是模型系統。 而使人工智慧從今日的水平實現更高生產力所需的技術， 無論我們如何稱呼它，我們仍然有許多技術有待發展。 誰想加入這場討論？尤其是如果你有不同意見的話。 我不認為我們應該再稱它們為大型語言模型了。它們已不再是語言模型。 它們最初是語言模型，至少在預訓練階段是如此。但最近以來， 在讓它們成為代理者方面，已經取得了許多進展。換句話說，就是經歷一個系列過程。 與環境及他人互動以達成某目標的步驟 目前對於對話而言，越來越依賴於計算基礎設施。而這項技術 正在改變。它與三年前已完全不同。我不認為我們可以 預測技術在兩年、五年、十年後會發展到什麼地步，雖然我們無法確切知道，但我們可以看到一些趨勢。 其中一項我正在做的事情，就是試圖召集一群國際專家來 追蹤人工智能的發展動態、未來走向、潛在風險及其因應方式 已得到緩解。並且在許多基準測試中，趨勢都非常明確。現在，由於我們已經 過去在改善技術方面取得了如此巨大的成功，並不意味著未來也會如此。 未來也是如此。因此，如果期望落空，將會帶來財務後果。 未達成。但從長遠來看，我完全同意。不過目前你們其他人呢？你們怎麼看？ 認為估值在你對該技術的了解層面上是合理的 應用ỉ？因此，我认为有三個趨勢可以解釋目前的情況。第一個 模型正在變得越來越高效。例如，僅從注意力機制來看，從 直接將注意力從 GQA 轉向 MLA，可在遠少於計算量的情況下獲得相同或更好的效果。 於是便以某種方式推動了需求，使那些原本過於昂貴的東西變得更具吸引力 變得便宜。現在，您可以用人工智慧做更多事情。同時，