AI未來路徑分歧:Meta的LeCun與OpenAI的Sutskever如何看待大語言模型的瓶頸?

公园4004
2粉絲
2 次觀看·2024年12月27日
技術的本質其實就是思想
技術路線的爭論就是思想的爭論
過去兩週
兩位AI領域的重量級人物
分別做了一個訪談和一次演講
一位是Meta的首席AI科學家楊立坤
另一位是前OpenAI聯合創始人
Elia Saskever
我覺得他倆的觀點
可以算是對目前大圓模行爲代表的AI
做了一個階段性的總結
以及對未來的預測
他倆的觀點
甚至在一些關鍵問題上互爲解法
我覺得對比來看很有意思
從他們的訪談和演講裏可以發現
過去十年的AI爆發
離不開幾個核心元素
大模型
大數據
和深度學習框架的進化
Elia Saskever在NeurIPS2024演講中
總結了深度學習背後的三大基石
大型神經網絡
海量數據
和自迴歸模型
他指出
結合這些技術的規模擴展
也就是skilling loss
使得AI在翻譯
語言生成等領域取得突破
那麼什麼是skilling loss
簡單來說
skilling loss是在深度學習中
模型的性能和其規模的大小
包括模型參數和計算資源之間
存在一種明確的關係
具體表現就是
只要增加神經網絡的參數規模
使更多的數據訓練
或者投入更大的計算能力
模型的表現就會顯著提高
這種規模化的策略
成功催生了從seq2seq模型
到GPT系列模型的路徑
是人工智能近年來
取得進展的核心動力
然而Saskaver指出
儘管這種方法
在過去十年裏帶來了輝煌成果
但它的編輯效益正在遞減
目前的框架已經面臨了天花板
AI的進化需要新方向和新方法
突破現有限制
楊立坤同樣認可
深度學習的規模化的重要性
但他在訪談中也提出警告
他指出
當前AI的發展已經出現了瓶頸
僅憑基於文本的大規模語言模型
無法逾越天花板
他更強調的是多模態學習和世界模型
什麼意思呢
楊立坤認爲
未來的人工智能必須通過視覺
聽覺和物理互動
獲得更多的數據
獲取感知能力
從而實現對世界的更深入理解
兩位學者都明確提到
當前技術路線的最大限制
是AI數據資源面臨枯竭
Saskaver形容數據是
AI的化石燃料
而互聯網作爲數據來源
已經被完全挖掘
楊立坤的訪談中
正好對此做了具體的說明
全球公開可用的互聯網文本數據
目前大約是20萬一個單詞
每個單詞由大約三個字節表示
總計約爲6×10的十次次方字節
這一數據規模
已經被大元模型廣泛用於訓練
幾乎沒有更多的
Saskaver提到
沒有更多的數據
即使計算能力增加
規模化訓練的效果也會不斷衰減
他認爲的技術路線是
AI必須在數據來源上實現創新
比如通過合成數據或增強推理
來彌補資源不足
Saskaver特別強調了推理能力
作爲AI發展的下一個關鍵突破
他認爲推理不僅能夠解決複雜問題
還將在智能體設計中發揮重要作用
這類AI系統將從工具性角色
走向智能體角色
具備真正意義上的目標導向行爲
並且這種能力可能帶來新的不可預測性
推理越多
系統就越難預料
國際象棋對於人類棋手來說是不可預測的
而這正是推理的特質
總的來看
伊利亞還是着重在文本數據上
想要通過推理打造出智能體
楊立坤則從另一個角度提出了對策
不糾結於文本數據
他認爲依賴語言數據不是解決辦法
未來AI的學習需要多模態輸入的支撐
他提到了視覺和感知數據的重要性
指出看視頻和互動生成的感官數據
比文字數據更有深度
可以爲AI提供更豐富的訓練素材
這種訓練方式不僅能緩解數據枯竭問題
還能幫助AI理解物理世界的複雜性
楊立坤通過一個有趣的類比
指出數據規模的侷限性
一個四歲孩子一生
醒着的時間約爲16000小時
大腦通過視覺神經
每秒接收約兩兆字節的信息
總數據量約爲10的14次方字節
與當前最大語言模型
在訓練中處理的文本數據相當
換句話說
人類從視覺和多模態感知中
獲取的信息遠遠超出文字的信息量
楊立坤對AI的情感模擬和規劃能力
進行了更爲務實的討論
他提出目標驅動的架構設計
強調將具體情感和目標融入AI系統
以確保其在安全規則內運行
例如家用機器人需要明確的行爲約束
確保不會在人類在場時做出危險舉動
對於推理
他認爲全面感知是推理的基礎
只有AI理解其所處的物理和社會環境
才能構建可靠的推理體系
儘管方法不同
兩位學者都認爲
未來的AI需要擺脫目前基於直覺的模型範式
更多依賴推理能力在複雜任務中展現出靈活性
例如實現自我糾錯
處理動態問題等
推理不再是簡單的模式匹配
而是一種真正的思考和適應過程
在談到人工智能的未來
我們可以看到兩種截然不同的思路
一個是把AI當物種
另一個仍然把AI當作工具
Saskiaver在演講裏提出了一個大膽的假設
AI會不會成爲一個新的物種
她認爲未來超級智能可能具備類似自我意識的能力
這種智能是否需要獲得權利
是一個值得思考的問題
她甚至設想
強化學習可能成爲通往AI意識的一把鑰匙
因爲人類的意識
本質上就是對自己以及世界的理解
相比之下
楊立坤的態度更加謹慎
他認爲
AI始終是人類控制的工具
而非擁有自我意識的存在
他主張通過明確的規則和約束
確保AI行爲在安全範圍內
在實現人類水平的智能之前
更重要的是設計出讓AI嚴格遵循目標的架構
而非討論賦予AI類似權利的問題
在楊立坤和Saskiaver的思維碰撞中
我們可以看到兩種技術路徑
這也許是未來人工智能可以互補的路徑
一個是主張構建推理能力更強的智能體
繼續挖掘數據石油的可用性
另一方是通過感知和互動
構建多模態學習的世界模型
從根本上解決數據不夠用的問題
