達到 GPT-4 水平的(偽)開源 LLM 會在 2024 年出現嗎

公园4004
2粉絲
2024年1月11日
2023 年,開源的 LLMs 驚喜不斷,年初,Meta 的偽開源模式掀起了熱潮,到年末,Mistral 8x7B 混合專家模型,已經追上了 GPT3.5。今年,追上GPT-4 的開源模型會出現嗎?
時間線:
00:00 開源語言模型的追趕速度很快
01:04 GPT-4 的秘密
03:08 Meta的偽開源掀起熱潮
05:57 開源是 AI發展的核心動力
2024年開源的大語言模型能追上GPT-4 嗎
我們來看張圖 它對大語言模型的能力進行了清晰的分類
圖表中白色方框代表大語言模型的能力 藍色方框代表數據集
橙色方框舉了一些開源大語言模型的例子
我們希望大語言模型做的無非就是這些
一般的任務
例如回答問題 寫作 扮演某個角色
邏輯推理 這方面最重要的是編碼和數學運算的能力
高階一點 想讓大語言模型變成人類的 Agent需要更復雜的能力
自我診斷 識別環境和對自然語言的反饋
從而能夠自行決定使用第三方API
我們常在新聞裏看到各種因爲性能 而讓人驚喜的語言模型
從去年初的 Meta 推出的 Llama 到 Mistral
這些模型用越來越小參數追趕到了 GPT 3.5
我期待在今年能有開源模型
在某些能力上能達到 GPT-4 的效果
達到 GPT-4 的水平
不僅是技術上的突破 更意味着我們有機會看到 GPT 背後的祕密
GPT-4 剛發佈時 便曾有傳言稱其參數量是GPT3.5 的幾十上百倍
讓大家覺得其訓練成本之高無人能及
然而 隨着時間的推移更多關於這一模型的猜想逐漸浮出水面
據 Semianalysis 的報道
GPT-4 的真實規模未達到早期傳言的那麼誇張
他們推測 GPT-4 是擁有1.76萬億個參數
集成了十六個專家系統的語言模型
其規模雖大 但也不是傳言的那麼離譜
Semianalysisi 的報告還深入分析了 GPT-4 在訓練數據集
成本 架構方面的情況 並提出了一個大膽的觀點
OpenAI 選擇不公開 GPT-4 的架構
並非因爲技術公開會對人類構成什麼風險
而是因爲其架構具有可複製性
這些觀點爲理解OpenAI 的策略提供了新的視角
GPT-4 的具體消息還來自於知名的AI 專家
自動駕駛公司的創始人George Hotz
作爲第一個破解 iPhone和 PS3的黑客
Hotz 對GPT是有着很深入的解讀
他指出 GPT是不是直接輸出答案
而是通過迭代推理對輸出進行十六次調整優化
從而讓回答更精準
這些關於 GPT-4 各個方面的推測
極大地激發了開源社區的想象力和嘗試方向
我們希望知道GPT背後的原理 我們希望知道
爲什麼 ChatGPT 會隨着時間的推移能力下降
每個人都希望得到一個表現穩定的GPT
要知道自推出以來 OpenAI 已經中斷過很多次
而這些問題的答案無疑依賴於開源世界的進一步發展
Meta 的開源策略掀起了行業內的新潮流
這種策略使許多公司找到了一種新的商業模式
無需像OpenAI 那樣投入巨大的成本
研究最先進的大語言模型也能吸引衆人的注意
然而 隨着時間推移 人們逐漸意識到
這種開放權重的做法 並不等同於真正的開源
去年2月24日 Meta 推出了參數規模
介於70到650億的大元模型 名爲 Llama
起初 Meta 僅像部分學術研究者開放了這些模型的權重
不到一週 這些文件泄露迅速引起了愛好者和研究人員的關注
他們利用這個機會對 Llama 進行微調和進一步開發
這也是當時最強大的開源語言模型
儘管很多人發現 Llama 的開源程度相對較低
雷德堡大學的研究人員
在 ACM會議上提出 Llama-2 的開放程度僅比 GPT高一點
因爲它沒有分享訓練數據或訓練代碼等關鍵部分
但不可否認的是 Meta 確實引領了一波開放權重的熱潮
在AI領域權重是訓練好的神經網絡文件
而不是源代碼 它是不可讀的 仍然是個黑箱
AI 授權的複雜性遠超過傳統軟件
它涉及多個層面 包括源代碼
權重 數據集的每個都有其授權方式
此外 AI 的社會倫理後果也需要額外考量
如使用限制和分發限制的
不過 Meta 已經變成了開源的代表
他的首席科學家楊力昆也成爲開放 AI 模型的倡導者
他經常在網上與業界同行激烈辯論
Llama 成功之後 Meta 在7月發佈了 Llama-2
這是增強版本不僅提供權重 還加入了有限的商業許可
8月專爲編程任務優化的 code Llama
彌補了之前在編程方面的不足
此外 AI領域還出現了很多亮眼的開源模型
去年12月一個名爲 Mistral 8x7B的專家混合模型尤爲引人注目
據評測其性能達到了GPT 3.5 的水平
這對於一個較小的AI語言模型來說是一個很大的成就
也標誌着AI領域的重大突破
Mistral 的這個專家混合模型
能處理長達 32K tokens 的上下文窗口 擅長推理分析和編碼
甚至在某些基準測試中超越了 Meta 的 Llama-2 和OpenAI 的 GPT3.5
唯一的遺憾是它對中文的支持能力有限
不過 短短一年就能追上 GPT3.5 的開源模型
這樣的快速發展讓人遐想 追上 GPT-4 模型啥時候能出來
對於個人而言 開源軟件可能意味着每個月節省數百元的費用
對於中小企業來說 這是一大筆經濟成本
同時還涉及數據安全和保密
而對於那些推出開源模型的公司來說
這是一種降低成本 快速提高知名度的商業模式
在AI領域中 開源技術不僅是創新的催化劑
更是推動整個行業生態發展的關鍵
儘管像GPT Gemini Anthropic
這樣的閉源產品對產品形態發展有重要影響
但開源大語言模型對行業產生的影響則更加深遠
這些開源模型通過分享源代碼 訓練數據
和內部工作機制 爲研究人員提供了深入挖掘模型潛力的機會
催生出了一系列底層的創新和成果
去年我們見證了更多小型 但功能專業化的模型的崛起
這些模型通過精心挑選的優質訓練數據
在特定任務上表現出卓越的性能
以微軟的 phi 爲例 這一系列模型展示瞭如何
通過優質的訓練數據和精細的設計來提升性能
Phi-1 模型擁有13億參數在 Python編程能力方面表現出色
最新的 Phi-2 也只有27億參數 在基礎語言理解
和推理能力方面 在130億參數以下的模型中表現突出
在多項測試中 Phi-2 甚至超越了許多排名靠前的開源模型
也許今年給我們驚喜的會是開源領域的小參數大語言模型
