五分鐘速讀:李沐上海交大LLM趨勢分享

TechDL
11粉絲
26 次觀看·2024年8月25日
本視頻為你總結並快速介紹李沐在上海交大關於LLM趨勢,AI創業的演講內容。
AI開發前途無限
歡迎來到AI開發者的頻道
這幾天呢
被李沐在上海交大的分享呢給刷屏了
分享呢一共持續了一個小時
內容呢很多
乾貨呢滿滿
我整理了一下沐神演講中的主要內容
今天這個視頻呢
用幾分鐘的時間給大家分享一下
第一個是大語言模型與煉丹
題目對大語言模型下面的這個比喻
我覺得非常好
他將這個大語言模型的訓練呢
比作修仙小說裏面的仙人煉丹
大語言模型呢分爲三部分
算力數據和算法
語言模型呢
就是將數據通過算力和算法呢
壓縮進模型裏
這就類似於仙人煉丹時
將材料放到丹爐裏
根據丹方呢把它煉出來
所以要尋找煉丹的材料
各種天才地寶
這就是呢數據準備
需要弄到丹方
這就是算法
算力呢就是煉丹時用的火
比如地火或者丹火
看來沐神呢修仙小說
也是一點沒有少看
第二是帶寬的挑戰
現在大語言模型的訓練呢需要多臺機器
多個GPU呢進行分佈式訓練
此時的一個瓶頸呢
就是GPU之間的數據帶寬
爲了解決這個問題呢
未來的顯卡呢
會是一個多張GPU
集成到一塊的計算單元
從而減少傳輸的距離
提高傳輸效率
第三顯存大小會制約模型的尺寸
一個顯卡的大小呢是有限的
所以分配給內存的空間呢也是有限的
根據現有的技術呢
GPU顯存的上限應該在200G左右
所以未來可以訓練的最大模型尺寸呢
也就在500B左右
第四算力呢會越來越便宜
考慮算力時呢要考慮摩爾定律的影響
也就是差不多每一年呢費用
會降低一半
所以當你選擇模型時
不是想着現在能搞多大的模型
而是考慮一年後
兩年後可以搞多大的模型
第五大語言模型的趨勢
模型訓練的數據量呢
在10T到50T token之間
參數量呢
100B到500B之間呢是主流的模型
一線的模型參數量呢
是在500個B之間
這裏呢不包括MOE模型
第六語音模型的做法已經改變
現在的主流做法呢是將語音編碼後呢
送到大語言模型中進行處理
也就是呢類似於GPT-4o的做法
這樣的好處是呢延遲更低
利用的信息呢會更加豐富
以及音樂模型生成
音樂的應用呢問題不在技術
而在版權等商業問題
第8圖像模型
圖像生成模型呢
生成的圖片是越來越有神韻了
第9視頻模型
視頻生成呢依然處於早期
生成圖片容易生成連續的
保持一致性的連續圖片依然很有挑戰
第十多模態模型
這是最近的一個流行的趨勢
11沐神對幾種模型技術成熟度的打分
語言模型呢是80-85分
音頻處理模型70-80分視頻生成模型50分
13大語言模型的應用分類與現狀
沐神介紹的大語言模型的三種分類呢
第一類文科白領類
工作主要內容呢就是文字處理
當前的大語言模型
可以完成百分之八九十的工作
第二類工科白領類
工作類似於程序員的工作
當前的現狀呢
是替代還早
但是呢已經可以進行輔助了
第三類是藍領階段類的工作
對AI來說
這是最有挑戰的任務
做的比較好比如自動駕駛
但是端盤子送外賣就非常難
要做到呢
可能至少要5年
甚至10-20年
再後面是創業感悟部分
可以認爲是李沐大語言模型落地的感悟
首先一個呢
是預訓練還是後訓練
預訓練呢
很花錢但是目前呢
已經成爲一個工程問題
後訓練呢
纔是技術問題
後訓練中呢
高質量的數據和改進的算法
能夠極大的提升模型的效果
高質量的數據呢
一定是結構化的
並且呢與應用場景高度相關
另外後訓練呢
也有很大的算法創新空間
也適合於做科研
第15不同規模模型上的經驗呢
無法直接遷移
比如8B模型上調的很多東西
在70B上不一定成立
16垂直模型是個僞命題
李沐認爲呢
沒有真正的垂直模型
就算是一個很垂直領域的模型
它的通用能力
也是不能差的
17評估很難
但非常重要
大語言模型刷榜是一回事
實際應用的效果呢
又是另一回事
李沐建議要先把評估做好
再去做別的事情
18數據決定模型的上限
算法決定模型的下限
你們認爲呢
Claude3.5的尺寸不大
效果很好
主要原因呢
就是數據做得好
他建議要花70%-80%的時間在數據上
19算力自建還是租賃GPU
算力自建不比租便宜太多
因爲利潤呢
都被英偉達拿走了
但如果數據
量很大自建算力呢
使用CPU和存儲的費用呢
就會比租賃便宜很多
第20關於工作的選擇
打工科研還是搞創業
去打工呢
目的是升職加薪
做好一個螺絲釘
幹自己的事就OK了
天塌了自有個高的頂着
讀博科研呢
目的呢就是畢業出成果
要真心的熱愛
研究幾年的時間呢
專心探索一個領域
所以需要的動機呢
就要比打工強
創業目的是推出產品
要麼上市
要麼賣掉
所有的問題呢
都要你一個人頂着
所以呢你要熱愛這件事本身
會給自己加油
讓自己嗨起來
需要的動機呢
也是最強的
