LoRA原理全拆解:大模型微調的核心直覺、數學本質與實戰避坑指南!

The Only Bamboo
244粉絲
配套教程籽料可以在我【公眾號:白白說大模型】回復關鍵詞:【2】領取
或者在我的主頁簡介上自取
#ai #artificialintelligence #人工智能 #llm #learning
以前想給幾十億參數的大模型做全量微調
那是大廠和頂級實驗室才玩得起的算力遊戲
動不動就需要幾排機櫃的頂配顯卡連軸轉
普通開發者根本摸不到門檻
但是自從有了lore技術
它硬生生把微調的顯存需求直接砍掉了90%以上
各位,這意味着現在哪怕你手裏只有一張普通的24G家用顯卡
你也有資格在自己的電腦上
零成本訓練出一個專屬的行業大模型
今天我們就把lore技術徹底拆解明白
我把視頻內容分爲了四個部分
首先我們會花個幾分鐘理清一個底層邏輯
微調的本質到底在幹嘛
基調定準了
你就會知道傳統的做法有多吃虧
爲什麼我們非得用lore不可
我們問了爲什麼
第二部分我們來講lore的數學原理和實現機制
這一部分非常關鍵
只有掌握了底層的低值分解
你才能夠真正駕馭微調
面對面事關的原理拷打也絲毫不慌
接下來第三部分
我們會順帶掃一眼現在的行業前沿
看看各種升級版的新玩法
畢竟顯卡資源是永遠不夠用的
我們會看看怎麼把性價比壓榨到極致
最後我會把我總結的參數設置和壁紙指南
全都列出來
看完這一部分
你馬上就能抄作業去跑自己的模型了
好
那我們就直接進入第一部分
來看看微調的本質
其實大模型不管外面吹的有多神
它說白了
底層就是一堆密密麻麻的數字
也就是我們說的權重參數
你看這個公式
WEPA等於W加上DataW
原來的模型參數是W
我們要交給它新技能
就是給它加上了一個變化量
就是這個DataW
最後得到一組新的參數
WEPA
微調
本質上就是在找這個DataW
就這麼簡單
但是呢問題來了
我們看右邊這個圖
以前我們做的是傳統的權量微調
就是要把這幾十億幾百億的參數
全都給它重新算一遍
這就像什麼呢
假設你手裏有一套幾百萬字的百科全書
現在你想往裏面加上一點
關於最新的網絡熱詞的解釋
權量微調做法就是
拿起紅筆
把整套書從第一頁
第一個字開始
全部重新抄一遍
你看這個圖裏面
紅筆改的密密麻麻的
這種做法不僅費卡燒錢
而且模型還特別容易
把以前學過的常識給忘了
也就是我們說的災難性遺忘
對我們平時在公司跑業務來說
動不動就去搞權量微調
那算力成本肯定是吃不消的
那怎麼破局呢
既然整本重抄太笨了
大家就想出了Laura這個辦法
我們來對比一下這兩個架構圖
左邊這個是常規微調
你看左邊這個data w模塊
跟原來的模型一樣大
更新起來特別笨重
而Laura她特別聰明
她直接把原來那一個巨大的預訓鏈權重
w給凍結住了
不讓它動
然後呢在旁邊開了一條旁支路
在這條路上
她放了兩個小一點的矩陣
叫做a和b
我們在訓練的時候
只更新這兩個小矩陣
最後把它們相乘的結果
當成那個變化量data w
加回到原來的流程裏面
效果有多誇張呢
我們來看這個餅圖
綠色的這一大片
95%甚至更多的原始參數
都不用算了
我們只需要管這個藍色這一小撮
可能只有百分之幾
甚至千分之幾的參數
你看這一下子
幾張普通的顯卡
也能跑得動大模型微條了對吧
那說到這裏
其實很多朋友
第一次接觸羅爾的時候
心裏都會有一個大大的問號
憑什麼
憑什麼原來要更新幾十億個數字
才能夠學好的東西
現在你搞兩個小矩陣
就能夠搞定了
模型真的能學會嗎
這就涉及到了
羅爾背後最核心的一個洞察
學術上叫低質
我們來看這兩張圖你就懂了
你看左邊這個廚師
其實基礎的大模型
他已經是一個
上至天文下至地理的博學家了
現在我們微條
比如讓他去寫
你們公司的特定文案
就好比讓這個博學家
去學做川菜
他需要從頭開始去學
什麼是臘味
什麼是火
什麼是食物嗎
完全不需要
他腦子裏已經有龐大的常識了
他只需要稍微記一下
花椒怎麼用
這種特定規則就行了
這就是爲什麼
那個變化量DeadW裏面
真正需要塞進去的新知識
其實沒那麼多
再看右邊這個例子
這個也特別形象
你看張三寫了一篇2000字的水文
廢話連篇
其中真正有信息量的就一句話
今天天氣不錯
我們去野餐吧
大模型的參數也是一樣的
雖然他可能會有幾百一個數字
看着挺嚇人的
但其實數字跟數字之間
有很強的關聯性
大量的信息都失重於的
所以你看
Laura其實就是抓住了
大模型的這個本質
既然你本身信息就高度融合
不需要那麼多參數來表達
那我就用極少的參數
去精準捕捉你那點核心的增量信息
這就解釋了
爲什麼Laura能用這麼小的代價
撬動那麼大的模型
好 我們理清了大方向
現在進入第二部分
Laura的數學原理和實現機制
大家看到數學原理
這四個字先不要緊張
我們其實就是要搞明白一件事情
剛纔說的那兩個小矩陣
它在底層到底是怎麼運轉的
首先呢
我們需要破除一個名詞障礙
叫做低智low rank
聽着特別學術對吧
但其實也特別好懂
大家看這裏有個例子
左邊是有一個三乘三的矩陣
一共是九個數字對吧
但是如果你稍微觀察一下它的規律
你看第二行246
其實就是第一行123乘以2
第三行呢
就是第一行乘以3對吧
這意味着什麼呢
這意味着這九個數字裏
真正有用的核心信息
其實只有第一行的那個123
剩下的全都是個固定套路
是冗餘的
所以啊
不管一個矩陣看着有多麼龐大
只要它的數據存在高度的關聯性
它的有效信息維度其實是很低的
我們完全可以把那個核心的基底
給抽出來
用很少的數據去還原它
這就是低智的本質
在一堆廢話裏面去找重點
好 順着這個找重點的思路
我們就來到了Laura最核心的操作
矩陣分解
既然我們上一章說了
模型需要學的新知識
也就是這個黃色的data w
信息量其實不大
是一個低智矩陣
那我們在數學上就可以動手腳了
利用先行帶出的性質
我們直接把這個大矩陣
給它深深地劈開
劈成兩個小矩陣相乘
也就是右邊這個矩陣A和矩陣B
大家注意看啊
矩陣A呢
它是一個高瘦的柱子
矩陣B像一個矮胖的長條
對吧
它們倆相乘的時候
中間那個共同的維度
也就是A的寬度和B的高度
其實就是我們剛纔說的
那個有效信息維度
在學術上我們管它叫rank
也就是值
那說到這個rank值
我們在實際跑代碼的時候
這個r設置成多少最合適呢
我這裏有一條法則是說
r應該遠遠小於模型的原始維度
很多朋友剛開始接觸微條的時候
可能會有個誤區
覺得這個r設的越大
模型學到的東西就越多
效果就越好
但是你看左下角
這是原論文裏面的測試數據
非常有意思
你看當r從1增加到了4的時候
各項語言的指標確實在變好
但是當你把它加到16
甚至加到1024的時候
你會發現效果並沒有什麼明顯的提升
甚至還會掉一點點
這說明什麼
這說明你要交給模型的新技能
它的信息量其實就那麼一點大
就好比你非要開一輛大卡車
就是很大的R去裝
其實車廂裏全是空的
所以我們平時訓練
r設置個486
往往就足夠大了
那把r設小之後能剩多少式呢
我們來算一筆直觀的賬
這也是我覺得Lore的最牛的地方
假設我們要更新一個
1024×512的權重矩陣
如果是傳統的微調
你要老老實實去算這52萬多個參數
現在我們用Lore
假設我們把剛纔說的r設置成了32
你看矩陣A就變成了1024×32
那矩陣B呢就是32×512
我們只需要管這兩個小矩陣
把它們的參數量加起來
只有不到5萬個參數
從52萬多
降到了49000
那參數量只剩下原來的9%了
如果遇到更大的幾百億參數的模型
那個比例甚至能降到千分之幾
對於做工程落地的人來說
那就意味着
你原本可能需要8張A100才能跑起來的訓練
現在是一張消費級的4090就能輕鬆搞定了
這是實打實的降本增效
最後這部分還有一個非常精妙的工程實現細節
大家一定要知道
就是它的初始化
大家想一個問題啊
剛開始微調的第一步
模型其實什麼新東西都沒有學進去
對吧
我們肯定希望這個時候
新加進去的A和B不要去瞎干擾原來模型的輸出
所以呢
Loader的作者非常聰明
你看
他在最開始的時候
把右邊這個矩陣B用隨機數初始化
但是呢
他把中間這個矩陣A啊
全都設置爲零了
也就是全零初始化
這有什麼用呢
任何數乘零都是等於零對吧
這就意味着在訓練的第一步
A乘B的結果就是等於零
那W也就是零
那模型剛一上來
表現跟沒加漏的之前是一模一樣的
然後隨着訓練的一步步推進
A裏的數字慢慢不是零了
新知識才一點一點加進去
這就保證了訓練初期的極度穩定
不容易崩
另外
大家注意看底下這個公式
這裏多了一個字母叫α
我們在設置參數的時候也一定會遇到它
它其實就是一個縮放因子
你可以把它想象成一個音量的旋鈕
算出變化量之後
我們乘上一個α除以r的這個係數
用來控制新學到的知識
對原模型的影響到底有多大
有個行業裏面的經驗值啊
我們通常會把這個α設置成r的兩倍
具體的我們在後面參數設置的部分
還會再詳細說
好
我們把Laura最底層的數學邏輯判清楚了
那麼說到這裏
你可能會覺得
誒
把參數量降到百分之幾
這已經很極限了吧
一臺電腦就能跑了
還要什麼自行車啊
其實不然
大模型這個圈子
卷的是非常誇張的
既然能降
那能不能再降一點
這就引出了我們的第三部分
QLaura和其他的一些進階的新玩法
我們先來看目前大家用的最多
基本上可以說是平民玩家標配的QLaura
這裏面這個Q呢
就是Quantization
量化
原本我們大模型裏面的數字
都是非常精確的小數
比如說16位甚至32位的浮點數
非常佔用顯存
那Quino又是怎麼做的呢
它直接大倒擴
把這些精確的小數壓縮成了4倍的粗略整數
這一壓
好傢伙
模型的體積直接縮水了好幾倍
單卡24G的顯存
也能夠跑70億甚至更大的模型了
但是注意
我們用來微調的這兩個小矩陣A和B
他們是不做這種極端壓縮的
他們還是保持高精度的計算
這相當於大部隊雖然因爲後勤不夠降級了
但是我們派出去學習新知識的特種部隊
用的依然是頂配的裝備
這樣一來
既省了卡又保證了微調的效果
可以說是性價比較辣
那除了這個QLaura
因爲Laura實在是太火了
這幾年學術界還卷出了好多升級版
我給大家簡單的介紹幾個
比如第一個
Laura
她覺得原來Laura更新參數的時候
有點手腳不協調
所以她在算法上做了一個解偶
把權重的方向和大小分開來學
這樣模型學起復雜任務來
表達能力就會強很多
再看中間這個Laura
這個思路我覺得特別有意思
剛纔我們不是說矩陣A上來全是零
矩陣B是一堆隨機數嗎
它的起點根本不一樣
憑什麼訓練的時候
要讓他們用同一個速度去更新呢
所以Laura就給這個A和B設置了不同的學習率
相當於是因材施教
結果發現
不僅訓練變快了
最後模型變聰明的效果還更好了
然後呢還有RS Laurel
它其實解決了一個很多人微調的時候都會碰到的痛點
剛纔我們說過
普通Laura的值設置個8或者16就差不多了
有時候你遇到特別複雜的任務
你硬把2開到128 256
滿心歡喜的以爲模型的學到更多東西
結果一跑
Loss曲線直接崩了
訓練很不穩定
那麼RS Laurel就是對內部的縮放比例做了一個數學上的優化
用了它之後
你哪怕這個Rank開的很高
模型也能穩穩當當的繼續學
不會輕易崩潰
這對於那些需要給模型瘋狂灌輸大量新知識的場景
比如說要學一門
全新的冷門語言是非常有用的
當然了
對於大部分剛上手的人來說
也不用死禁爲這些變體
你只要知道
不管外面的花樣怎麼變
他們底層的靈魂
都是我們剛纔拆解過的低質分解
如果你平時做項目的話
你只要知道武器庫裏面還有這些進階的裝備
哪怕哪一天原版的LOL滿足不了你了
你懂得來回翻這幾張牌就完全足夠了
好
前面鋪墊了這麼多理論和變體
可能很多朋友已經迫不及待去跑代碼了
最後一部分
我們來盤點一下
在真實寫訓練腳本叼餐的時候
那些最容易踩坑
最容易讓人抓狂的地方
大家如果用開源的工具微調過
就一定會面對配置文件裏這三個參數
我們一個一個來看
首先第一個
也是最核心的
R Rank
這個參數我們在前面反覆的提過
它決定了模型能容納多少新知識
我再強調一遍
真的沒必要去迷信大力出奇跡
一般日常的任務設置個86
最多32
絕對夠用了
設的太大
不僅訓練慢
還特別容易過擬核
第二個
λα
還記得我們前面打的比方嗎
它就是一個音量旋鈕
是用來控制新知識對原模型的影響權重
絕大多數情況下
你直接把這個α設置成跟R一樣大
或者是R的兩倍
是很安全的
比如說你R是16
α就給16或者是32
除非呢
你去用我們剛纔講的
羅爾加這一類特殊的變體
那就得老老實實按他們論文裏的配方來
第三個
Target Modules
也就是你要把羅爾掛在哪些層上
很多框架默認非常保守
只給你加在
注意力的QProj和VProj上
這種做法最省顯存
跑起來最快
但是你看
如果你的顯卡資源稍微富裕一點
或者是你想追求極致的微調效果
那強烈建議你把括號裏面這些
KProj OProj
甚至後面的潛潰層全給它覆蓋上
代價肯定是顯存佔用變高
但模型理解複雜指令的能力
會有一個質的飛躍
OKOK
最後我們來過一遍這幾個
很容易被忽略的
B坑小貼士
這可都是我們用算力和時間
砸出來的血淚經驗
第一條Dropout
其實你就可以把它當成一個
防死機硬背的開關
如果你手裏的數據集特別小
比如說你只弄了幾百條問答
那你把Dropout給個0.05
或者是0.1
防止模型過你盒
但如果你的數據量很龐大
幾萬條几十萬條
那就直接設爲零
不需要開
讓模型敞開了去
第二條Bios
也就是偏執
聽我的
通常情況下呢
直接保持默認的Long就可以了
千萬別手癢去微調它
用了反而容易出一些
莫名很妙的收斂問題
第三個呢是數據類型
這個很重要
如果你顯卡支持
我們一定一定要選
BF16
千萬別去選那個FP16
爲什麼呢
因爲大模型的訓練的時候
經常會蹦出一些極端大的數字
FP16的表示範圍比較窄
特別容易溢出
你可能跑着跑着
突然loss爆掉了
白跑幾天
而BF16就穩健的多
如果你結合了
我們剛纔說的QL
框架會自動幫你
把底座壓成Speed
但在運算這一步
記得一定還是要用BF16
最後一條呢
這是一個爆顯存的急救順序
你看
假設你一跑代碼
爆錯了
OM顯存不夠
你該怎麼砍配置呢
千萬別一上來就去砍這個
那太傷模型效果了
你的第一步
應該是立刻換上QL
這招最立竿見影
如果還爆呢
第二步
再去把R值稍微調小一點點
實在不行了
再到最後一步
你再考慮去減少負斜的層數
如果按照這個優先積來
能在你現有的破顯卡上
保住最大的模型戰鬥力
好 那關於Laurel微條原理的拆解
我們就講到這裏
我簡單總結一下
首先我們理清了微條的本質
其實就是求原有參數的
一個增量DataW
然後我們是拆解了
Laurel的底層機制
它是利用低質矩陣分解的
數學特性
把龐大的參數更新轉化爲
兩個小矩陣相乘
從而大幅度降低了
需要訓練的參數量
接着我們還介紹了
Q-learning等等進階玩法
進一步降低訓練的顯存門檻
最後就是剛剛給大家梳理的
核心參數設置和實戰必坑建議
行 理論加實操都齊活
接下來呢
你就差動手去跑個模型了
這期先到這兒
我們下期再見
