微調技術大比拼:全量微調與LoRA、QLoRA實測對比!

TechDL
11粉絲
1 次觀看·2024年9月20日
本期視頻實測對比了全量微調、LoRA微調、QLoRA微調在GPU顯存占用和訓練速度上的表現。最後還有一個完整微調實例,教你如何從數據整理到產品問答AI小助手的訓練全過程。
視頻中使用的雲服務器GPUEZ:https://gpuez.com/
AI開發前途無限
歡迎來到AI開發者的頻道
本期視頻呢
我們來實測比較一下使用全量微調
LoRA微調和量化LoRA微調
對GPU顯存和訓練速度的影響
到底有多大
視頻最後呢
我們來介紹一個微調的案例
來看一下如何從整理數據到微調模型
來訓練一個產品問答用的AI小助手
前幾天的視頻中呢
我分享瞭如何根據技術報告中的參數
來預測一個大模型所需要的訓練資源
有小夥伴留言說呢
希望瞭解這個LoRA和量化LoRA
等微調技術
可以節省多少顯存
相比全量微調呢
LoRA微調呢
它是通過優化一個附加的小網絡
從而可以節省模型優化時的梯度
以及優化器狀態的顯存佔用
而量化LoRA微調呢
是在LoRA微調的基礎上
進一步減少模型forward的過程中
所使用的顯存使用量
對模型訓練細節感興趣的小夥伴呢
可以去看一下我們這期視頻
下面我就在GPUEZ平臺的雲服務器上
來微調一下llama3 8B的模型
並對比一下呢
全量微調LoRA微調和量化LoRA微調
GPUEZ平臺呢
不僅有大顯存的GPU可供選擇
還支持非常靈活的升降配置
這樣
我們就可以爲不同的模型訓練設置
選擇使用合適的GPU數量和存儲空間
特別適合咱們這次模型微調的任務
好下面咱們就來演示一下
首先呢
我先登錄這個GPUEZ平臺的雲服務器
點擊控制檯
在這邊租賃一個新的實例
我們先選擇單個GPU
在鏡像的位置呢
我們選擇miniconda
Python的版本呢
選擇3.1
cuda的版本呢選擇11.8
這裏不建議選擇這個cuda12.1
這個版本呢
在進行量化微調時呢
會出現找不到bitsandbytes開發庫的問題
選擇完成之後呢
點擊立即創建
創建完成之後
就可以通過這個jupyterlab登錄服務器
首先呢
我們需要對服務器進行一些設置
安裝一些基本的工具
以及Python的運行環境
具體的安裝步驟呢
你可以在視頻下面的置頂
留言中的技術文檔中
找到
這配置呢
包括一些基本的設置
將conda下載鏡像呢
修改爲清華大學的鏡像站
創建一個Python的運行環境
然後安裝pytorch
這次微調呢
我們使用的是llama-factory
首先呢
我們需要下載這個llama-factory的源代碼
下載完成之後進入這個目錄
然後呢安裝它的相關依賴的開發庫
除此之外呢
我們還需要用到魔搭的開發庫
bitsandbytes
量化相關的開發庫
環境安裝完成之後
就可以開始微調了
通過llama-factory做微調呢是非常簡單的
只需要幾個簡單的修改就可以開始了
首先先執行這個設置
先切換爲呢從魔搭上下載模型
我們先來看看LoRA微調的情況
打開這個examples/train_lora
文件夾下面的這個
llama3_lora_sft.yaml文件
將這個模型的名稱
修改爲魔搭上對應的名稱
也就是這個
llama3-8b-instruct模型
這裏我們選擇對所有的參數呢
進行LoRA處理
如果你希望進一步節省顯存的話呢
也可以只選擇部分的參數
然後執行一下這個命令
就可以開始訓練了
最開始呢它會先下載模型
模型下載完成之後就會開始訓練
從這邊我們可以看到
它目前呢使用的顯存呢是20個G
它的訓練速度呢是
每個迭代需要2.3秒鐘
然後我們再來看一下量化微調
llama-factory當中
提供了有多種量化微調的方式
這裏我們使用這個
基於bitsandbytes的這個方式
這個方式的好處是呢
不需要我們專門的下載量化後的模型
它會在模型加載時呢進行量化處理
我們選擇這個4bit量化
其它的設置呢與LoRA訓練是一樣的
執行這個命令開始訓練
我們可以看到
這次使用的顯存呢就更少了
只需要10個G
但是它的訓練速度
比LoRA訓練就慢了一些
每一個更新的迭代需要3.2秒
這是因爲
在這個微調訓練的過程中
需要進行反向量化的處理
這些處理呢是需要額外的時間的
從這裏我們就可以看出
量化微調是用更多的訓練時間
來達到節約顯存佔用的目的的
以上呢是LoRA和量化LoRA微調
最後呢我們再來看一下全量微調
我們使用這個llama3_full_sft_ds3.yaml腳本
只需要呢
將這個模型文件名稱呢修改一下
就可以進行訓練了
這裏我們可以看到
對這個8B的模型進行全量微調
一共需要273G的顯存
那它的訓練速度呢是每個迭代14.2秒
這個速度呢
除了因爲更新的參數變多
還因爲這個訓練呢
使用的是deep speed的ZRO3的優化
這種優化方式呢
會額外增加很多數據通信的時間
對ZERO3感興趣的小夥伴呢
可以去看一下我們這個視頻
到這裏呢我們就可以來總結一下
全料微調一個llama3 8B的模型呢
需要273G的顯存
訓練速度呢是每次更新需要14.2秒
LoRA微調呢需要20G的顯存
速度呢是每個循環2.3秒
量化LoRA微調
只需要10G的顯存速度呢
是每個循環3.2秒
從上面的對比呢我們就可以看出
通過使用LoRA微調
是可以大幅度的減少對顯存的佔用
從273G呢直接降到了20G左右
通過使用量化LoRA呢
會進一步降低到10G左右
那麼以上3種方法
在實際應用中該如何進行選擇呢
對於大多數微調任務來說呢
應該首選LoRA微調
這是因爲LoRA微調呢
不僅可以節省計算資源
在性能上呢一點也不比全量微調差
然後如果你的計算資源不足
或者希望微調更大的模型的話呢
可以進一步選擇量化LoRA微調
但是量化LoRA微調呢
會根據量化的程度不同
會對性能呢產生一定的影響
那麼全量微調用於什麼樣的任務呢
全量微調呢更適合於預訓練任務
或者說呢是使用大量的數據
對基礎模型呢進行增量學習的任務
它的目的呢是全面提升模型的能力
接下來呢
我們來看一個模型微調的案例
我們來看一下
這個模型微調的效果到底怎麼樣
假如我有一個產品介紹的文檔
那麼是否可以通過微調
來讓大語言模型回答我
產品相關的內容呢
下面我們就來試一下
那第一步呢
就是基於這個文檔來準備訓練數據
這邊呢我使用ChatGPT呢
幫我生成了近50個問答的數據
然後整理一下這些數據
上傳到雲服務器上
第二步呢
是修改這個dataset_info.json的文件
添加一個我們自定義數據的描述
第三步呢是在這個訓練配置腳本中
在dataset的位置
修改爲使用我們剛創建的數據
第四步呢
就是開始訓練好的模型
訓練完了
我測了一下這個模型
這次訓練的這個模型
針對這個文檔中的內容
回答的呢還是挺不錯的
比如我問GPUEZ平臺有什麼特點
它這回答呢
可以根據用戶的需求
定製實例配置和顯存的容量
並且呢它還支持無卡運行
可以支持靈活的升降配置
用起來呢還真是挺方便的
那GPUEZ的合作伙伴都有誰呢
它在回答呢
與武漢大學華中科技大學
華中農業大學
深圳大學
等多所高校師生
及研究機構的研發人員的合作
爲其提供高效穩定的算力雲服務
然後我又問它適合什麼樣的場景呢
它說GPUEZ平臺呢
適合個人和企業
個人呢可
以部署文生圖,文生視頻
個人知識庫等模型
企業呢可以用於AI應用部署
智能客服
金融風險評估和科研等工作
這個回答呢
它是對文檔中的這個大段落
進行了一個總結
來進行回答的
至少從上面這幾個結果來看呢
它已經將文檔中的內容呢
都微調進了大語言模型當中去了
怎麼樣是不是效果看起來還不錯呢
如果你也希望對模型進行微調的話呢
可以參考
我在GPUEZ平臺上進行微調的
一個詳細的操作步驟
你可以在置頂留言中呢
找到文檔的鏈接
目前呢GPUEZ平臺也正在搞優惠活動
新註冊的用戶呢可以贈送5元代金券
十月三十一日之前呢
所有用戶的消費都打八折
機會難得
千萬別錯過
好的以上就是今天的分享
感謝收看
我們下期視頻再見
