小顯卡玩轉大模型,模型分層推理法

TechDL
11粉絲
本期視頻為您介紹模型分層推理法,它可以讓您在小顯存GPU上運行大模型。快來看看我在7B和14B模型上的測試結果吧!
0:00 內容介紹
0:57 模型分層法
2:51 推理速度評測
6:09 總結與模型推理設置
#LLM #qwen #大模型 #推理 #Inference #Huggingface
AI開發前途無限
歡迎來到AI開發者的頻道
本期視頻爲你介紹一下
如何在小顯存GPU上
對更大的模型進行推理的一個方法
我相信看完這個視頻
你就再也不會害怕跑不動大模型了
上期視頻中呢
我們介紹了
通過使用Accelerate開發庫
當中的estimate memory的功能
可以快速方便地計算一個大模型
在推理和訓練時所需要的顯存大小
視頻發佈之後呢有小夥伴留言講啊
計算的不對
它呢可以在16G顯存的顯卡上呢
跑一個14B的模型
那這是爲什麼呢
有人說呢是部署工具啊調用了內存
也有人說呢是使用了量化模型
我查了一下
如果採用4位整數量化版的模型呢
也需要約13G的顯存
差不多啊是可以運行的
那麼如果是更大的模型該如何辦呢
今天呢我就爲你介紹一下
HuggingfaceAccelerate開發庫當中啊
提供的一個模型分層的功能
通過它呢
我們就可以在小顯存的顯卡上
跑更大的模型了
首先我們先來看一下
如何使用模型分層技巧
來對大模型進行推理
我們先來看一下代碼
一共呢有三步
第一步呢
使用這個init empty weight功能呢
來初始化一個空模型
此時呢模型參數並不會真正的被導入
所以呢只會佔用很少的內存
第二步呢
是通過這個load
checkpoint and dispatch功能呢
將一個模型的參數呢導入
並將模型呢初始化分配到CPU
GPU或者硬盤上
第三步呢是進行推理怎
麼樣代碼看起來是不是很簡單
那麼這個方法是如何來運行
從而節省GPU顯存的呢
Huggingface官方呢提供了一個演示視頻
非常形象地介紹了他是如何工作的
第一步呢是初始化一個空的模型
此時呢由於沒有實際導入參數
所以呢只會佔用很少的內存
第二步呢
是將整個模型參數呢導入內存
並根據模型的配置
與GPU顯存和內存等情況呢
對模型進行重新的存儲規劃
並且在各個分塊上呢加上一個Hook
用來控制拆分後的模型分塊
第三步呢是推理過程
當需要處理的數據過來後呢
程序會首先將第一個分塊的模型呢
讀入到GPU當中
然後進行計算
計算完成後呢
將第一個分塊呢再送回CPU
然後依次是第二個
第三個分塊燈分別進行處理
都處理完成之後呢
就可以將結果呢返回了
在實際的使用中呢
肯定還有很多優化的地方
讓運行效率更高
瞭解了模型分層是如何處理的
下面呢我們就來實際運行一下
來看看這個方法的效果呢到底如何
這邊呢是我準備的測試代碼
分別是CPU GPU各種量化版本
以及模型分層推理的代碼
爲了測試這個方法的計算效率呢
我還在這邊添加了一個函數
用來統計模型每秒呢
可以生成多少TOKEN
這裏呢我選擇了兩個模型
分別是那千問7B和14B的模型
72B的模型文件太大了
這裏呢我就不測了
留給大家呢自己去測試
這些代碼呢
大家可以在置頂留言的鏈接中找到
首先我們先來跑一下CPU版
這邊可以看到
它並不使用任何的GPU資源
CPU和內存的使用率呢還是挺高的
我們再來看一下GPU版的情況
我現在使用代碼的設備設置呢是auto
所以呢
它會自動選擇所有可用的GPU來使用
這點我們可以看到
程序自動使用了兩個GPU來運算
最後我們再來看一下分層推理版
由於7B的模型啊
在我的單張GPU上呢是可以運行的
這裏呢我使用了14B的
float 16格式的模型來測試
這裏有個地方是要注意的
如果你的機器上有多個GPU的話呢
需要設置一下只使用單個GPU
不然呢就會報錯
我們先使用單張GPU
跑一下這個14B的模型
這裏可以看到出現了顯存不足的錯誤
我再來試一下分層處理版本
我們可以看到是可以運行的
但是很明顯呢速度啊不是很快
最後呢我整理了一下對比結果
我們來看一下結果
這邊呢是模型包含7B和14B
還有不同的數據格式的
第二列呢是運行時顯存的峯值大小
然後是CPU
雙GPU單GPU以及分層推理的速度
這裏的推理速度呢
是用每秒可以生成多少個TOKEN
來進行表示的
我們先看一下7B float 16的模型的結果
只使用CPU的推理速度呢
使每秒啊只能生成1.63個TOKEN
當使用兩個GPU時
每秒生成11.65個
但是使用單個GPU
每秒生成達到36.13個
使用了分層推理呢
比使用單GPU呢略少
我們再來看一下14B的情況
單個GPU呢是沒法進行推理的
出現了內存不足的錯誤
使用分層推理後呢
可以進行推理
但這其速度呢
也只是比CPU呢略快一點
這邊呢我也列出了8位整數和4位整數
在單GPU上的推理速度
從7B模型的結果上可以看到
8位整數主要的優勢在於省顯存
它的處理速度啊沒有float 16的速度快
通過上面的結果比較呢
可以讓我們知道在進行模型推理時啊
該如何選擇GPU以及數據類型
當單張GPU的顯存足夠時呢
優先使用單張GPU
當單張GPU顯存不足時呢
選擇的順序
應該首先是float 16加多張GPU
8位整數加單GPU
4位整數加單GPU
多層推理的順序
接下來
我會繼續去調查模型部署相關的方法
如果你對模型部署方面的內容
感興趣呢
可以加入我們
專門討論大語言模型部署的共學會
加入的方法
可以參考視頻下面置頂留言中的鏈接
自己學不如一起學
感謝收看
我們下期視頻再見
