實測2360億參數的最大開源大模型DeepSeek V2,學生黨一樣可以玩兒

TechDL
11粉絲
11 次觀看·2024年6月3日
實測一下最大的開源大模型DeepSeek-v2,來看看這個2360億參數的大模型運行需要多少顯存。
AI開發前途無限
歡迎來到AI開發者的頻道
今天呢爲你介紹一個目前爲止開源模型當中最大的一個模型
它呢是擁有2360億(口誤)參數的deepseek V2模型
我們今天呢一起來看看這款模型到底需要多少顯存纔可以運行起來
最後再來說說爲什麼這是一款學生黨也可以玩的超級大的模型
DeepSeek第二版的這個V2模型呢
它也是在5月份剛剛開源的
它的總的參數量呢是2,360億
這個模型呢它是一個混合專家模型
根據官方的說法呢
這個模型推理時的激活參數量呢只有21B
這個模型在這個推理方面也做了不少的改進
所以推理的速度呢還是比較快的
那麼今天呢我們就來看一下這個模型
看看它在本地運行是個什麼樣的情況
這邊呢是Huggingface上這個模型的一個介紹
從這邊我們可以看到這個模型的參數是非常多的
這個模型下載完之後呢大於是佔440G的空間
我們可以使用這個代碼在本地機器上來運行這個模型
我們把這個代碼呢拷貝過來
首先我們先使用一下這個FLOAT 16的數據格式
我們來運行一下看看
看看它到底需要多少的GPU顯存
這個模型的加載就需要花很長的時間
我這一次只加載這個模型呢大約就花了30分鐘的時間
好到這裏你可以看到它已經加載完成了
下面呢就是推理
推理時我們可以看到這個GPU的佔用
比例是非常低的
甚至都不到10%
推理的速度呢看起來還是挺快的
很快就結束了
這邊呢我統計了一下這次運行呢最高的這個顯存峯值呢是大約在490G左右
也就是說呢
這個float 16數據格式的這個大模型要運行起來至少需要7張80G顯存的顯卡
這個佔用量呢還真是挺大的
那下面呢
我又試了一下這個4 bit量化的一個版本運行的情況
這個呢他佔用的顯存呢就小多了
我實際測了一下呢
他大約佔用是139個G的顯存
這樣的話呢
24G顯存的顯卡的比如說4096
只需要6張呢就可以跑起來
如果是48G顯存的這種A6000(口誤)顯卡的話呢
只需要三張他也可以跑起來
但即便如此呢
也不是我們學生黨可以玩起來
那爲什麼說學生黨一樣可以玩轉這個大模型呢
這個呢主要是因爲這個模型它提供的有這個API的訪問方式
並且呢它的價格超低
費用只有GPT4模型的1%
並且你新註冊的話呢
還送你500萬的TOKEN
免費來用
如果你想了解如何註冊使用的話呢
可以看我文檔中的介紹
這邊呢我還順便呢
與這個GPT4進行了一下對比
至少在這個問題上
他回答的比GPT4呢回答的還正確
這個模型可以非常容易的集成到這個LangChain當中去
因爲它呢是完全兼容的
是open AI的接口
根據官方給的這個代碼
這甚至都不叫兼容
而是直接使用了open ai的接口
技術文檔呢我放到了置頂評論當中了
感興趣的小夥伴呢可以去看一看試一下
好了今天的分享呢就到這裏
感謝收看
我們下期視頻再見
