小顯卡玩轉大模型,模型分層推理法

TechDL
TechDL
11粉絲
2 次觀看·2024年3月17日  #LLM #qwen #大模型

本期視頻為您介紹模型分層推理法,它可以讓您在小顯存GPU上運行大模型。快來看看我在7B和14B模型上的測試結果吧!

0:00 內容介紹
0:57 模型分層法
2:51 推理速度評測
6:09 總結與模型推理設置

#LLM #qwen #大模型 #推理 #Inference #Huggingface