如何知道一個大模型在推理和訓練時需要多少顯存?

TechDL
11粉絲
為您介紹一個大模型所需顯存的計算工具。通過它,您就可以快速瞭解一個模型是否可以在自己的顯卡上使用了。
#LLM #大模型 #accelerate #estimate-memory #GPU #顯存 #Huggingface #transformers #gemma #mistral #qwen

為您介紹一個大模型所需顯存的計算工具。通過它,您就可以快速瞭解一個模型是否可以在自己的顯卡上使用了。
#LLM #大模型 #accelerate #estimate-memory #GPU #顯存 #Huggingface #transformers #gemma #mistral #qwen
