跳到正文
原文
Show HN· sheephess44·· 11 天前AI 评分35

LLM GPU兼容性评测:117个模型VRAM实测

Show HN: What LLM fits my GPU? – VRAM measured on real hardware for 117 models

AI 导读

评测了117个LLM模型的GPU兼容性,包括Llama 3.1、Qwen3、MiniCPM-V等,并提供了VRAM占用情况。例如,Llama 3.1 8B模型在RTX 4090上运行时,VRAM占用约为5.4GB。评测还比较了不同模型在4K分辨率下的性能,并讨论了4位量化对模型性能的影响。

来源:Show HN · quantized.uk