资料修改2026-09尚无逐条事实核验记录；修改日期不代表已验证

TOOLBOX / 知识库 · 科普

本文仍包含未全面复核的历史资料；安装、许可、费用与当前权限请回到官方确认。查看已核信息范围

GGUF 量化与显存速查

GGUF 是 llama.cpp 生态的量化模型格式，Ollama 与 LM Studio 都能直接加载，运行器对比见Ollama vs LM Studio。

量化等级一句话

数字越小 = 体积越小 = 显存越省，但"智商"掉得越多。

Q8_0：接近原模型质量·有显存就上

Q6_K：质量几乎无损·均衡偏质量

Q4_K_M：质量/体积均衡甜点·大多数人的默认选择

Q3 及以下：体积小但明显变笨·除非卡真的不够，慎选

估算值，以实际占用为准：

7-8B：≈ 5-6 GB·8 GB 显卡

14B：≈ 9-10 GB·12 GB 显卡

32B：≈ 19-21 GB·24 GB 显卡

70B：≈ 40 GB+·多卡/离谱配置

⚠️ 避坑：低于 Q4_K_M 的模型常出现胡说、指令不听——"能跑起来"和"能用"是两回事。

⚠️ 避坑：表里的数字是权重占用，长上下文（长对话/长文档）还要额外吃 KV cache，留 1-3 GB 余量。