资料修改2026-09尚无逐条事实核验记录；修改日期不代表已验证
本文仍包含未全面复核的历史资料；安装、许可、费用与当前权限请回到官方确认。查看已核信息范围
llama.cpp
底层高效 LLM 推理引擎：GGUF 量化生态的源头，CPU / CUDA / Vulkan / ROCm / Metal 全覆盖， 自带 OpenAI 兼容 server——大量本地工具（Ollama 等）的底座就是它。 仓库：https://github.com/ggml-org/llama.cpp
硬件门槛（12 GB 显存视角）
- 12 GB 可把 7B-14B 的 Q4 / Q5 量化全层放 GPU（
-ngl控制层数）。 - 纯 CPU 也能跑（慢），核显 / 亮机卡可走 Vulkan 后端。
Windows 安装
- 官方预编译包（CUDA / Vulkan 版），解压即用——最省事。
- winget / conda 也有分发；进阶可源码 cmake + VS 编译。
用法要点
- 命令行：
llama-cli（对话）/llama-server（API 服务，OpenAI 兼容）。 - 上下文长度用
-c调，超长上下文显存占用涨得快。
⚠️ 避坑：①预编译包要选对显卡架构版本（CUDA / Vulkan / CPU），下错等于没加速； ②CUDA 版要求驱动版本匹配；③
-ngl全放 GPU 时留意 KV Cache 也吃显存，长上下文先从-c4096 起试。