资料修改2026-09尚无逐条事实核验记录；修改日期不代表已验证

TOOLBOX / 本地部署 · 推理服务

本文仍包含未全面复核的历史资料；安装、许可、费用与当前权限请回到官方确认。查看已核信息范围

vLLM

高吞吐 LLM 推理服务框架（PagedAttention）：面向生产 API 场景，多并发下吞吐远高于单机 UI 工具。 仓库：https://github.com/vllm-project/vllm · 文档：https://docs.vllm.ai

硬件门槛（12 GB 显存视角）

• 12 GB 可跑 7B-14B 量化模型。
• 注意 --gpu-memory-utilization 默认预留比例高，小显存要显式调低。

安装

Linux（官方主路线）

pip install vllm

Windows

• 原生不支持——官方路线是 WSL2。
• 社区有第三方 Windows 原生 wheel 包（非官方，稳定性自担）。

适用场景

• 需要 OpenAI 兼容 API、多路并发调用、批量推理时选它。
• 个人单机玩玩聊天：用 Ollama / LM Studio 更省事（见 LLM 本地部署）。

⚠️ 避坑：①Windows 原生安装不稳定是常态，方案首选 WSL2； ②显存预分配策略激进——小卡启动报 OOM 时先调 --gpu-memory-utilization； ③CUDA 版本需与驱动匹配（见 CUDA 版本匹配）。