资料修改2026-09尚无逐条事实核验记录;修改日期不代表已验证
本文仍包含未全面复核的历史资料;安装、许可、费用与当前权限请回到官方确认。查看已核信息范围
本地部署厂商地图(国产 / 美国 / 欧洲)
能不能"本地跑",取决于权重是否放出来——与厂商名气无关。本文按产地分三栏,横向对照各家官网、权重渠道、许可与本地部署路径;具体运行器与量化档位见 Ollama vs LM Studio 与 GGUF 量化与显存。
先分清两件事
| 开源权重(真本地) | 桌面端客户端(伪本地) | |
|---|---|---|
| 例子 | Llama / Qwen / DeepSeek / Gemma / Mistral | ChatGPT 桌面端、Claude 桌面端 |
| 推理在哪 | 你自己的机器(显卡/内存说了算) | 厂商云端,界面只是入口 |
| 断网可用 | 可以 | 不行 |
| 数据去向 | 不出本机 | 上传云端 |
例子:Llama / Qwen / DeepSeek / Gemma / Mistral·ChatGPT 桌面端、Claude 桌面端
推理在哪:你自己的机器(显卡/内存说了算)·厂商云端,界面只是入口
断网可用:可以·不行
数据去向:不出本机·上传云端
⚠️ 避坑:判断"能不能本地部署"只看一条——权重能不能下载。装了桌面客户端不等于本地推理,隐私与离线能力完全是两回事。
通用工具层(三地通用)
- 运行器:Ollama(最省事,一条命令 + OpenAI 兼容 API)、LM Studio(图形界面,新手友好)、llama.cpp(极致量化与性能控制)、vLLM(多用户生产环境)。
- 桌面聊天前端:Jan、Open WebUI(浏览器界面,可多用户)、Atomic Chat 等,多数直接对接上面的运行器。
- 权重来源:Hugging Face 组织页是主渠道,国内访问见 HF 与国内镜像;下载加速与校验见 下载加速与续传。
- 硬件门槛:量化后的 7B–30B 级模型,消费级显卡或 16 GB 以上内存可跑;千亿级 MoE 通常要多卡或大内存工作站,显存账见 显存与量化进阶。
一、国产(权重开放度与下载量领先)
| 厂商 | 代表系列 | 官网 / 权重 | 许可 | 本地路径 |
|---|---|---|---|---|
| DeepSeek 深度求索 | V 系列、R1 蒸馏版 | deepseek.com · HF deepseek-ai | MIT | Ollama 一条命令、LM Studio、vLLM 均可 |
| 阿里 Qwen 通义千问 | 全尺寸稠密 + 多模态 | qwenlm.github.io · HF Qwen | Apache 2.0(中小尺寸为主) | Ollama / LM Studio / vLLM 全支持 |
| 月之暗面 Kimi | K 系列(长上下文见长) | moonshot.cn | 部分开放 | Ollama 与社区工具 |
| 智谱 GLM | GLM 系列 | zhipuai.cn · z.ai | MIT | Ollama 与主流工具,国产硬件有适配 |
| MiniMax | 多模态与编码 | minimax.io | 部分开放 | 社区工具;开放面小于 DeepSeek/Qwen |
| 小米 MiMo | 路由/编码流量表现突出 | 小米开源页 | 开放选项 | 社区工具 |
| 腾讯混元 / 百度 ERNIE / 字节豆包 | 各自旗舰 | 各自官网 | 部分开源,旗舰仍以云端优先 | 视具体型号 |
DeepSeek 深度求索:V 系列、R1 蒸馏版·deepseek.com · HF deepseek-ai·MIT·Ollama 一条命令、LM Studio、vLLM 均可
阿里 Qwen 通义千问:全尺寸稠密 + 多模态·qwenlm.github.io · HF Qwen·Apache 2.0(中小尺寸为主)·Ollama / LM Studio / vLLM 全支持
月之暗面 Kimi:K 系列(长上下文见长)·moonshot.cn·部分开放·Ollama 与社区工具
智谱 GLM:GLM 系列·zhipuai.cn · z.ai·MIT·Ollama 与主流工具,国产硬件有适配
MiniMax:多模态与编码·minimax.io·部分开放·社区工具;开放面小于 DeepSeek/Qwen
小米 MiMo:路由/编码流量表现突出·小米开源页·开放选项·社区工具
腾讯混元 / 百度 ERNIE / 字节豆包:各自旗舰·各自官网·部分开源,旗舰仍以云端优先·视具体型号
社区共识:成本、中文能力、本地可控性是国产开源的三张牌,Ollama 库覆盖也比较完整。想少折腾就选 DeepSeek 或 Qwen——教程、量化版本、微调工具适配最全。
二、美国(工具链最成熟)
| 厂商 | 代表系列 | 官网 / 权重 | 许可 | 本地路径 |
|---|---|---|---|---|
| Meta | Llama 系列(含多模态、长上下文变体) | llama.com · HF meta-llama | 社区许可(需接受条款) | Ollama / LM Studio / llama.cpp / Transformers |
| Gemma 系列(含轻量边缘版) | ai.google.dev/gemma · HF google | Apache 2.0 类 | Ollama 一键;LiteRT 亦兼容 | |
| Microsoft | Phi 系列(小模型) | microsoft.com · HF | MIT 类 | Ollama / LM Studio,低配友好 |
| Nvidia | Nemotron 系列 | nvidia.com | 开放权重 | TensorRT-LLM / vLLM 优化,Ollama 亦支持 |
| 其他 | Thinking Machines「Inkling」、Arcee、Poolside | 各自渠道 | 差异较大 | HF + 主流工具 |
| OpenAI / Anthropic | gpt-oss 等有限开源 / 桌面端 | — | 有限 | OpenAI 有少量开源尝试;两家桌面端仍依赖云端 |
Meta:Llama 系列(含多模态、长上下文变体)·llama.com · HF meta-llama·社区许可(需接受条款)·Ollama / LM Studio / llama.cpp / Transformers
Google:Gemma 系列(含轻量边缘版)·ai.google.dev/gemma · HF google·Apache 2.0 类·Ollama 一键;LiteRT 亦兼容
Microsoft:Phi 系列(小模型)·microsoft.com · HF·MIT 类·Ollama / LM Studio,低配友好
Nvidia:Nemotron 系列·nvidia.com·开放权重·TensorRT-LLM / vLLM 优化,Ollama 亦支持
其他:Thinking Machines「Inkling」、Arcee、Poolside·各自渠道·差异较大·HF + 主流工具
OpenAI / Anthropic:gpt-oss 等有限开源 / 桌面端·—·有限·OpenAI 有少量开源尝试;两家桌面端仍依赖云端
社区共识:生态最成熟——教程、量化、微调几乎都优先适配 Llama 系;但旗舰更新节奏放缓,部分开发者转向性能更高的国产开源。Nvidia 的优势与自家硬件强绑定,适合已有卡的高吞吐场景。
三、欧洲(主权与合规为卖点)
| 厂商 | 代表系列 | 官网 | 定位 |
|---|---|---|---|
| Mistral AI | Mistral / Ministral 系列 | mistral.ai · HF mistralai | 欧洲开源旗舰:Apache 2.0、效率高、小模型边缘友好 |
| Aleph Alpha | Pharia 系列 | aleph-alpha.com | 德国主权 AI,on-prem 与受监管行业;公开消费级权重少 |
| LightOn | 文档与主权模型 | lighton.ai | 支持本地与**气隙(air-gapped)**部署 |
| Kyutai | 语音与文本 | kyutai.org | 研究导向的开源尝试 |
Mistral AI:Mistral / Ministral 系列·mistral.ai · HF mistralai·欧洲开源旗舰:Apache 2.0、效率高、小模型边缘友好
Aleph Alpha:Pharia 系列·aleph-alpha.com·德国主权 AI,on-prem 与受监管行业;公开消费级权重少
LightOn:文档与主权模型·lighton.ai·支持本地与**气隙(air-gapped)**部署
Kyutai:语音与文本·kyutai.org·研究导向的开源尝试
欧洲整体规模小但方向清晰:数据主权 + GDPR 合规 + 欧盟境内基础设施。要进受监管行业、又不想用美中模型时,Mistral 是首选;普通开发者可先把它当"小尺寸高质量"选项用。
选型速查
| 你的诉求 | 先看谁 |
|---|---|
| 零折腾跑起来 | DeepSeek / Qwen / Llama / Gemma / Mistral + Ollama 或 LM Studio |
| 中文与性价比 | DeepSeek、Qwen、GLM、Kimi |
| 微调与衍生生态 | Qwen、Llama |
| 低配/边缘设备 | Gemma 轻量版、Phi、Ministral |
| 高吞吐本地服务 | vLLM + Nvidia Nemotron / 大尺寸 Qwen |
| 合规与数据主权 | Mistral、Aleph Alpha |
零折腾跑起来:DeepSeek / Qwen / Llama / Gemma / Mistral + Ollama 或 LM Studio
中文与性价比:DeepSeek、Qwen、GLM、Kimi
微调与衍生生态:Qwen、Llama
低配/边缘设备:Gemma 轻量版、Phi、Ministral
高吞吐本地服务:vLLM + Nvidia Nemotron / 大尺寸 Qwen
合规与数据主权:Mistral、Aleph Alpha
⚠️ 避坑:模型迭代极快——本文只给"渠道与定位",具体版本号、上下文长度、许可细则一律以官方发布页为准,别拿旧文当版本表用。
⚠️ 避坑:同名系列的不同尺寸许可可能不同(如部分 Qwen 尺寸为 Apache 2.0、更大的另有条款),商用前逐个确认。
⚠️ 避坑:本地部署的第一道坎不是模型而是存储与显存:权重动辄数十 GB,默认下载目录常落在系统盘——先用 HF 与国内镜像 与 下载加速与续传 把路径与下载搞定。
相关
- 只能调 API 的那一半:闭源厂商地图(美国 / 中国 / 欧洲)
- 两款主流运行器怎么选:Ollama vs LM Studio
- 权重从哪下、国内怎么快:HF 与国内镜像
- 量化档位与显存账:GGUF 量化与显存、显存与量化进阶
- 装机清单与目录规划:LLM 本地部署
- 更多开源模型一览:更多开源选择