瞬界AI 工具 · 模型资料 · 每日快讯
04知识库 · 文档

资料修改2026-09尚无逐条事实核验记录;修改日期不代表已验证

TOOLBOX / 知识库 · 选型

本文仍包含未全面复核的历史资料;安装、许可、费用与当前权限请回到官方确认。查看已核信息范围

本地部署厂商地图(国产 / 美国 / 欧洲)

能不能"本地跑",取决于权重是否放出来——与厂商名气无关。本文按产地分三栏,横向对照各家官网、权重渠道、许可与本地部署路径;具体运行器与量化档位见 Ollama vs LM Studio 与 GGUF 量化与显存。

先分清两件事

开源权重(真本地) 桌面端客户端(伪本地)
例子 Llama / Qwen / DeepSeek / Gemma / Mistral ChatGPT 桌面端、Claude 桌面端
推理在哪 你自己的机器(显卡/内存说了算) 厂商云端,界面只是入口
断网可用 可以 不行
数据去向 不出本机 上传云端

例子:Llama / Qwen / DeepSeek / Gemma / Mistral·ChatGPT 桌面端、Claude 桌面端

推理在哪:你自己的机器(显卡/内存说了算)·厂商云端,界面只是入口

断网可用:可以·不行

数据去向:不出本机·上传云端

⚠️ 避坑:判断"能不能本地部署"只看一条——权重能不能下载。装了桌面客户端不等于本地推理,隐私与离线能力完全是两回事。

通用工具层(三地通用)

  • 运行器:Ollama(最省事,一条命令 + OpenAI 兼容 API)、LM Studio(图形界面,新手友好)、llama.cpp(极致量化与性能控制)、vLLM(多用户生产环境)。
  • 桌面聊天前端:Jan、Open WebUI(浏览器界面,可多用户)、Atomic Chat 等,多数直接对接上面的运行器。
  • 权重来源:Hugging Face 组织页是主渠道,国内访问见 HF 与国内镜像;下载加速与校验见 下载加速与续传。
  • 硬件门槛:量化后的 7B–30B 级模型,消费级显卡或 16 GB 以上内存可跑;千亿级 MoE 通常要多卡或大内存工作站,显存账见 显存与量化进阶。

一、国产(权重开放度与下载量领先)

厂商 代表系列 官网 / 权重 许可 本地路径
DeepSeek 深度求索 V 系列、R1 蒸馏版 deepseek.com · HF deepseek-ai MIT Ollama 一条命令、LM Studio、vLLM 均可
阿里 Qwen 通义千问 全尺寸稠密 + 多模态 qwenlm.github.io · HF Qwen Apache 2.0(中小尺寸为主) Ollama / LM Studio / vLLM 全支持
月之暗面 Kimi K 系列(长上下文见长) moonshot.cn 部分开放 Ollama 与社区工具
智谱 GLM GLM 系列 zhipuai.cn · z.ai MIT Ollama 与主流工具,国产硬件有适配
MiniMax 多模态与编码 minimax.io 部分开放 社区工具;开放面小于 DeepSeek/Qwen
小米 MiMo 路由/编码流量表现突出 小米开源页 开放选项 社区工具
腾讯混元 / 百度 ERNIE / 字节豆包 各自旗舰 各自官网 部分开源,旗舰仍以云端优先 视具体型号

DeepSeek 深度求索:V 系列、R1 蒸馏版·deepseek.com · HF deepseek-ai·MIT·Ollama 一条命令、LM Studio、vLLM 均可

阿里 Qwen 通义千问:全尺寸稠密 + 多模态·qwenlm.github.io · HF Qwen·Apache 2.0(中小尺寸为主)·Ollama / LM Studio / vLLM 全支持

月之暗面 Kimi:K 系列(长上下文见长)·moonshot.cn·部分开放·Ollama 与社区工具

智谱 GLM:GLM 系列·zhipuai.cn · z.ai·MIT·Ollama 与主流工具,国产硬件有适配

MiniMax:多模态与编码·minimax.io·部分开放·社区工具;开放面小于 DeepSeek/Qwen

小米 MiMo:路由/编码流量表现突出·小米开源页·开放选项·社区工具

腾讯混元 / 百度 ERNIE / 字节豆包:各自旗舰·各自官网·部分开源,旗舰仍以云端优先·视具体型号

社区共识:成本、中文能力、本地可控性是国产开源的三张牌,Ollama 库覆盖也比较完整。想少折腾就选 DeepSeek 或 Qwen——教程、量化版本、微调工具适配最全。

二、美国(工具链最成熟)

厂商 代表系列 官网 / 权重 许可 本地路径
Meta Llama 系列(含多模态、长上下文变体) llama.com · HF meta-llama 社区许可(需接受条款) Ollama / LM Studio / llama.cpp / Transformers
Google Gemma 系列(含轻量边缘版) ai.google.dev/gemma · HF google Apache 2.0 类 Ollama 一键;LiteRT 亦兼容
Microsoft Phi 系列(小模型) microsoft.com · HF MIT 类 Ollama / LM Studio,低配友好
Nvidia Nemotron 系列 nvidia.com 开放权重 TensorRT-LLM / vLLM 优化,Ollama 亦支持
其他 Thinking Machines「Inkling」、Arcee、Poolside 各自渠道 差异较大 HF + 主流工具
OpenAI / Anthropic gpt-oss 等有限开源 / 桌面端 — 有限 OpenAI 有少量开源尝试;两家桌面端仍依赖云端

Meta:Llama 系列(含多模态、长上下文变体)·llama.com · HF meta-llama·社区许可(需接受条款)·Ollama / LM Studio / llama.cpp / Transformers

Google:Gemma 系列(含轻量边缘版)·ai.google.dev/gemma · HF google·Apache 2.0 类·Ollama 一键;LiteRT 亦兼容

Microsoft:Phi 系列(小模型)·microsoft.com · HF·MIT 类·Ollama / LM Studio,低配友好

Nvidia:Nemotron 系列·nvidia.com·开放权重·TensorRT-LLM / vLLM 优化,Ollama 亦支持

其他:Thinking Machines「Inkling」、Arcee、Poolside·各自渠道·差异较大·HF + 主流工具

OpenAI / Anthropic:gpt-oss 等有限开源 / 桌面端·—·有限·OpenAI 有少量开源尝试;两家桌面端仍依赖云端

社区共识:生态最成熟——教程、量化、微调几乎都优先适配 Llama 系;但旗舰更新节奏放缓,部分开发者转向性能更高的国产开源。Nvidia 的优势与自家硬件强绑定,适合已有卡的高吞吐场景。

三、欧洲(主权与合规为卖点)

厂商 代表系列 官网 定位
Mistral AI Mistral / Ministral 系列 mistral.ai · HF mistralai 欧洲开源旗舰:Apache 2.0、效率高、小模型边缘友好
Aleph Alpha Pharia 系列 aleph-alpha.com 德国主权 AI,on-prem 与受监管行业;公开消费级权重少
LightOn 文档与主权模型 lighton.ai 支持本地与**气隙(air-gapped)**部署
Kyutai 语音与文本 kyutai.org 研究导向的开源尝试

Mistral AI:Mistral / Ministral 系列·mistral.ai · HF mistralai·欧洲开源旗舰:Apache 2.0、效率高、小模型边缘友好

Aleph Alpha:Pharia 系列·aleph-alpha.com·德国主权 AI,on-prem 与受监管行业;公开消费级权重少

LightOn:文档与主权模型·lighton.ai·支持本地与**气隙(air-gapped)**部署

Kyutai:语音与文本·kyutai.org·研究导向的开源尝试

欧洲整体规模小但方向清晰:数据主权 + GDPR 合规 + 欧盟境内基础设施。要进受监管行业、又不想用美中模型时,Mistral 是首选;普通开发者可先把它当"小尺寸高质量"选项用。

选型速查

你的诉求 先看谁
零折腾跑起来 DeepSeek / Qwen / Llama / Gemma / Mistral + Ollama 或 LM Studio
中文与性价比 DeepSeek、Qwen、GLM、Kimi
微调与衍生生态 Qwen、Llama
低配/边缘设备 Gemma 轻量版、Phi、Ministral
高吞吐本地服务 vLLM + Nvidia Nemotron / 大尺寸 Qwen
合规与数据主权 Mistral、Aleph Alpha

零折腾跑起来:DeepSeek / Qwen / Llama / Gemma / Mistral + Ollama 或 LM Studio

中文与性价比:DeepSeek、Qwen、GLM、Kimi

微调与衍生生态:Qwen、Llama

低配/边缘设备:Gemma 轻量版、Phi、Ministral

高吞吐本地服务:vLLM + Nvidia Nemotron / 大尺寸 Qwen

合规与数据主权:Mistral、Aleph Alpha

⚠️ 避坑:模型迭代极快——本文只给"渠道与定位",具体版本号、上下文长度、许可细则一律以官方发布页为准,别拿旧文当版本表用。

⚠️ 避坑:同名系列的不同尺寸许可可能不同(如部分 Qwen 尺寸为 Apache 2.0、更大的另有条款),商用前逐个确认。

⚠️ 避坑:本地部署的第一道坎不是模型而是存储与显存:权重动辄数十 GB,默认下载目录常落在系统盘——先用 HF 与国内镜像 与 下载加速与续传 把路径与下载搞定。

相关