瞬界AI 工具 · 模型资料 · 每日快讯
04本地部署 · 文档

资料修改2026-09尚无逐条事实核验记录;修改日期不代表已验证

TOOLBOX / 本地部署 · 大模型

本文仍包含未全面复核的历史资料;安装、许可、费用与当前权限请回到官方确认。查看已核信息范围

LLM 本地部署

在自己电脑上跑开源大模型,两款主流运行器任选其一:命令行的 Ollama,图形界面的 LM Studio,两者都吃 GGUF 格式。

怎么选

  • LM Studio:图形界面,新手友好,搜索-下载-对话全程点鼠标;额外支持 Apple 芯片的 MLX 格式。
  • Ollama:命令行 + 本地 API 生态,一条命令跑模型,适合给应用当后端或做批处理。

新手路线:先用 LM Studio 图形界面感受本地模型,等需要 API 调用或批量处理,再上 Ollama。

用法

LM Studio:官网下载安装包,界面内搜索模型、下载、点开即聊,无需命令行。

Ollama:官网下载安装包,装好后一条命令拉模型并运行:

ollama run qwen3:8b

装完即自带本地 API,可直接给本地应用当模型后端。

要点

  • 两款都主吃 GGUF 量化格式;选哪个量化档位看显存,对照GGUF 量化知识。
  • 模型去哪下:Hugging Face、魔搭或模型官方渠道,直达链接见模型权重直达。

更新

  • Ollama:Windows 版自动检查更新,也可重新下载安装包覆盖安装。
  • LM Studio:应用内提示更新,一键升级。

⚠️ 避坑:两款工具默认把模型下到用户目录(通常在 C 盘),大模型动辄几个 GB——Ollama 设置环境变量 OLLAMA_MODELS、LM Studio 在设置里改 Models 目录,把存储路径挪到数据盘。

⚠️ 避坑:只从 Hugging Face、魔搭或模型官方渠道下载模型,第三方"网盘整合版"可能被塞进挖矿程序或后门。

相关