瞬界AI 工具 · 模型资料 · 每日快讯
04知识库 · 文档

资料修改2026-09尚无逐条事实核验记录;修改日期不代表已验证

TOOLBOX / 知识库 · 训练

本文仍包含未全面复核的历史资料;安装、许可、费用与当前权限请回到官方确认。查看已核信息范围

LoRA 训练入门

想训练自己的画风 / 角色 / 让模型记住特定内容,LoRA 是最适合个人玩家的路线。这篇讲清它是什么、要什么硬件、怎么开始。

LoRA 是什么

低秩微调:不动原模型,只训练一对很小的"旁路矩阵",推理时叠加生效。

全量微调 LoRA
训练显存 极高(要训练所有参数) 大幅降低(只训小矩阵)
产物大小 与原模型相当(GB 级) 几十 MB
效果 上限最高 风格/角色/概念级任务足够
个人可行性 基本不要想 消费级显卡可做

训练显存:极高(要训练所有参数)·大幅降低(只训小矩阵)

产物大小:与原模型相当(GB 级)·几十 MB

效果:上限最高·风格/角色/概念级任务足够

个人可行性:基本不要想·消费级显卡可做

硬件门槛(经验值)

训练对象 最低显存 舒适显存
SD1.5 画风/角色 8 GB 12 GB
SDXL 10-12 GB(小 batch + 梯度检查点) 16 GB+
FLUX 系 16 GB 起(或用量化训练) 24 GB
LLM 7-8B 对话风格 12 GB(带量化/检查点) 24 GB+

SD1.5 画风/角色:8 GB·12 GB

SDXL:10-12 GB(小 batch + 梯度检查点)·16 GB+

FLUX 系:16 GB 起(或用量化训练)·24 GB

LLM 7-8B 对话风格:12 GB(带量化/检查点)·24 GB+

⚠️ 避坑:门槛数字的前提都带"小 batch + 梯度检查点(gradient checkpointing)+ 混合精度"——不开这些,同样显存直接 OOM。

数据集准备(决定成败的大头)

  • 数量:15-30 张好图起步(画风类 50+ 更好);质量 >> 数量;
  • 多样性:同一主体要覆盖角度 / 光线 / 背景 / 构图的变化——全是同一姿势会导致模型只会画那个姿势;
  • 打标:自动打标(BLIP 类)打底 + 手工检查修正——把"你想让模型学的东西"和"不想学的背景"分开标注,是防过拟合的核心操作。

关键参数速览

参数 常用范围 说明
学习率 1e-4 量级(画图)/ 更小(LLM) 太大=画面崩坏,太小=学不进去
rank(维度) 8-32 风格 16 左右起步,角色/概念适当加大
训练步数 按素材量 × 目标 epoch 估 过拟合最常见的来源是步数过多
正则图 可选 防画面崩坏,素材过硬时可不加

学习率:1e-4 量级(画图)/ 更小(LLM)·太大=画面崩坏,太小=学不进去

rank(维度):8-32·风格 16 左右起步,角色/概念适当加大

训练步数:按素材量 × 目标 epoch 估·过拟合最常见的来源是步数过多

正则图:可选·防画面崩坏,素材过硬时可不加

⚠️ 避坑:不要迷信"多训一会儿更好"——过拟合的典型症状是只会复现训练集(构图/姿势全像素材原图);宁可步数少一点,效果不行再加。

工具路线

  • 画图(SD 系):kohya 系训练脚本 / 各类一体化 GUI 训练包;
  • LLM 系:LLaMA-Factory 类微调框架(统管各家开源模型);
  • 训练与推理不要在同一个显存池硬挤——训完关掉训练进程再出图。

判断练得好不好

  1. 用没见过的组合提示词测试(新姿势 + 你的风格)——像 = 学到了;
  2. 直接复现训练集 = 过拟合(降步数/加正则);
  3. 怎么都不像 = 欠拟合(加步数/查打标/查学习率)。

相关