资料修改2026-09尚无逐条事实核验记录;修改日期不代表已验证
本文仍包含未全面复核的历史资料;安装、许可、费用与当前权限请回到官方确认。查看已核信息范围
LoRA 训练入门
想训练自己的画风 / 角色 / 让模型记住特定内容,LoRA 是最适合个人玩家的路线。这篇讲清它是什么、要什么硬件、怎么开始。
LoRA 是什么
低秩微调:不动原模型,只训练一对很小的"旁路矩阵",推理时叠加生效。
| 全量微调 | LoRA | |
|---|---|---|
| 训练显存 | 极高(要训练所有参数) | 大幅降低(只训小矩阵) |
| 产物大小 | 与原模型相当(GB 级) | 几十 MB |
| 效果 | 上限最高 | 风格/角色/概念级任务足够 |
| 个人可行性 | 基本不要想 | 消费级显卡可做 |
训练显存:极高(要训练所有参数)·大幅降低(只训小矩阵)
产物大小:与原模型相当(GB 级)·几十 MB
效果:上限最高·风格/角色/概念级任务足够
个人可行性:基本不要想·消费级显卡可做
硬件门槛(经验值)
| 训练对象 | 最低显存 | 舒适显存 |
|---|---|---|
| SD1.5 画风/角色 | 8 GB | 12 GB |
| SDXL | 10-12 GB(小 batch + 梯度检查点) | 16 GB+ |
| FLUX 系 | 16 GB 起(或用量化训练) | 24 GB |
| LLM 7-8B 对话风格 | 12 GB(带量化/检查点) | 24 GB+ |
SD1.5 画风/角色:8 GB·12 GB
SDXL:10-12 GB(小 batch + 梯度检查点)·16 GB+
FLUX 系:16 GB 起(或用量化训练)·24 GB
LLM 7-8B 对话风格:12 GB(带量化/检查点)·24 GB+
⚠️ 避坑:门槛数字的前提都带"小 batch + 梯度检查点(gradient checkpointing)+ 混合精度"——不开这些,同样显存直接 OOM。
数据集准备(决定成败的大头)
- 数量:15-30 张好图起步(画风类 50+ 更好);质量 >> 数量;
- 多样性:同一主体要覆盖角度 / 光线 / 背景 / 构图的变化——全是同一姿势会导致模型只会画那个姿势;
- 打标:自动打标(BLIP 类)打底 + 手工检查修正——把"你想让模型学的东西"和"不想学的背景"分开标注,是防过拟合的核心操作。
关键参数速览
| 参数 | 常用范围 | 说明 |
|---|---|---|
| 学习率 | 1e-4 量级(画图)/ 更小(LLM) | 太大=画面崩坏,太小=学不进去 |
| rank(维度) | 8-32 | 风格 16 左右起步,角色/概念适当加大 |
| 训练步数 | 按素材量 × 目标 epoch 估 | 过拟合最常见的来源是步数过多 |
| 正则图 | 可选 | 防画面崩坏,素材过硬时可不加 |
学习率:1e-4 量级(画图)/ 更小(LLM)·太大=画面崩坏,太小=学不进去
rank(维度):8-32·风格 16 左右起步,角色/概念适当加大
训练步数:按素材量 × 目标 epoch 估·过拟合最常见的来源是步数过多
正则图:可选·防画面崩坏,素材过硬时可不加
⚠️ 避坑:不要迷信"多训一会儿更好"——过拟合的典型症状是只会复现训练集(构图/姿势全像素材原图);宁可步数少一点,效果不行再加。
工具路线
- 画图(SD 系):kohya 系训练脚本 / 各类一体化 GUI 训练包;
- LLM 系:LLaMA-Factory 类微调框架(统管各家开源模型);
- 训练与推理不要在同一个显存池硬挤——训完关掉训练进程再出图。
判断练得好不好
- 用没见过的组合提示词测试(新姿势 + 你的风格)——像 = 学到了;
- 直接复现训练集 = 过拟合(降步数/加正则);
- 怎么都不像 = 欠拟合(加步数/查打标/查学习率)。
相关
- 显存账本:显存与量化进阶
- 环境版本坑:CUDA 与框架版本匹配