测试瓜奇
测试瓜奇

暂无菜单项

首页/文档/Stable Diffusion/LoRA/
打开 MD 链接

怎么训练自己的 LoRA 模型

作者
发布于 3小时前
1

训练 LoRA 模型的核心在于用少量高质量图片让底模学会一个新概念或一种新画风。整个过程可以拆成四步:准备数据集、打标、训练、使用。

第一步:准备 20-50 张高质量训练图

LoRA 是轻量微调,10-50 张图就能出效果,但质量比数量重要。先确定你要训练什么:如果练的是一个人物,就尽量收集这个人物不同角度、表情、光线、背景的清晰图片;如果练的是一种画风,那就收集同一画风的多张作品。建议至少 20 张,50 张以内通常够用,太多反而容易过拟合。

尺寸要统一。常见做法是先把所有图裁剪或缩放到固定分辨率,比如 512×512 或 768×768,人物类可以留竖构图 512×768。注意长宽都要能被 8 整除,因为训练时会做 VAE 下采样。图片必须清晰、无模糊、无严重压缩噪点,主体突出。背景杂乱的图可以先用抠图工具处理。风格训练时,整批图的色调、笔触、构图习惯要保持一致,避免混入差异过大的作品。

第二步:用打标工具给每张图加描述标签

打标就是给每张图生成文字描述,告诉模型画面里有什么。工具可以用 BLIP 或 WD14 Tagger,kohya_ss 的图形界面里自带标注功能,操作更方便。

打标的原则是:把你不想让模型“学进去”的通用元素标出来,把你想让模型记住的特征留给触发词。比如训练人物,标签里要写清楚背景、服装、姿势、镜头角度这些会变化的元素,而人物本身的特征不写进普通标签,留给触发词去绑定。人物类通常还会加一个类别标签,比如 “1girl” 或 “1boy”,再配上 “solo” 降低多人干扰。画风训练则相反,把画风的描述词统一加上,其他描述保持简洁。

打完标后逐张检查,删掉明显错误的标签,补充漏掉的关键元素。标签之间用英文逗号分隔,顺序影响不大,但习惯上把最重要的放前面。

第三步:用 kohya_ss 设置底模和参数

kohya_ss 是当前最主流的 LoRA 训练工具,有图形界面。先选底模:要练 SD 1.5 的就载入对应的 1.5 底模,要练 SDXL 的就载入 SDXL 底模,底模决定了 LoRA 的兼容范围,选错会导致效果差或无法加载。

关键参数:学习率常用 1e-4 到 1e-5,人物和画风都可以先试 1e-4;网络维度 network_dim 设 16-64,维度越高表达能力越强但越容易过拟合,人物可用 32,画风可用 64;网络 alpha 一般设成 dimension 的一半;训练轮数 epoch 设 5-15,配合 batch size 1-2 在消费级显卡也能跑。分辨率设成和你图片一致的 512 或 768。

学习率调度器常用 cosine 或 constant,优化器用 AdamW8bit 省显存。开启混合精度 fp16、缓存 latents 能加快速度。参数不是固定的,第一次训练可以先跑小轮数看效果,再调整。

第四步:生成 LoRA 文件后配合触发词使用

训练结束后,输出目录里会得到 .safetensors 格式的 LoRA 文件,一般只有几十到一百多兆。把它放进 Stable Diffusion WebUI 的 models/Lora 目录,在提示词里用 引用,权重从 0.6 到 1.0 试起。

触发词是训练时你设定的那个独特标识,通常是人物名或画风代号。使用时必须把它写进提示词,模型才会激活对应概念。比如训练时用了 “mychar”,生成时提示词就写 “mychar, 1girl, …”。如果发现画风或人物不够明显,提高 LoRA 权重;如果出现崩坏或过度僵硬,降低权重,或者检查是不是训练图不干净或过拟合。

建议每次训练后都做几组对比测试,固定随机种子,只改 LoRA 权重,观察变化,这样能快速判断模型是否可用,也能为下一次训练积累经验。

0 / 600
细中粗
0 讨论
热门最新
总结
暂无总结
嗨,下午好!
所有的成功,都源自一个勇敢的开始
创作
社区
购物
会员
测试瓜奇
测试瓜奇
首页
产品中心优惠
扩展中心
模板中心
小店
AI导航
社区演示
文档中心
构建器夯
所有的成功,都源自一个勇敢的开始
不辜负每一个勇敢的开始
关于帮助文档FAQ协议
测试瓜奇 © 2026