土司LoRA模型训练个人经验总结
对于新手炼丹师来说,看到喜欢的 图 和风格就想自己练个模型来用,那么就用到LORA训练了!
首先明确自己需要训练什么类型的LoRA,看你喜欢的是什么:看到一张美图,你到底喜欢的是哪些,想练的就朝喜欢的方向去。粗略分成:人物角色、画风/风格、概念、服饰、物体/特定元素(光、暗、火冰,色系等)etc。
其次是收集素材。按照你喜欢的元素去收集,对照上面的喜欢的分类去收集素材,不是越多越好,一般建议20张左右即可。素材要求:高清,不同角度,不同背景,不同姿势,不同服饰,清晰无遮挡的图片,关键是高清!!!所以炼实物的请找这个物件自己拍照最好。
第三步是处理素材,当然主要靠PS啦。不会PS就剪裁吧!清理不喜欢的东西,保留需要的高清部分。模糊、文字等不建议放入。

第四步生成/优化标签(可选),土司网站上传后就自动打标签,所以不再多说,用工具即可(建议保留个txt文件,方便校验核对LORA效果)。你要自己打标签的就是同图片,同TXT文件包成 .ZIP 文件上传即可,如FLUX、SD3.5用自然语言描述的就要打包。

第五步触发词:选个个性化的英文词(要翻译器不认识的!!!),将触发词添加进每个图的标签里(见下图)。

第六步选择训练LoRA使用的大模型:目前有SD1、SDXL、PONY、FLUX、SD3.5(这里的算力价格由低到高),其他如(混元、可图等),可选 中间 出样图(魔法词汇,请参考 前面 某个图的标签),没有也无所谓的,这里就略过了。

第七步开始训练,在网站上炼就是消耗算力,高低扣除后,就是排队等候训练,让后训练中看看进度条,看看中间的样图...这个时间会比较久,慢慢等待就好。(一般扔进去,等一个晚上就好了)
第八步,当然收获一堆炼丹结果,开始测试模型啦!
从训练好的LoRA模型队列中,找出最后一个文件下载,当然(中间的也可以),本地SD/ComfyUI放到文件夹(sd-webui-aki/models/lora)中,刷新后就可以在SD中看到你训练的那个模型,FLUX/SD3.5就要先上传发布,可以先发个私用,再生图。
按照自己图的TXT的标签,对好炼丹底模,通过不同权重去核对LORA效果,是不是很像??!!
----------------
以下经验:SD1的比较像,图形模糊(对应好底模出图)
SDXL:找对底模,基本很像,清晰度一般
PONY:NSFW利器,就是比较模糊,皮肤是3D硅胶的,没法看汗毛、毛孔的那种
FLUX:高清但是不像,除非用F1.dev-F16的,才有点像。太耗显存了,网站都只用F8的,所以不像,经常输出2D图,累~
SD3.5:风格比较像,清晰度也可以,无法NSFW