对真人照片lora训练集预处理经验

werran

说两句对真人照片lora训练集预处理经验。
1.可以有多个角度的样本，但各个角度的样本数最好差不多（正脸可以多些），以保证不同角度的在训练中的权重。
2.样本数量并不需要太多，一般来说 ，真人有20张左右就非常富裕了，实际上当单独的照片足够清晰的时候，一到两张照片就能够提供绰绰有余的特征细节。
3.不需要多少的tag，因为lora模型本身就已经是最重要的特征描述了，建议tag删光，就留1girl就足够了，加太多的tag会导致在出图时让底包模型里的其他tag污染lora里的特征，这也是很多人训练出模型不像的最重要原因。另外在训练时我发现，似乎再再添加一个姓名tag，能够提高出图的稳定性（但这很可能是错觉，不过添加并没有坏处）。
4.如果找到的照片中有很多样本都具备一些共有特征，比如戴眼镜，戴项链，戴耳环，侧脸等，还是建议打上对应的tag，这样在出图的时候，能够减少对面部特征的影响。如果不打，很可能会导致每张图都有一样的特征（比如都戴耳环）。
5.样本集的选择上，如果是要提取面部的话，以证件照的景别为主，建议添加几张半身照，在出图时可以添加profile shoot类似的负面tag来避免出图都是证件照。
暂时就这么多，另外用[color=var(--text_link)][url=]真人训练[/url]的法律风险就不需要我来多说了。大家炼丹出图还是讲究个自己开心，别搞出什么搂子把整个小圈子给扬了，那就不好了。



补充一点，如果你最后出图是有一个偏爱的固定底包模型的话，比如大家最爱的chillout，训练模型也最好用一样的底包。如果底包的风格或者训练集差距过大会影响模型的泛化能力。如果没有这个要求，那就用秋叶大大里面的默认final prune这种万能底包就好了。


[color=var(--text_link)][url=]@浩浩援军[/url] : 请问老哥，我想做3D游戏里的角色，一般需要那种模型来当低模跑呢？需要多少张呢？


[color=var(--0a74c5b9)]活埋红猪

回复 [color=var(--text_link)][url=]@浩浩援军[/url] : 这取决于3d游戏的风格，如果是写实的，那就用chillout或者unrealitymix这种写实风的底模，如果是卡通渲染风格，就找HD-22这种卡通风格的。具体的底模建议到civitai上面看看，哪个看的像就用哪个。至于训练集，如果只需要面部，那以20张作为基础吧，如果包含服饰等信息，就得多些，而且可以设置不同子特征的分文件夹。如果你要炼的是大热的游戏角色，其实可以先到civitai上看看是不是有人炼过，有现成的用也是一种选择。


[color=var(--0a74c5b9)]涵空若梦风徐行

大佬，请问这样参数需要增加么？我21张照片，tag也照你说的减少了，但出图效果并不理想，所以想问问训练次数什么的一般设定多少


[color=var(--0a74c5b9)]活埋红猪

回复 [color=var(--text_link)][url=]@涵空若梦风徐行[/url] :按说参数不需要调整，一般来说出图效果不好，大多还是训练集选择的问题。训练集的一致性是挺重要的。选择的图片的角度，光照，等如果出现差异会对出图有影响。因为SD完全可以在只提取面部结构的情况下，在图片生成端增加表情与光照的设定。所以建议训练集以平光、轻微表情或无表情为主。
个人建议，不一定先要炼目标对象，找一个画质较好的随便什么的视频截图生成训练集，比如明星采访视频就能够保证一致的妆造和光照条件，先找找感觉。


来源：https://www.bilibili.com/video/B ... 651285923315a1d99b5
评论区

xiaoheilix

虚心来学习的小白路过

aeoluszan

大多各种方法了，楼主可以发点效果吗

kanbumingbai

多谢楼主分享经验啊，已经练恶心了，没有稳定的输出，很痛苦，坐等稳定版本和方法哈，谢谢。

w309091148

谢谢楼主的经验，我就练出来感觉都不像，也不知道该怎么调整，现在有一些思路了

472740632

感谢分享 这个炼丹感觉比dfl麻烦得多

manlyboy2

感谢这种有技术含量的帖子

Man78

Thanks for sharing, some good ideas for me!