deepfacelab中文论坛

 找回密码
 立即注册
查看: 202|回复: 8

提问:【遮罩模型】关于先应用遮罩还是合成再X的问题

[复制链接]

2

主题

34

帖子

219

积分

初级丹师

Rank: 3Rank: 3

积分
219
 楼主| 发表于 2022-6-21 20:46:40 | 显示全部楼层 |阅读模式
星级打分
  • 1
  • 2
  • 3
  • 4
  • 5
平均分:0  参与人数:0  我的评分:未评
暂时手里没有镇坛之宝万能遮罩(这是前言)



在此基础上,我用的大力王的遮罩,每次都是要自己画一些关键帧遮罩,先训练一段时间遮罩,再去训练dst。

然后,问题出现了——当训练换脸一些大角度或者仰头之类的,或者有头发遮挡之类的图片时候(scr角度很全),就会出现误把头发丝识别成嘴眼,或者肌肉抽搐一类的事情,所以预览图成像很扭曲,很可怕,也根本无法用于合成。

那么我想问一下,我在根据滚石说的不用将遮罩模型先应用在图片上的情况下,继续迭代训练这些错误识别脸部扭曲的图像之后,可以最终识别成DST的嘴眼位置吗。简单说,就是继续训练能纠正AI识别的错误吗。(或者说,改变思路,先应用了遮罩模型到dst图片之后,能针对性改善这种情况吗?也可能不是因为DST图片有很多头发会被错误识别的问题?)

还是说,我先把dst数据画了遮罩,用大力王或者其他人的遮罩模型来训练到差不多了,应用到dst图片数据里之后,再开始迭代训练?

希望有大佬来答疑解惑,感谢。




回复

使用道具 举报

2

主题

646

帖子

3297

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
3297

小有贡献

发表于 2022-6-22 00:17:56 | 显示全部楼层
自己迭代训练不就看到效果了?
回复 支持 反对

使用道具 举报

20

主题

339

帖子

8193

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
8193
发表于 2022-6-22 00:24:38 | 显示全部楼层
预览图扭曲是第一视野预览
你按空白键依序切换 src 和 dst 的预览图,就不会扭曲
回复 支持 反对

使用道具 举报

2

主题

34

帖子

219

积分

初级丹师

Rank: 3Rank: 3

积分
219
 楼主| 发表于 2022-6-22 00:47:04 | 显示全部楼层
labels 发表于 2022-6-22 00:24
预览图扭曲是第一视野预览
你按空白键依序切换 src 和 dst 的预览图,就不会扭曲 ...

我的意思是在训练阶段,不是训练遮罩模型,是训练重型模型的时候。
回复 支持 反对

使用道具 举报

0

主题

26

帖子

322

积分

初级丹师

Rank: 3Rank: 3

积分
322
发表于 2022-6-22 07:15:40 | 显示全部楼层
單純來學習學習~
回复 支持 反对

使用道具 举报

0

主题

214

帖子

1425

积分

初级丹圣

Rank: 8Rank: 8

积分
1425
发表于 2022-6-22 10:10:21 | 显示全部楼层
路过帮顶
回复

使用道具 举报

0

主题

27

帖子

167

积分

高级丹童

Rank: 2

积分
167
发表于 2022-6-25 18:28:53 | 显示全部楼层
路过帮顶
回复

使用道具 举报

6

主题

37

帖子

252

积分

初级丹师

Rank: 3Rank: 3

积分
252
发表于 2022-6-26 19:39:11 | 显示全部楼层
我也有相同的疑问,直接应用万能遮罩到DST上可能会有瑕疵。 自己画遮罩,训练时候,model里面的万能遮罩文件要先删除或者移动走吗?      还是说不用移走,我们画的遮罩会自动融入到万能模型中去。
回复 支持 反对

使用道具 举报

0

主题

65

帖子

370

积分

初级丹师

Rank: 3Rank: 3

积分
370
发表于 6 天前 | 显示全部楼层
單純來學習學習~
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|小黑屋|deepfacelab中文论坛  |网站地图

GMT+8, 2022-7-5 10:49 , Processed in 0.086624 second(s), 11 queries , redis On.

Powered by Discuz! X3.2

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表