deepfacelab中文论坛

 找回密码
 立即注册
查看: 316|回复: 12

求救大佬,模型损失很小,但视频合成效果不好,遮罩的...

[复制链接]

2

主题

16

帖子

135

积分

高级丹童

Rank: 2

积分
135
 楼主| 发表于 7 天前 | 显示全部楼层 |阅读模式
星级打分
  • 1
  • 2
  • 3
  • 4
  • 5
平均分:NAN  参与人数:0  我的评分:未评
模型的目标是将拜登的脸换为特拉斯。。。。
想问下 : 导致下面问题的原因是不是没有训练遮罩、没有自己手动画遮罩啥的?


###################################################
我是在linux服务器上跑的,因为没有UI,所以用的是命令:
                               bash 6_train_SAEHD_no_preview.sh
     (其余的命令也选择的是非预览模式、非交互模式
最后模型训练的损失还不错,只有0.15左右,但是合成图像时,结果很糟糕,见下图:

image.png

拜登视频提取图像(aligned) 和  特拉斯视频提取图像(aligned)分别如下:
image.png

拜登的 aligned_debug ()示例如下:
image.png


回复

使用道具 举报

4

主题

40

帖子

471

积分

初级丹师

Rank: 3Rank: 3

积分
471
发表于 7 天前 | 显示全部楼层
个人觉得是两种情况。
模型是F脸,不是WF。F脸一般都是这种缺额头的。
或者是WF的,那这样就得画遮罩把整张脸都画进去。
回复 支持 反对

使用道具 举报

2

主题

16

帖子

135

积分

高级丹童

Rank: 2

积分
135
 楼主| 发表于 7 天前 | 显示全部楼层
zf2336300 发表于 2022-11-21 20:05
个人觉得是两种情况。
模型是F脸,不是WF。F脸一般都是这种缺额头的。
或者是WF的,那这样就得画遮罩把整张 ...

好的,万分感谢,我试试看,好人一胎十个
回复 支持 反对

使用道具 举报

15

主题

181

帖子

960

积分

高级丹师

Rank: 5Rank: 5

积分
960
发表于 7 天前 | 显示全部楼层
src素材都是这个清晰度么?那loss低也没用啊。 颜色模式开下。没法预览就训练的时候开颜色模式。
回复 支持 反对

使用道具 举报

19

主题

144

帖子

908

积分

高级丹师

Rank: 5Rank: 5

积分
908
发表于 6 天前 | 显示全部楼层
素材太模糊了,脸型也差的多
回复 支持 反对

使用道具 举报

1

主题

76

帖子

456

积分

初级丹师

Rank: 3Rank: 3

积分
456
发表于 6 天前 | 显示全部楼层
素材太差,而且合成的时候有一些参数没有调整,找教程看一下吧
回复 支持 反对

使用道具 举报

2

主题

16

帖子

135

积分

高级丹童

Rank: 2

积分
135
 楼主| 发表于 6 天前 | 显示全部楼层
cjlzkl 发表于 2022-11-21 20:54
src素材都是这个清晰度么?那loss低也没用啊。 颜色模式开下。没法预览就训练的时候开颜色模式。 ...

方便问一下颜色模式是啥?  训练参数中英文叫啥 ?
回复 支持 反对

使用道具 举报

2

主题

16

帖子

135

积分

高级丹童

Rank: 2

积分
135
 楼主| 发表于 6 天前 | 显示全部楼层
cjlzkl 发表于 2022-11-21 20:54
src素材都是这个清晰度么?那loss低也没用啊。 颜色模式开下。没法预览就训练的时候开颜色模式。 ...

方便问一下颜色模式在训练参数中叫啥?
回复 支持 反对

使用道具 举报

2

主题

16

帖子

135

积分

高级丹童

Rank: 2

积分
135
 楼主| 发表于 6 天前 | 显示全部楼层
本帖最后由 12556984 于 2022-11-22 16:24 编辑
zf2336300 发表于 2022-11-21 20:05
个人觉得是两种情况。
模型是F脸,不是WF。F脸一般都是这种缺额头的。
或者是WF的,那这样就得画遮罩把整张 ...

试了一下,问题如下。。。。。所以现在解决办法是要重新画dst的遮罩,将拜登整张脸包括吗?

根据哥们你的意思。在提取src和dst、以及训练模型时,face都采用了wf模式,然后history image是这样:

image.png image.png


但最后的合成效果还是不好:
image.png

训练模型的参数如下:
image.png



回复 支持 反对

使用道具 举报

15

主题

181

帖子

960

积分

高级丹师

Rank: 5Rank: 5

积分
960
发表于 6 天前 | 显示全部楼层
12556984 发表于 2022-11-22 16:14
方便问一下颜色模式在训练参数中叫啥?

看到rct这三个字,就开rct
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|小黑屋|deepfacelab中文论坛 |网站地图

GMT+8, 2022-11-28 10:33 , Processed in 0.082244 second(s), 38 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表