deepfacelab中文论坛

 找回密码
 立即注册
查看: 356|回复: 5

训练预览图2列和5列全变成红白斑块是爆丹了吗?

[复制链接]

5

主题

38

帖子

423

积分

初级丹师

Rank: 3Rank: 3

积分
423
 楼主| 发表于 2023-1-21 01:59:28 | 显示全部楼层 |阅读模式
星级打分
  • 1
  • 2
  • 3
  • 4
  • 5
平均分:NAN  参与人数:0  我的评分:未评
本帖最后由 windjet 于 2023-1-21 03:45 编辑

请问训练时预览图的2列和5列全变成红白斑块是爆丹了吗?本来标准参数练的好好的,基本没损失了(源和目标损失都在0.1以下),就开了随机扭曲(random_warp: True)准备继续练,其它参数没变,结果前几个小时还正常,源损失到0.2左右的时候突然上升到2.2左右,同时2列和5列就全变成红白斑块了,关了再练也一样,这是模型练坏了需要从前一个备份没开扭曲的开始练好,还是接着练能转好呢?
接着开扭曲还会爆丹吗?是否是8G显卡GeForce GTX 1070太弱无法跑随机扭曲?或者是图片太多以至于无法开随机扭曲?
DST使用的是论坛里的DST全角度训练图集V3.1 WF512(2.6万张),源图片不到3千张。

红白斑块图:
BaoDan01.jpg

以下是开了随机扭曲后的训练参数:
==---------------- Model Options -----------------==
==                                                ==
==            resolution: 256                     ==
==             face_type: wf                      ==
==     models_opt_on_gpu: False                   ==
==                 archi: df-ud                   ==
==               ae_dims: 320                     ==
==                e_dims: 96                      ==
==                d_dims: 96                      ==
==           d_mask_dims: 32                      ==
==       masked_training: True                    ==
==       eyes_mouth_prio: False                   ==
==           uniform_yaw: False                   ==
==         blur_out_mask: False                   ==
==             adabelief: True                    ==
==            lr_dropout: n                       ==
==           random_warp: True                    ==
==      random_hsv_power: 0.0                     ==
==       true_face_power: 0.0                     ==
==      face_style_power: 0.0                     ==
==        bg_style_power: 0.0                     ==
==               ct_mode: none                    ==
==              clipgrad: False                   ==
==              pretrain: False                   ==
==       autobackup_hour: 0                       ==
== write_preview_history: False                   ==
==           target_iter: 0                       ==
==       random_src_flip: False                   ==
==       random_dst_flip: False                   ==
==            batch_size: 4                       ==
==             gan_power: 0.0                     ==
==        gan_patch_size: 32                      ==
==              gan_dims: 16                      ==
==                                                ==
==------------------ Running On ------------------==
==                                                ==
==          Device index: 0                       ==
==                  Name: NVIDIA GeForce GTX 1070 ==
==                  VRAM: 6.65GB                  ==
==                                                ==
====================================================

回复

使用道具 举报

3

主题

514

帖子

3602

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
3602
发表于 2023-1-21 09:46:20 | 显示全部楼层
恭喜,炸丹了,换备份丹重新练,要是你没备份那就寄了
回复 支持 反对

使用道具 举报

10

主题

114

帖子

656

积分

高级丹师

Rank: 5Rank: 5

积分
656
发表于 2023-1-21 10:32:21 | 显示全部楼层
随机扭曲到0.1才开? 推荐早期开 后期关
回复 支持 反对

使用道具 举报

7

主题

56

帖子

956

积分

高级丹师

Rank: 5Rank: 5

积分
956
发表于 2023-1-21 17:26:56 | 显示全部楼层
随机扭曲前期开,后期关,开扭曲时不能开GAN和真脸
回复 支持 反对

使用道具 举报

2

主题

37

帖子

280

积分

初级丹师

Rank: 3Rank: 3

积分
280
QQ
发表于 2023-1-21 20:49:48 | 显示全部楼层
炸丹炸的非常彻底啊 直接重新跑吧 记得调参数之前先备份
回复 支持 反对

使用道具 举报

5

主题

38

帖子

423

积分

初级丹师

Rank: 3Rank: 3

积分
423
 楼主| 发表于 2023-1-21 23:53:51 | 显示全部楼层
谢谢大家的回复,真的是爆单了!额外感谢pasanonic和yueyue1122的提示!如果还有人能直接回答我的问题就更好了。
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|小黑屋|deepfacelab中文论坛 |网站地图

GMT+8, 2023-1-29 21:01 , Processed in 0.052736 second(s), 39 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表