deepfacelab中文论坛

 找回密码
 立即注册
查看: 95|回复: 25

训练每次加载完,弹出预览窗口很慢!!求解决

[复制链接]

3

主题

128

帖子

797

积分

高级丹师

Rank: 5Rank: 5

积分
797
发表于 5 天前 | 显示全部楼层 |阅读模式
以前模型训练次数少基本就是启动一次就行了,现在模型训练累计都上千W次了,每次启动都要重复很多次才能弹出预览窗口,有时候还容易出现OMM,这到底是什么问题啊??


是不是模型炼废了?
回复

使用道具 举报

3

主题

128

帖子

797

积分

高级丹师

Rank: 5Rank: 5

积分
797
 楼主| 发表于 5 天前 | 显示全部楼层
对了,模型一旦启动成功后,训练几分钟大部分预览效果就不错了,但就是每次都要重启很多次,就无语。
回复 支持 反对

使用道具 举报

9

主题

1153

帖子

8114

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
8114
发表于 4 天前 | 显示全部楼层
估计是loss的历史记录太长了导致的,可以通过新建一个参数完全一样的模型把这个loss记录洗掉。
回复 支持 反对

使用道具 举报

1

主题

286

帖子

1661

积分

初级丹圣

Rank: 8Rank: 8

积分
1661
发表于 4 天前 | 显示全部楼层

估计是loss的历史记录太长了导致的,可以通过新建一个参数完全一样的模型把这个loss记录洗掉。
回复 支持 反对

使用道具 举报

1

主题

286

帖子

1661

积分

初级丹圣

Rank: 8Rank: 8

积分
1661
发表于 4 天前 | 显示全部楼层


估计是loss的历史记录太长了导致的,可以通过新建一个参数完全一样的模型把这个loss记录洗掉。
回复 支持 反对

使用道具 举报

1

主题

286

帖子

1661

积分

初级丹圣

Rank: 8Rank: 8

积分
1661
发表于 4 天前 | 显示全部楼层


估计是loss的历史记录太长了导致的,可以通过新建一个参数完全一样的模型把这个loss记录洗掉。
回复 支持 反对

使用道具 举报

3

主题

128

帖子

797

积分

高级丹师

Rank: 5Rank: 5

积分
797
 楼主| 发表于 4 天前 | 显示全部楼层
yangala 发表于 2021-9-15 00:46
估计是loss的历史记录太长了导致的,可以通过新建一个参数完全一样的模型把这个loss记录洗掉。 ...

我也觉得大概率是这个原因,但我重新建模型后,把以前迭代的模型直接覆盖到新模型就行了吗?
回复 支持 反对

使用道具 举报

9

主题

1153

帖子

8114

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
8114
发表于 4 天前 | 显示全部楼层
plotchen 发表于 2021-9-15 02:02
我也觉得大概率是这个原因,但我重新建模型后,把以前迭代的模型直接覆盖到新模型就行了吗? ...

只覆盖.npy文件,那个dat文件用新建的
回复 支持 反对

使用道具 举报

12

主题

170

帖子

1065

积分

初级丹圣

Rank: 8Rank: 8

积分
1065
发表于 4 天前 | 显示全部楼层
估计是loss的历史记录太长了导致的,可以通过新建一个参数完全一样的模型把这个loss记录洗掉。
回复 支持 反对

使用道具 举报

15

主题

840

帖子

4584

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
4584
发表于 4 天前 | 显示全部楼层
这就隐约透露了一个问题,一个丹还真不是一直用下去就好,应该会有个阈值。
还听说有的丹时间长了就不像src呢。
应该保留这个丹的最顶峰的时间段备份下。
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|小黑屋|deepfacelab中文论坛  |网站地图

GMT+8, 2021-9-19 07:09 , Processed in 0.057974 second(s), 23 queries .

Powered by Discuz! X3.2

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表