单卡从零训一个生图模型,训练一跑就在各种蠢地方崩

一台机器一张5090,从零训生图模型,纯当实验玩。

没集群也没租算力,数据集只能压得很小,起步三万多组图文对。之前先把负责压缩重建的那部分单独训好了——那块本身不出图,只管把图压小再还原,算给后面打地基。

这两天开始上真正的生成部分,就是把文字变成图的那块。一跑就崩,而且崩的地方都特别蠢:显存、数据加载、精度对不齐,轮着来。回头看思路没错,全是边界没处理好。单卡容错空间太小,每一步都得抠细节。

有同样在折腾从头训的朋友,踩过的坑求分享下,尤其小数据量下怎么让它别一上来就学崩。

三万多组配单卡确实紧,容易过拟合,你有做数据增广吗