做文生图后训练,你到底是在练「画得好」,还是在练「听得懂」?
这个问题是我最近啃后训练越啃越清楚的。文生图说白了就是模型读懂你那句自然语言描述,再照着意图出一张质量够高的图。这几年它算是这个领域最扎眼的突破之一,大家的注意力也多半落在生成效果上。可真轮到自己做后训练,卡住的地方根本不在会不会生成,而在它能不能明白你要的到底是什么。
所以我现在把这两件事拆开:文本理解一条线、图像质量一条线,各自评估,数据也分别对齐,不往一个 loss 里一起糊。原因也简单,混在一起训,指标涨了你说不清是哪边在涨,掉了更没法定位,调数据等于蒙着眼。拆开之后起码能分出问题是「没听懂」还是「画不好」,再回头补对应那边的数据,心里有数得多。
眼下最头疼的是风格和多样性打架,风格一练强,多样性就往下掉。数据配比怎么控、风格过拟合怎么防,同样在做后训练的朋友欢迎来聊聊你们的做法。