想搞后训练文生图,先把「理解语言」和「生成图」拆开看

做文生图后训练,你到底是在练「画得好」,还是在练「听得懂」?

这个问题是我最近啃后训练越啃越清楚的。文生图说白了就是模型读懂你那句自然语言描述,再照着意图出一张质量够高的图。这几年它算是这个领域最扎眼的突破之一,大家的注意力也多半落在生成效果上。可真轮到自己做后训练,卡住的地方根本不在会不会生成,而在它能不能明白你要的到底是什么。

所以我现在把这两件事拆开:文本理解一条线、图像质量一条线,各自评估,数据也分别对齐,不往一个 loss 里一起糊。原因也简单,混在一起训,指标涨了你说不清是哪边在涨,掉了更没法定位,调数据等于蒙着眼。拆开之后起码能分出问题是「没听懂」还是「画不好」,再回头补对应那边的数据,心里有数得多。

眼下最头疼的是风格和多样性打架,风格一练强,多样性就往下掉。数据配比怎么控、风格过拟合怎么防,同样在做后训练的朋友欢迎来聊聊你们的做法。

数据配比这块我们也踩坑,稀有风格样本一多整体就偏

蹲,想看多样性和风格强度怎么平衡