看了下 Flux 2 Klein 4B 上的一个微调,它的自动打标思路值得说说

研究 Flux 2 Klein 4B 这个底座的微调时,顺手看了下这一版。它是在 Klein 4B base 上针对男性人物题材(艺术插画加人像摄影)做的微调,定位很明确,就是图像生成用。

比较有意思的是它的数据处理:图文对不是人工打标,而是用视觉语言模型自动生成描述,这类模型给出的 caption 天然偏中性、泛化,用词也比较干净规整。从训练角度看这其实是把双刃剑——好处是标注成本几乎为零、风格统一,坏处是描述容易同质化,细粒度语义可能被抹平,触发词的可控性会打折。

想在这类小底座上做微调的可以参考它这套自动打标的路子。

自动打标省成本,但确实容易同质化

小底座微调路子可以借鉴

mark 一下这个数据处理思路

VLM 打标的可控性问题确实存在

1 个赞

触发词被抹平这点深有体会