手指老是画不对,根子不在模型笨

手指画不对这事,本质不是模型笨,是它压根没有"手"这个概念,只有像素的统计分布。训练集里手大多在抓东西、互相遮挡、各种角度,模型学到的是一只"平均手",而平均手就是六根七根、方向乱指。

我自己跑图也一样,越复杂的动态手崩得越狠。文字生成同理,字母顺序、拼写都是强结构,统计模型天然对付不了。所以与其骂它蠢,不如认清它是在拼贴不是在画。实操上负向提示把"多指、畸形"写死,生成完再用局部重绘补手,或者丢个手部参考图进去,基本能压下来。

想彻底解决估计得等结构约束进到架构里,要么数据端喂足够多干净的、孤立的手图。

手部参考图那招确实好用,比闷头堆负向词管用多了

平均手这个说法笑死 :joy:

局部重绘补手已经是我的固定步骤了,指望一遍过太天真

文字那块新模型进步挺大的,早期是真没眼看

所以说到底还是数据的问题,不是模型架构的问题?

数据是主因,架构对这种细小结构的表达也有份,两头都占点

1 个赞