手指画不对这事,本质不是模型笨,是它压根没有"手"这个概念,只有像素的统计分布。训练集里手大多在抓东西、互相遮挡、各种角度,模型学到的是一只"平均手",而平均手就是六根七根、方向乱指。
我自己跑图也一样,越复杂的动态手崩得越狠。文字生成同理,字母顺序、拼写都是强结构,统计模型天然对付不了。所以与其骂它蠢,不如认清它是在拼贴不是在画。实操上负向提示把"多指、畸形"写死,生成完再用局部重绘补手,或者丢个手部参考图进去,基本能压下来。
想彻底解决估计得等结构约束进到架构里,要么数据端喂足够多干净的、孤立的手图。