翻arXiv看到个叫FlowBender的做法,思路挺有意思。现在给扩散/flow模型加约束(比如深度图、边缘、姿态)主要两条路:一种是把约束当开头丢进去的静态提示,之后压根不管成品到底遵没遵守;另一种是生成过程里用手调公式去推,但这会掉进两难——推得狠图就遵守规则但画面变糙,放松点画面好看了又跑偏。
FlowBender的办法是训模型在每一步测自己的偏差、然后自己往回修,而不是靠外部去硬掰。
论文里说它能同时提升对规则的忠实度和画质,这俩一般是按下葫芦浮起瓢的关系,能兼顾算比较少见。arXiv编号2606.20404,有兴趣的可以去啃原文。