看到个新方法:让模型边画边发现自己画错并纠回来

翻arXiv看到个叫FlowBender的做法,思路挺有意思。现在给扩散/flow模型加约束(比如深度图、边缘、姿态)主要两条路:一种是把约束当开头丢进去的静态提示,之后压根不管成品到底遵没遵守;另一种是生成过程里用手调公式去推,但这会掉进两难——推得狠图就遵守规则但画面变糙,放松点画面好看了又跑偏。

FlowBender的办法是训模型在每一步测自己的偏差、然后自己往回修,而不是靠外部去硬掰。

论文里说它能同时提升对规则的忠实度和画质,这俩一般是按下葫芦浮起瓢的关系,能兼顾算比较少见。arXiv编号2606.20404,有兴趣的可以去啃原文。

自纠错这个思路比外部硬掰优雅

忠实度和画质能同时涨确实少见

深度图约束经常被模型偷偷无视,太懂了

等开源代码,光看paper馋

手调公式那套确实两难

arXiv蹲一个复现结果

路过