Prompt Reinjection:不用训练就能让文生图更听话,思路挺讨巧

Prompt Reinjection这个思路挺有意思,核心是不额外训练模型,就能提升文生图的指令遵循。现在生成模型一个老毛病就是prompt里塞多了条件,画着画着就丢东西,尤其是多主体、带方位和数量约束的,经常顾此失彼。

把提示在生成过程里重新注入,相当于中途反复提醒模型别忘了还有这些要求,思路上是对症的。无需训练这点对落地很友好,不用动权重、不用重新跑数据,理论上能挂到现有pipeline上。

就是不知道对推理耗时影响多大,反复注入会不会拖慢出图,等复现看看实际代价。

多主体丢约束确实是老大难