下午读 AutoAnchor 这篇,边读边记几笔。
问题:Stable Diffusion 做概念擦除一直不稳。现有两条路,一是手动挑个替代概念当锚点,太主观,容易擦偏;二是直接用空提示词,潜空间没约束,擦不牢。
作者的解释从流形假设出发:缺一个贴近流形的锚点,就会在法向空间产生漂移,效果就坏了。
办法:自动合成锚点,再拿一个 cross-attention 一致性损失当流形邻近度的廉价替身,绕开直接做几何优化那笔天价开销。这步我觉得是全篇最实用的。
读完回头想跟咱们的关系。平时大家聊的都是怎么把图画好,可版权角色、特定人脸、有害内容,都是靠这类 unlearning 从模型里抹掉的。擦得干净又不误伤别的画风,平台才敢把模型放出来。所以哪天某个底模死活画不出某个角色,多半就是这东西在干活。