过了一遍 ICML 这次的 Spotlight,按看的顺序把和生图圈直接相关的几篇记下来。
视觉越狱:针对图像编辑模型,用箭头标记这类视觉提示夹带违规指令,对 Nano Banana Pro 和 GPT-Image-1.5 报出的成功率是 80.9% 和 70.1%。视觉提示这条新攻击面得当心。
对齐引导的分数匹配:不用奖励模型,直接在 score 层面改文图对齐,GenEval 计数准确率提了 35% 以上,SD1.5/SDXL/SD3 都能接。
弱扩散先验:讲的是逆问题里弱先验其实够用,观测信息足的时候表现很好。
翻完的感觉,安全和对齐这两块今年明显更热了。