扒了下今年ICML Spotlight里跟图像相关的几篇,方向都挺实在。有一篇讲图像美学评估里的梯度冲突,说不同美学属性在共享参数训练时梯度互相抵消,导致一部分样本长期学不好,提了个即插即用的路由框架去缓解,困难样本上提升挺明显。
还有PhotoAgent把修图当成多步决策问题,用树搜索自动规划编辑动作,不用用户一步步喂prompt。
另外CLEAR那篇做无遮罩的视频字幕去除,只用基础扩散模型不到1%的参数量,还能零样本泛化到好几种语言,思路很巧。
扒了下今年ICML Spotlight里跟图像相关的几篇,方向都挺实在。有一篇讲图像美学评估里的梯度冲突,说不同美学属性在共享参数训练时梯度互相抵消,导致一部分样本长期学不好,提了个即插即用的路由框架去缓解,困难样本上提升挺明显。
还有PhotoAgent把修图当成多步决策问题,用树搜索自动规划编辑动作,不用用户一步步喂prompt。
另外CLEAR那篇做无遮罩的视频字幕去除,只用基础扩散模型不到1%的参数量,还能零样本泛化到好几种语言,思路很巧。
梯度冲突那篇观察很准,属性互相抵消这个角度挺妙
mark慢慢看