南洋理工让 AI 生图"只看有用的部分",思路挺巧

南洋理工这个方向,我的判断是:切入角度很干净,至于效果好不好,得等更多人复现。

他们做的事说白了是在训练阶段给数据加了道“滤镜”。一般的图像生成训练,是把整张图的信息一股脑喂进去让模型自己消化;这个思路反过来,先把图像放到频率域里看,只挑数据里真正有用的那部分频谱让模型学。

为什么要绕到频率域?一张图拆成频谱以后,低频管的是大块明暗和整体轮廓,高频对应边缘、纹理,也混着不少噪声。在频率域里做取舍,传统信号处理里早就是老手艺了,滤波、压缩都靠它。但把这招用到生成模型的训练上,确实不常见。

动机我猜主要还是省算力、提效率。模型容量和训练预算都有限,花在拟合无关高频噪声上的那部分基本等于白花,筛掉之后力气才能用在刀刃上。当然“哪部分算有用”本身得有个靠谱的标准,这块要看论文细节。

我平时给学生讲图像处理,正好能拿它当例子:先让大家看看一张图的频谱长什么样,再讨论模型到底在学哪一段。比起一句“喂数据就行”,从频谱角度去理解模型在学什么,要直观得多。

以前讲JPEG压缩就是丢高频,换到训练上又用上了

mark,蹲个论文链接

只留有用频段,本质是降噪加提速?

南洋理工最近生成方向出货挺勤的

1 个赞

更像课程学习那味,先学低频轮廓再啃高频细节