这批ICML spotlight里我最想多看两眼的是这篇：分词器和自回归模型一起端到端训，ImageNet 256无条件生成FID做到1.48，无引导条件下目前最好。
为什么说它有意思，得回头看老路子。以前是两段式，第一步训一个分词器把图压成token，它的考核标准只有一个，还原得像不像；第二步再拿这些token单独训自回归模型。毛病就出在中间那堵墙上——分词器从头到尾没见过生成任务长什么样，它压出来的表示对重建友好，对生成未必友好，后面的模型只能将就着用。
这套做法把墙拆了。重建和生成放进同一个框架联合优化，生成那一端的梯度可以一路传回编码端，相当于训练时就让分词器知道“下游要拿我干嘛”，逼着它去学更适合生成的表示。另外他们还拉了视觉基础模型进来加强语义。
我自己的看法是，1.48这个数倒在其次，更值得记住的是“分词器不再各自为政”这个思路。两段式用了这么久，大家默认分词器是个训完就冻住的零件，现在有人把它拉回训练循环里还换来了实打实的提升，后面跟的工作估计少不了。