快模型一批里越跑越像同一条,根子在蒸馏的第二段。
捋一下流程。第一段是一致性蒸馏,目标是让学生把老师能出的范围尽量盖住,代价是画面偏软。第二段换成分布匹配去锐化,而这一步优化的是反向 KL。反向 KL 的脾气就是往高概率区钻:老师偶尔才去的那些角落,学生直接扔掉几乎不受惩罚。所以单挑一条看越来越好,一整批摆一起,镜头运动和构图重复得离谱。
DistillAlign 的思路说白了不复杂,就是把负责覆盖的那条损失一直挂着,不在前面用完就丢,让“锐”和“广”两股劲全程互相拽着。
它消融里我觉得最实用的一条:初始化时把目标分布跟老师对齐,收益比换一个更大的老师还明显。搭管线的人可以直接拿这条省钱,不用一上来就去堆老师的规模。
边界也得讲清楚。它测的是 1.3B、832×480、81 帧,覆盖度算的是一批样本之间的多样性,跟角色跨镜头一致性完全是两码事,拿它去论证后者就串味了。