上了生产翻车,别急着怪生成器。我这两年踩下来,故障大多藏在各阶段交接的地方——本地 notebook 跑得好好的 prompt,进编排层就崩,几乎是常态。
拿文本编码器举例,换成蒸馏版,内存是省了,但罕见 token 的对齐频率会明显飘。再比如从 pixel 挪到 latent 空间,算力能省一个数量级,代价是压缩伪影:guidance 一拉高,伪影就跟 CFG 打架,最先崩的是脸和字,这俩对细节最敏感。
KV cache 复用也是,吞吐拉上去了,可 prompt 一超出显存窗口,缓存驱逐策略就带来那种玄学般的非确定性。长 prompt 前面那段语境为啥会"消失",本质是调度器把最早进来的 token 当成最少用的信息踢掉了。
真要定位问题,我现在习惯把注意力热图和最终图一起存档。attention drift 基本是最靠前的预警信号,图还没崩,热图上注意力已经在漂了。
所以选模型别只盯样本质量。能不能干净地换 sampler、换缓存、挂后置过滤器,这些才决定你以后维护起来累不累。