归一化怎么做、GQA、预训练用多长的上下文、滑动窗口注意力，这四个单拎出来，哪个看着不正常？Olmo、Llama、Qwen 这几个稠密模型家族各自至少用了其中一条。
Ai2 和卡内基梅隆、华盛顿大学把它们拆开做了对照。凑够三个以上，长上下文的下游表现明显往下掉，最狠能到四成七。更阴的是短上下文的 loss 和验证集完全反映不出来，所以这些选择一路活到了发布出来的模型里。
他们把上下文扩展提前到预训练阶段，问题才暴露，顺手放了一批可比的 7B 模型和扩展前后的检查点，前后烧掉十七万多 GPU 小时。
放到画图这边是一个道理：常规评测分数好看，多参考、长时序的场景到底在哪一步崩，那套指标压根测不出来。