一项最新研究揭示了语言模型在预训练过程中的一个惊人现象：它们并非平稳地提升能力，而是在“模仿”和“智能行为”之间突然切换，研究人员将其称为“模式跳跃”。这种非连续性的行为转变无法通过标准的优化技术（如调整学习率）进行修正或平滑。研究发现，这本质上是模型容量竞争的表现，每个训练窗口中的不同数据都在争抢有限的模型参数空间，导致了这种不稳定的泛化动态。这一发现对于当前的大模型训练实践具有重要的指导意义。首先，它意味着预训练检查点的选择不应简单地看损失值，而应更关注模型所处的“模式”；其次，通过理解数据间的竞争关系，研究人员可以有策略地筛选数据，以促使模型更稳定地向“泛化模式”发展，而非停留在“记忆模式”。这项研究为预测和评估预训练语言模型的最终行为提供了全新的视角和潜在的评估指标，有望推动更高效、更智能的模型训练范式。