正在补充深度解读，当前内容可以先阅读
论文解决了什么问题
常见认知把预训练看作从鹦鹉式匹配平滑成熟为通用智能，但这一过程是否真的单调稳定并未被细粒度检验。
核心方法
构建一组低成本玩具评测，持续追踪checkpoint在上下文学习、System 1/2、多跳角色问答、域外推理和涌现失配上的计算模式。
实验结论
- 模型在预训练期间频繁发生局部稳定、checkpoint平均也无法修复的模式跳转；中间checkpoint有时比最终checkpoint更能泛化，数据窗口会影响竞争结果。
- 预训练曲线相近不代表内部泛化机制稳定，最好的推理checkpoint可能并不在训练终点。
适合谁阅读
语言模型预训练与可解释性研究者预训练泛化动力学机制分析
可核验的原论文来源和作者
- 作者
- Jiaxin Wen, Zhengxuan Wu, Dawn Song, Lijie Chen
- 来源
- arXiv
- 论文 ID
- 2609.33150