正在补充深度解读，当前内容可以先阅读
论文解决了什么问题
高阶优化器如 Muon 和 SOAP 在收敛速度上优于 AdamW，但其预条件矩阵的计算开销和数值稳定性问题使其难以在大规模 LLM 预训练中实际采用。本文要回答的核心问题是：如何适配和增强预条件梯度方法，使其在保持收敛优势的同时，能够稳定地扩展到大规模训练场景。
核心方法
本文对预条件梯度方法进行系统性适配与增强，核心改进包括优化预条件矩阵的估计策略以降低计算开销，以及引入数值稳定机制防止训练过程中的数值溢出或发散。这些改进使 Muon 和 SOAP 类方法能够在大规模 LLM 预训练中实际部署，并与 AdamW 进行公平对比。
实验结论
- 改进后的方法在大规模 LLM 预训练中实现比 AdamW 更快的收敛速度
- 通过数值稳定机制解决了高阶优化器在大规模训练中的稳定性问题
局限性与证据边界
- 具体改进的预条件矩阵估计策略细节
- 数值稳定机制的具体实现方式
- 实验中的模型规模、参数量和训练 token 数
- 相比 AdamW 的具体加速比例或收敛曲线对比数据
- 作者所属机构信息
适合谁阅读
LLM 预训练优化方向研究者关注训练效率提升的工程师优化与理论训练与后训练
可核验的原论文来源和作者
- 作者
- 作者信息暂未从原始元数据中确认
- 来源
- arXiv
- 论文 ID
- 2607.20548