正在补充深度解读,当前内容可以先阅读
论文解决了什么问题
循环Transformer每一轮都产生可解码的中间状态,但标准解码只使用最后一轮,浪费了天然对齐的弱—强预测信号。
核心方法
LoopCD在logit或隐藏状态空间对比最终预测与较早循环;前者只增加一次输出头计算,后者无需额外输出开销。
实验结论
- 四类循环Transformer均稳定提升;AIME 2024由61.88%升至73.33%,HumanEval由22.56%升至31.71%,前向FLOPs可减少22.5%至48.2%。
- 不加辅助模型、不再训练,只把本来被丢弃的循环中间态变成解码指导信号。
适合谁阅读
循环模型与高效推理研究者循环Transformer对比解码推理效率
可核验的原论文来源和作者
- 作者
- Weihao Liu, Huangjie Zheng, Tianrong Chen, Rohit Dilip, Richard He Bai, Yizhu Jiao, Yuyang Wang, Ruixiang Zhang
- 来源
- arXiv
- 论文 ID
- 2610.02185