Recursive Self-Improvement through Multi-Agent Self-Supervision

论文解决了什么问题

在非可验证的开放式研究任务中，大模型的递归自我改进面临严重的监督瓶颈。当输出超出人类专家评估能力时，模型只能依赖自身进行优化与评估，但单一实例在同质循环中难以有效批判自身的复杂推理，自我反馈往往会强化而非纠正错误。如何打破这种同质化约束，获取高质量的自我监督信号，成为提升模型长程任务能力的关键挑战。

核心方法

作者提出多智能体自监督（MASS）框架，交替进行工作流进化优化与模型监督微调。内循环中，单一基础模型通过进化搜索迭代设计多智能体工作流，优化子智能体的角色分配与信息路由约定；外循环中，模型在优化后的工作流生成的轨迹上进行微调，随后以更新权重重启循环。这种机制将复杂的长程任务分解为有界的子任务执行与全局编排，从而提供更密集的监督信号。

相较于单智能体长程轨迹训练，MASS通过联合学习编排与有界子智能体执行，在训练数据效率上具有显著优势；与传统的同质自我反馈相比，MASS通过优化多智能体间的通信结构与信息路由，提供了更有效的自我监督信号，避免了单一实例自我强化错误的局限。

实验结论

• 经过两个MASS周期，模型在MLR-Bench、ScienceAgentBench等四个研究基准上的每输出token得分相比基础模型提升1.2至1.6倍。
• 模型的自我评估准确率在递归改进过程中从73%显著提升至93%，且工作流优化器能更早发现高质量工作流。
• 基于多智能体轨迹训练的学生模型胜率达到68.3%，优于使用约1.4倍监督token训练的单智能体学生模型（64.0%）。
• 轨迹分析表明，优化后的工作流将更多任务特定信息集中在智能体间的通信契约与调用顺序中，同时降低了组件间的信息冗余。
• 四个研究基准上每token性能提升1.2-1.6倍

局限性与证据边界

适合谁阅读