论文解决了什么问题
当前的智能体评测主要衡量模型在某一固定时间点的静态任务表现，却无法反映它们在真实环境中诊断错误并从经验中持续学习的能力。两个初始能力相近的智能体，在获得相同的学习机会后可能会走向完全不同的性能轨迹。因此，如何科学地衡量智能体获取新能力的效率、验证其改进是否能泛化，并定位自我改进过程中的失效环节，成为亟待解决的核心问题。
核心方法
研究设计了一种权重固定的受控评测协议，智能体在每次交互后通过反思来更新持久化的工具、技能和记忆等构建物，并在后续的全新上下文中继承这些经验。在此基础上，研究引入了“智能体可塑性”指标，通过拟合学习曲线来量化单位学习成本所带来的分布外性能增益。同时，通过追踪决策失败时构建物的可用性与实际调用情况，诊断自我改进循环中的具体瓶颈。
方法与已有工作的区别
有原文依据与近期主要致力于开发反思、记忆或技能演化等自我改进机制的工作不同，本文聚焦于互补的测量问题，即评估改进是否能持久与泛化、获取效率如何以及改进过程在何处失效。
实验结论
- 前沿模型的最终能力与学习效率存在显著分化，例如GPT-5.6 Sol的可塑性（单位成本收益）最高，而Claude Fable 5的最终绝对性能最好。
- 智能体在训练分布内的性能提升往往只能部分泛化到更强的分布外（OOD）对手环境中。
- 低可塑性模型的主要瓶颈是未能复用相关的持久化构建物，而高可塑性模型虽然高频复用构建物，但仍会在调用后遭遇决策失败。
- 智能体的自我改进效果高度依赖于具体任务，同一模型在不同游戏（如Go与Hex）中的改进轨迹和泛化能力表现不一。
- GPT-5.6 Sol的学习效率（可塑性）最高，而Claude Fable 5的最终绝对性能最好，证明终点能力与获取效率并不等价。
局限性与证据边界
- 可塑性指标依赖于服务提供商的API定价和饱和曲线拟合假设，是一个协议依赖的测量值，而非通用的绝对模型排名。
- 自我改进的效果是任务和模型依赖的，研究并未建立跨所有任务的统一模型排名。
- 失败归因分析属于观察性诊断，调用构建物后依然失败无法严格区分是构建物质量不足还是智能体应用不当。
- 原文指出，高可塑性模型在调用构建物后依然失败，但目前无法严格区分这是因为构建物本身质量不足，还是智能体应用构建物的方式不当。
- 对于未达到饱和点的模型，研究通过外推拟合曲线来估算饱和点，这为可塑性指标的计算引入了额外的不确定性。
适合谁阅读
Benchmark / 评测评测Agent 系统提出固定模型权重、通过持久化构建物（如工具、策略、记忆）进行自我改进的评测协议，并引入“智能体可塑性”指标，即单位学习成本带来的分布外性能增益。在Chess、Go、Hex和NetHack环境中对多个前沿模型进行多轮迭代评测，记录训练与分布外表现及学习成本，并追踪决策失败时的构建物复用情况。
可核验的原论文来源和作者
- 作者
- 作者信息暂未从原始元数据中确认
- 来源
- arXiv
- 论文 ID
- 2610.08902