Write, Execute, Refine: From Skill Followers to Skill Optimizers via Reinforcement Learning from Execution Feedback

论文解决了什么问题

专家编写的自然语言技能能有效提升工具使用代理的表现，但研究发现代理自主编写的技能反而会导致性能比不使用技能时下降 8-11 分。这一差距表明，遵循程序指导与根据执行证据改进指导是两种截然不同的能力。现有代理在自主优化技能方面存在明显瓶颈，亟需新的机制来弥合这一能力鸿沟。

核心方法

本文提出 WER（Write, Execute, Refine）框架，将技能遵循与技能优化解耦。系统引入独立的技能优化器，结合程序验证器与执行过程中的成功失败配对数据。通过执行反馈强化学习机制，代理能够根据实际执行结果迭代改进自然语言技能，从而完成从遵循者到优化者的转变。

实验结论

• 代理自主编写的技能会导致性能比不使用技能时下降 8-11 分。
• 遵循程序指导与根据执行证据改进指导是两种不同的能力。
• 代理自写技能导致性能下降 8-11 分
• 遵循指导与改进指导是两种不同能力

局限性与证据边界

适合谁阅读