Agent Skills Can Be Harmful: An Empirical Study of Skill-Induced Failures in LLM Agents

论文解决了什么问题

Agent技能是扩展大语言模型代理能力的事实标准机制，能够指导规划、工具使用和问题解决。然而，现有工作报告了混合的结果，技能在某些情况下不仅无法提升表现，反而可能引发失败。本文旨在回答技能在何种情况下会对代理产生负面影响，以及具体的失败模式是什么。

核心方法

本文开展了一项针对技能引发失败的经验研究，系统分析了代理在执行任务时的失败案例。研究采用差分归因等方法，识别并分类了功能回归、效率回归和过度流程等失败模式。同时，研究还对技能引入的成本进行了专门评测，以量化其带来的额外开销。

Prior work 报告了 agent skills 的混合结果（mixed results），本文在此基础上进一步系统研究了技能引发的失败（Skill-Induced Failures）及其带来的功能与成本伤害。

实验结论

• Agent技能可能引发功能回归（functional regression），导致代理任务执行能力下降。
• 技能可能导致效率回归（efficiency regression）和过度流程（over-processing），增加不必要的执行步骤。
• 技能的使用会带来额外的成本伤害，研究通过成本评测证实了这一点。
• 技能可能引发功能回归和效率回归，导致代理任务执行能力与效率下降
• 不当的技能设计会引发过度流程，并带来可量化的额外成本伤害

局限性与证据边界

适合谁阅读