正在补充深度解读,当前内容可以先阅读
论文解决了什么问题
当前用于软件工程的 LLM agent 常以高置信度执行错误动作,而错误只有在实际运行或测试失败后才被发现,导致高昂的执行与重试成本。如何在动作执行前有效预测其失败可能性,是提升 agent 效率与可靠性的关键问题。
核心方法
Speculative Uncertainty(SU)方法引入一个轻量级草稿模型作为门控机制,在主 agent 执行动作前对其输出进行不确定性评估。若草稿模型检测到高失败风险,则拦截该动作并触发重新规划或修正,从而避免无效执行。
实验结论
- SU 在 SWE-bench 上能有效拦截高失败概率的 agent 动作
- 草稿模型与主模型分布不对齐时,SU 的预测准确率下降
- 在高度复杂的代码修改任务中,SU 的失败预测能力减弱
- SU 能显著减少 agent 的无效执行次数
- 效果受限于草稿模型与主模型的分布对齐程度
局限性与证据边界
- 草稿模型与主模型分布不对齐时效果下降
- 在复杂代码修改任务中预测准确率降低
适合谁阅读
研究 agentic coding 可靠性与效率的学者关注 LLM agent 错误预防与门控机制的工程师Agent 系统评测Benchmark / 评测
可核验的原论文来源和作者
- 作者
- 作者信息暂未从原始元数据中确认
- 来源
- arXiv
- 论文 ID
- 2609.05274