Harness Engineering for Software Engineering via Modular Executable Dev-Primitives

论文解决了什么问题

现有软件工程 Agent 在处理长周期和跨文件任务时，必须反复重构分散在源文件、配置和测试中的程序状态。这种依赖追加式交互历史和被动上下文压缩的做法，极易导致上下文爆炸、语义漂移以及推理能力退化。这使得 Agent 在大型仓库的复杂演化任务中表现脆弱，难以维持长周期的有效交互。

核心方法

本文提出 Dev-Primitives 抽象，为每个代码组件绑定一个常驻大模型，使其能够理解自然语言请求、进行局部修改并与其他组件通信。HERMES 框架在此基础上引入了依赖感知的动态激活机制，仅按需实例化任务相关的组件。系统还通过 Bug 诊断机制将执行环境的失败证据精准映射回具体组件，实现高效的定向迭代修复。

与 MAGIS 和 CodeTeam 等预先设定角色或集中协调的多 Agent 框架不同，HERMES 的推理单元由代码工件本身定义，信息沿仓库依赖边流动，而非依赖预设的固定通信路径；与 SWE-agent 等依赖单一全局上下文的 Agent 相比，HERMES 通过组件级局部推理避免了全局上下文爆炸。

实验结论

• 在 SWE-bench Verified 上，HERMES 在 20 个测试的骨干模型中有 19 个提升了解决率，其中 GPT-5 Mini 提升最大，达 19.4 个百分点。
• 在 SWE Refactor Bench 的全仓库迁移任务中，HERMES 帮助 GPT-5.6 Sol（中等推理努力）的复合得分从 6.5% 提升至 31.0%。
• 在 Terminal-Bench 4.0 上，使用 Qwen3-8B 的 HERMES 配置与同构 GPT-5.6 Sol 的性能差距在 4.5% 以内，同时降低了 26.2% 的推理成本。
• 在 DevOps-Gym 的四个任务类别中，HERMES 均实现了性能提升，GPT-5.6 Sol 的平均得分从 49.89% 提升至 55.41%。
• 在四个软件工程基准上平均比匹配基线提升 12.4%，全仓库迁移任务实现大幅提升

局限性与证据边界

适合谁阅读