论文解决了什么问题
现有的 Text-to-SQL 后训练通常将任务视为单轮静态生成，忽略了真实数据库 agent 在部署时需要检查表结构、执行探测查询和修正错误的多轮交互过程。这种训练与部署环境的严重不匹配，导致模型在面对运行时执行反馈和长周期工作流时表现脆弱。本文旨在探索如何让模型在真实的执行环境中学习完整的交互策略。
核心方法
HARNESSSQL 框架通过构建隔离的容器化数据库沙盒和隐藏的执行验证器，为 agent 提供真实的交互环境。系统设计了专用的 SQL 交互协议，限制 agent 仅使用表发现、模式检查、查询执行和提交四个工具。训练过程分为两步：首先利用在沙盒内收集的验证轨迹进行全序列监督微调冷启动，随后通过基于执行结果的奖励进行强化学习优化。
方法与已有工作的区别
有原文依据与传统的静态 Text-to-SQL 微调（如 OmniSQL、Arctic-Text2SQL）以及多 agent 系统（如 MARS-SQL）相比，HARNESSSQL 明确在包含执行反馈的交互式沙盒中进行全轨迹训练，而非仅优化最终生成的 SQL 字符串，从而在 8B/14B 参数规模下实现了远超 32B 静态模型的执行准确率。
实验结论
- 在 Spider 2.0-SQLite 上，HARNESSSQL 将 Qwen3-8B 的执行准确率从 15.5% 提升至 45.2%，Qwen3-14B 从 22.2% 提升至 54.8%。
- 在分布外基准 BIRD-Interact Mini 和 LiveSQLBench Base-Lite 上，8B/14B 模型分别达到 9.0%/11.3% 和 24.8%/28.5%，大幅超越 32B 基线模型。
- 消融实验表明，必须先通过 SFT 提供交互冷启动，直接对基础模型应用 RL 的提升效果有限（8B 模型仅提升 4.5 个百分点）。
- 模型性能随上下文窗口增加而显著提升，在 Spider 2.0-SQLite 上，上下文从 8K 增加到 32K 时，执行准确率从 27.4% 提升至 45.2%。
- Qwen3-8B 和 14B 模型在 Spider 2.0-SQLite 上的执行准确率分别提升至 45.2% 和 54.8%
局限性与证据边界
- 框架高度依赖充足的上下文窗口容量，截断早期交互会丢失执行证据和中间推理，导致性能下降。
- 强化学习阶段依赖监督微调提供的冷启动，无法直接从零开始通过 RL 高效学习复杂的执行引导推理。
- 训练和推理严格绑定于特定的 4 工具交互协议，原文未明确披露在完全不同工具集或无沙盒环境下的泛化表现。
- 原文未明确披露更大规模模型（如 32B 以上）在 HARNESSSQL 框架下的训练效果。
- 原文未提供构建隔离沙盒和收集验证轨迹的具体计算成本与时间开销。
适合谁阅读
Agent 系统训练与后训练强化学习提出 HARNESSSQL 框架，包含三个核心组件：构建包含隔离沙盒和隐藏执行验证器的可执行 SQL 环境；设计 SQL 专用的交互协议，将工具限制为表发现、模式检查、查询执行和提交四个原语；在适配后的环境中收集经过验证的完整交互轨迹，先进行全序列监督微调冷启动，再使用基于执行结果的奖励进行强化学习优化。
可核验的原论文来源和作者
- 作者
- 作者信息暂未从原始元数据中确认
- 来源
- arXiv
- 论文 ID
- 2610.12274