MIMESIS: Learning User Simulators as Training Environments for Interactive Agents

论文解决了什么问题

训练和评估交互式 Agent 需要大量多轮用户交互，但收集人类反馈成本极高且难以扩展。现有框架通常直接使用现成的助手大模型扮演用户，但这些模型过于合作和明确，导致模拟的交互难度与真实人类存在系统性偏差。这种失真不仅掩盖了 Agent 在长程推理和状态追踪上的缺陷，也使得基于模拟轨迹的训练难以泛化到真实场景。

核心方法

作者提出 MIMESIS 两阶段框架，首先通过显式推理监督和联合多领域强化学习，训练出掌握 13 种真实人类行为模式的专用用户模拟器。随后冻结该模拟器作为交互环境，并引入 Coached On-Policy Self-Distillation 机制。该机制利用模拟器生成的私有思考轨迹和后续反应构建教练反馈，为 Agent 提供密集的 token 级监督，而部署时的 Agent 仅依赖公开对话历史。

与直接使用现成助手模型或仅依赖响应模仿的开源模拟器相比，MIMESIS 明确引入了基于 ThoughtTrace 的显式推理监督，并将 13 种真实用户行为模式作为独立的强化学习目标，从而在行为保真度和交互难度校准上显著优于基线。

实验结论

• MIMESIS-9B 的 SOUL-Index 达到 65.7，超越 Claude-Opus-5 和 GPT-5.5，在对话模拟维度领先最强基线 13.4 分。
• 在 RealUserSim 基准上，MIMESIS-9B 的行为保真度指数为 94.0，比最强基线 Claude-Opus-5 高出 13.4 分，尤其在信息流和对话节奏上优势明显。
• 现成前沿模型作为用户模拟器会严重扭曲任务难度，使固定 Agent 的成功率偏离真实人类基线 18.8 至 20.8 个百分点，而 MIMESIS 的偏差控制在 2.4 个百分点以内。
• 在 8 个环境中，使用 MIMESIS 训练的 Agent 在 9 个未见过的用户模拟器评估中，性能全面优于使用 GPT-5.5 训练的 Agent。
• MIMESIS-9B 在 SOUL-Index 取得 65.7 分，超越最强前沿模型

局限性与证据边界

适合谁阅读