论文解决了什么问题
在 Minecraft 这类开放世界环境中,智能体需要持续探索、制定长期计划并积累可复用能力。现有基于大语言模型的 agent 通常只能一次性生成文本计划或调用固定工具,无法将经验沉淀为可执行、可检索的技能,也难以在长时间尺度上自主推进目标。
核心方法
Voyager 由自动课程、代码技能生成与可扩展技能库三个模块组成。自动课程根据当前状态提出探索目标;技能生成模块让 LLM 把动作写成代码,并通过环境报错与执行反馈迭代修正;验证通过的代码被存入技能库,后续任务可通过向量检索复用已有技能。
方法与已有工作的区别
有原文依据相比 AutoGPT 等仅生成文本计划或调用固定工具的 agent,Voyager 将行动编码为可执行代码并维护可检索技能库,使其在 Minecraft 中获得的独特物品数量显著多于 AutoGPT。
实验结论
- Voyager 获得的独特物品数量显著多于 AutoGPT
- 技能库中的代码可在新任务中被检索并成功执行
- 移除技能库或自动课程模块后,探索效率和任务完成率均下降
局限性与证据边界
- 依赖 GPT-4 闭源模型的代码生成与推理能力
- 未引入视觉感知模块,仅依赖游戏内文本与状态接口
- 适用范围受限于可通过代码接口操作的沙盒环境
- 具体实验地图、时间步数与统计次数未在摘要中披露
- 与其他基线(如 ReAct、MineDojo)的定量对比细节未在摘要中给出
适合谁阅读
研究具身 agent 终身学习与技能积累的学者探索 LLM 驱动代码生成与工具调用的工程师在沙盒或可程序化环境中构建自主 agent 的团队Agent 系统技能学习
可核验的原论文来源和作者
- 作者
- Wang, Guanzhi, Xie, Yuqi, Jiang, Yunfan, Mandlekar, Ajay, Xiao, Chaowei, Zhu, Yuke, Fan, Linxi, Anandkumar, Anima
- 来源
- arXiv
- 论文 ID
- 2305.16291