ReContext: Recursive Evidence Replay as LLM Harness for Long-Context Reasoning

论文解决了什么问题

当前大语言模型虽然能接收超长输入，但在生成答案时经常无法稳定使用输入中已经存在的关键证据，导致幻觉或错误。现有解决方案要么修改模型内部注意力机制，要么依赖外部检索或上下文压缩，容易丢失细粒度信息或在复杂多跳任务中失效。论文希望回答：能否在不训练、不裁剪原文、不引入外部系统的前提下，让模型在推理阶段主动组织并重复利用长上下文中的相关证据？

核心方法

ReContext 是一种推理阶段的免训练方法。它首先读取完整上下文和问题，利用问题条件下的内部注意力分数对上下文 token 打分，选出高相关位置并映射回原始句子，构成一个有序证据池。随后在若干轮递归中，每轮都将当前证据池拼接到提示中重新计算注意力，从而发现与已选证据相关的新片段，逐步扩充证据池。最终生成答案时，提示包含完整原文、累积证据池和问题，证据用于强调而非替换原文。

实验结论

• 在 8 个 128K 数据集上，ReContext 在 Qwen3-4B、Qwen3-8B、Llama3-8B 上均取得最佳平均排名，平均准确率从 0.24 提升至 0.30（相对 +24.6%）。
• 方法不裁剪原文、不引入外部记忆、不修改模型参数；但在 HotpotQA、InfBench MC 等部分任务上并非所有指标领先，效果具有任务依赖性。

适合谁阅读