arXiv
2610.05538
2026-10-04 08:00:00+08
现有循环生成模型在推理时增加计算深度往往导致性能下降。本文提出Loop Flow Transformers (LiFT),为共享核心的每次循环分配连续深度坐标与路径回归目标,解耦计算深度与生成时间。在ImageNet 256×256上,LiFT-L/2较dense DiT-XL/2的FID降低3.34,参数与推理FLOPs分别减少约60%和52%,但在较小规模下仍不及dense模型。 现有的循环 Transformer 在推理时如果循环次数超过训练深度,生成质量往往会下降或饱
arXiv
2610.02383
2026-10-01 08:00:00+08
循环Transformer通过重复网络层增加计算量,但每次递归独立生成KV缓存会导致推理内存随深度线性膨胀。本文提出在预训练阶段引入内存共享机制,让后续递归读取首次递归的完整缓存并仅保留极短的局部窗口。在150M至1B参数规模下,该方法不仅大幅削减上下文内存,还使验证困惑度显著低于同参数标准模型,为循环架构的效率与质量平衡提供了新范式。 循环Transformer通过多次重复相同网络层来增加计算量以提升质量,且不增加参数量。但在标准设定下,每次递归都会生成并保留独立的键值缓存
arXiv
2610.04074
2026-10-02 08:00:00+08
现有自动化科研系统常将构思与下游执行耦合且局限于同领域,难以独立评估想法质量。本文提出IdeaScientist多智能体框架,将构思解耦为缺陷发现、跨领域创新与报告撰写,并利用277万条数据的Svalbard语料库进行异步强化学习。在Qwen3.6-27B模型上,其总体得分超最强开源基线14.0%,甚至超越Claude-4.8-Opus与GPT-5.4等主流闭源模型。 现有的自动化科研系统通常将研究构思与代码实现、实验执行等下游任务耦合,导致难以单独评估研究想法的质量。同时,
arXiv
2610.07832
2026-10-06 08:00:00+08
长周期软件工程 Agent 常因程序状态分散导致上下文爆炸而失效。为此,HERMES 框架将代码组件转化为绑定常驻大模型的 Dev-Primitives,赋予其局部推理与跨组件通信能力。实验表明,该框架在四个主流基准上平均提升 12.4% 解决率,在全仓库迁移任务中实现大幅提升;使用 8B 轻量模型时不仅逼近顶级模型性能,更降低了 26.2% 推理成本。 现有软件工程 Agent 在处理长周期任务时,由于程序状态分散在相互依赖的源文件、配置和测试中,只能依赖不断追加的交互历史
arXiv
2610.07907
2026-10-06 08:00:00+08
传统循环网络因短期计算与长期记忆共享单一向量表示而面临严重的信息处理瓶颈。本文提出 Continuous Memory Machine (CMM),通过共享 Transformer 联合更新显式分离的短期与长期矩阵记忆,实现跨存储的双向读写与内部重组。CMM 在迷宫求解任务中完整准确率显著提升,少样本回归准确率大幅升至 30.63%,但在极长路径下存在性能波动。 传统循环神经网络将序列历史压缩为单一隐藏向量,迫使短期计算与长期记忆共享同一表示,造成信息处理瓶颈。现有的记忆增强
arXiv
2610.08902
2026-10-06 08:00:00+08
现有智能体评测大多只关注静态能力,忽略了模型通过经验持续学习与自我改进的效率。本文提出“智能体可塑性”指标与受控评测协议,旨在衡量模型将交互经验转化为未见任务性能提升的单位成本收益。在棋类与NetHack等环境的评测中,前沿模型表现显著分化:GPT-5.6 Sol学习效率最高,而Claude Fable 5最终绝对性能最好,且训练内的提升难以完全迁移至更强对手,揭示了经验复用与构建物质量的不同瓶颈。 现有的智能体评测大多只衡量模型在固定时间点的静态能力,而忽略了它们在环境中诊
arXiv
2610.09484
2026-10-07 08:00:00+08
现成的大语言模型扮演用户模拟器时往往过于合作,导致交互式 Agent 训练与评估严重失真。本文提出 MIMESIS 框架,通过显式推理监督与 13 种真实人类行为模式的强化学习来训练专用模拟器。该 9B 模型在 RealUserSim 上的保真度比 Claude-Opus-5 提升 13.4 分,且基于其训练的 Agent 在未见环境中的泛化表现显著优于 GPT-5.5 基线。 训练和评估交互式语言 Agent 需要大量多轮用户交互,但收集真实人类反馈成本高昂且难以扩展。现有
arXiv
2610.10515
2026-10-07 08:00:00+08
机器人领域的数据收集成本高昂,但现有潜在世界模型缺乏评估其能力如何随计算和参数规模扩展的原则性方法。本文提出 RoboJEPA,在跨越 12 种机器人具身的大规模数据集上训练了高达 8B 参数的世界模型,并首次确立了多具身机器人世界模型的计算最优扩展定律。研究表明,模型的想象误差随计算量遵循二阶幂律,且下游规划成功率与该误差强相关。尽管规划尚未达到实时级别,但该模型能零样本部署于真实硬件,为机器人基础模型的规模化训练提供了可靠的预测依据。 现有的潜在世界模型通常在单一规模下训
arXiv
2610.12176
2026-10-08 08:00:00+08
大模型在开放式研究等复杂任务中进行递归自我改进时,常因缺乏可靠的人类监督而陷入自我强化的同质化瓶颈。为此,本文提出多智能体自监督(MASS)框架,让单一基础模型交替进行多智能体工作流进化搜索与轨迹监督微调。实验表明,经过两个优化周期,模型在四个研究基准上的每token性能提升1.2至1.6倍,且多智能体轨迹的训练效率显著优于使用1.4倍token训练的单智能体模型。 在开放式研究等非可验证任务中,模型递归自我改进面临监督瓶颈。当模型输出超出人类专家评估能力时,只能依赖模型自身
arXiv
2610.12274
2026-10-08 08:00:00+08
现有 Text-to-SQL 模型多在静态数据上训练,难以应对真实数据库中需多轮交互与纠错的复杂工作流。为此,本文提出 HARNESSSQL,让 agent 在隔离沙盒中通过全轨迹监督微调与强化学习进行原生训练。在 Spider 2.0-SQLite 上,该方法将 8B 和 14B 模型的准确率分别提升至 45.2% 和 54.8%,小参数模型大幅超越 32B 静态模型并成功迁移至分布外基准。 现有的 Text-to-SQL 模型通常被训练为将问题直接映射到静态查询,而真实的