Continuous Memory Machines

论文解决了什么问题

传统循环神经网络将序列历史压缩为单一隐藏向量，导致短期计算与长期记忆共享表示，形成信息处理瓶颈。现有的记忆增强网络虽扩大了容量，但缺乏生物神经网络中快速神经元级处理与长期保留的有效结合。本文旨在回答：能否将丰富的短期神经动态与记忆增强架构的持久存储能力结合，以创建更具能力且可解释的循环模型？

核心方法

CMM 显式分离了矩阵值的短期记忆（STM）和长期记忆（LTM），分别负责跟踪近期神经活动与持久存储信息。模型将两者与可学习的 sink token 拼接，通过共享的 Transformer 进行联合更新，支持存储内重组与跨存储的双向读写。更新后的 STM 随后通过独立的神经元级模型生成下一时刻的激活状态，实现任务自适应的记忆调用。

相较于 DNC 等使用结构化寻址的记忆增强网络，CMM 通过自注意力机制学习记忆交互，并维持功能不同的双矩阵存储；相较于 RMC，CMM 引入了独立的神经元级时间处理；相较于原始 CTM，CMM 增加了持久长期记忆，弥补了其在长序列召回和重排任务上的性能缺陷。

实验结论

• 在排序（Sort）算法任务中，CMM 的测试损失降至 4.1×10^-3，优于 DNC（1.4×10^-2）和标准 Transformer（2.7×10^-2）。
• 在 39×39 迷宫求解任务中，CMM 的动作准确率从 CTM 的 88.8% 提升至 96.3%，完整迷宫准确率大幅提升。
• 在少样本线性回归任务（K=20）中，CMM 的准确率从 CTM 的 8.78% 提升至 30.63%，超越所有基线与消融模型。
• 注意力可视化表明，CMM 能学习任务依赖的记忆策略，例如在迷宫任务中 STM 查询完全关注 sink token 以抑制记忆读取，而在复制任务中主要关注 LTM。
• 迷宫求解动作准确率提升至 96.3%，完整迷宫准确率显著提升

局限性与证据边界

适合谁阅读