论文解决了什么问题
现有的循环扩散 Transformer 在推理时如果循环次数超过训练深度，生成质量往往会下降或饱和。同时，单纯增加流匹配的积分步数也会因速度场估计误差达到瓶颈。这导致模型无法在推理阶段有效利用额外的计算资源来提升生成质量。
核心方法
LiFT 将 Transformer 架构分为前奏、共享核心和尾声，在每次速度场评估中重复应用共享核心。训练时，为每个循环分配一个连续的深度坐标，并将其回归目标设定为从初始估计到最终流匹配目标的直线路径上的对应点。推理时，模型可以通过增加循环次数来细化这条修正路径，从而实现计算深度与生成时间的解耦。
方法与已有工作的区别
有原文依据与现有的循环扩散模型（如使用 MeanFlow 训练的 looped DiT-B/4）相比，后者在同等计算量下并未优于 dense 模型，且额外采样步数比额外循环更有效；而 LiFT 通过轨迹目标让每个循环承担不同的修正任务，使得推理时增加循环次数能持续降低 FID，并在 L/2 和 XL/2 规模下超越了同等计算量的 dense 模型。
实验结论
- 在 ImageNet 256×256 上，LiFT-L/2 相比 dense DiT-XL/2 基线 FID 降低 3.34，参数量减少约 60%，推理 FLOPs 减少 52%。
- XL/2 模型在训练 2 个循环的情况下，推理时扩展到 16 个循环，FID 从 17.07 降至 9.31，证明推理深度可以远超训练深度。
- 在 L/2 和 XL/2 规模下，LiFT 能够通过增加推理循环次数超越 dense 模型；但在 B/2 规模下，dense 模型在所有评估的计算成本下均表现更强。
- 当执行深度相同时，LiFT 在训练操作点（即推理循环数等于训练循环数）的 FID 高于同规模 dense 模型，其优势来自于推理时重新分配计算资源以增加循环数。
- LiFT-L/2 相比 dense DiT-XL/2 基线 FID 降低 3.34，参数量减少约 60%
局限性与证据边界
- 在较小的模型规模（如 B/2）下，由于单个共享 Transformer 块的容量限制，LiFT 的表现仍落后于 dense 模型。
- 当推理循环数增加到一定程度（如 32 个循环）时，部分模型的 FID 曲线会趋于平缓甚至略有上升，表明无限增加循环次数存在收益递减或饱和边界。
- 原文未明确披露 LiFT 在视频生成或更高分辨率（如 512x512 及以上）图像生成任务中的具体表现与扩展性边界。
- 原文未提供 LiFT 与其他非 Transformer 架构的循环生成模型（如循环 U-Net）的直接对比数据。
适合谁阅读
生成模型模型架构视觉模型提出 Loop Flow Transformers (LiFT)，将 DiT 架构分为前奏、共享核心和尾声。在每次速度场评估中，共享核心被重复应用多次，每次应用被赋予一个连续的深度坐标。训练时，每个循环的回归目标被设定为从模型初始速度估计到最终流匹配目标的直线路径上的对应点，最后一个循环使用标准流匹配目标。推理时，可以通过增加循环次数来细化这条路径，而无需重新训练。
可核验的原论文来源和作者
- 作者
- 作者信息暂未从原始元数据中确认
- 来源
- arXiv
- 论文 ID
- 2610.05538