Research Topic 01 · Joint Embedding Predictive Architecture

JEPA：从表征预测走向可规划的世界模型

JEPA（联合嵌入预测架构）是一类让模型通过“预测表征”来理解世界的自监督学习方法，目标是学到能够支持识别、推理和行动的内部世界模型。它要解决的核心问题是：图像、视频和声音中包含大量随机细节，如果要求模型逐一重建像素或 token，训练资源会被消耗在颜色、纹理和噪声上，学到的表示也未必适合判断物体如何变化或行动会带来什么后果。JEPA 的做法是先把已知内容和待预测目标编码到潜在空间，再让预测器根据上下文推断目标区域或未来状态的高层表征；模型不必复原所有表面细节，只需抓住稳定、可预测并且对任务有用的结构。I-JEPA 首先在图像上验证了这条路线，V-JEPA 将它扩展到视频动态，之后的 LeJEPA、V-JEPA 2 和 LeWorldModel 又把研究推进到稳定训练、物理理解与机器人规划。

37篇论文 8篇重点解读 2022–2026研究跨度

建议读法：第一次了解先看 I-JEPA 与 V-JEPA 2；准备复现可直接进入 EB-JEPA；关注世界模型和机器人规划则继续阅读 LeWorldModel 与 Hierarchical Planning。

精选主线论文

8 篇重点解读，另有 29 篇延伸论文

arXiv 2023 概念起点图像 JEPA 奠基工作

I-JEPA: Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture

Mahmoud Assran 等 · Meta AI

I-JEPA 的核心设计包含两点：一是预测目标在表征空间而非像素空间生成，由目标编码器（指数移动平均更新）提供语义级 target；二是多块遮挡策略，随机采样 4 个尺度 0.15–0.2 的目标块，并用一个尺度 0.85–1.0 且去除重叠区域的上下文块作为输入，保证预测任务非平凡且上下文信息充足。实验在 ImageNet-1K 上以 ViT-H/14 训练更高水平 epoch，线性探测 Top-1 达 79.3%，1% 半监督达更高水平，均优于 MAE（77.2% / 71.5%）和 data2vec（77.3% / 更高水平但需更高水平 epoch）。在 Clevr 物体计数与深度预测等低层任务上也超过 DINO 和 iBOT。预训练仅需不到 1200 GPU 小时，比 MAE ViT-H/14 快 10 倍以上，比 iBOT ViT-S/16 还少。方法在 ImageNet-22K 上继续受益于数据规模，ViT-G/16 在多个迁移任务上进一步提升。边界在于：目前仅在图像模态验证，且依赖 ViT 架构与 EMA 目标编码器来避免表征坍塌。

I-JEPA: Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture 论文首页

arXiv 2024 视频演进视频 JEPA 奠基工作

V-JEPA: Revisiting Feature Prediction for Learning Visual Representations from Video

Adrien Bardes 等 · Meta AI

图像模型能够识别画面中有什么，却很难仅凭静态外观理解物体如何运动、动作如何展开。V-JEPA 把 I-JEPA 的表征预测扩展到视频：模型观察部分时空片段，再预测被遮挡片段的高层表征，全程不重建像素、不使用负样本，也不需要人工标签。这样学到的表示同时保留画面内容与时间变化信息，在动作识别、动作预测和运动理解任务上表现出较强的迁移能力，为后续从视频学习世界动态奠定了基础。

V-JEPA: Revisiting Feature Prediction for Learning Visual Representations from Video 论文首页

arXiv 2025 视频演进从视频理解走向行动

V-JEPA 2: Understanding, Prediction and Planning

Mido Assran 等 · Meta AI

V-JEPA 2 研究的是一个更接近世界模型的问题：只从大量视频中学习，模型能否理解物体如何变化，并把这种理解用于行动。研究将训练扩展到超过一百万小时的视频，使模型在动作识别、物体运动和物理变化等任务上获得更强的通用表示；随后又引入动作条件版本 V-JEPA 2-AC，让模型预测机器人执行某个动作后将出现的未来状态。借助这种预测能力，机器人能够在少量交互数据下完成目标导向规划，标志着 JEPA 从视频理解进一步走向可用于控制的世界模型。

V-JEPA 2: Understanding, Prediction and Planning 论文首页

arXiv 2026 视频演进密集视觉表征升级

V-JEPA 2.1: Unlocking Dense Features in Video Self-Supervised Learning

Lorenzo Mur-Labadia 等 · Meta AI

V-JEPA 系列擅长提取视频的整体语义和动态信息，但用于目标检测、分割等任务时，还需要更精细的局部特征。V-JEPA 2.1 通过密集预测目标、在网络深层加入自监督约束，并结合多模态 tokenizer，使模型在保持全局视频理解能力的同时，也能为每个空间位置提供更有辨识度的表示。它补足了早期 V-JEPA 表征偏粗的问题，让同一套预训练模型更容易迁移到需要细粒度定位的视觉任务。

V-JEPA 2.1: Unlocking Dense Features in Video Self-Supervised Learning 论文首页

arXiv 2025 方法与理论 JEPA 稳定训练关键工作

LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics

Randall Balestriero、Yann LeCun

早期 JEPA 通常依靠动量教师、停止梯度等训练技巧避免所有样本被映射成相同表示，但这些技巧为什么有效、是否都不可缺少并不清楚。LeJEPA 从理论上分析表征坍缩的原因，并提出 SIGReg，直接约束潜在表示的分布，使不同样本保留足够的信息与差异。借助这一目标，模型可以减少对复杂经验组件的依赖，在更简洁的训练流程下保持稳定，并为后续图像、视频和世界模型版本提供统一的训练解释。

LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics 论文首页

arXiv 2026 方法与理论工程复现入口

A Lightweight Library for Energy-Based JEPA

Basile Terver 等 · Meta AI

JEPA 的论文覆盖图像、视频和动作条件世界模型，不同工作使用的训练组件与评测方式并不完全一致，初学者很难快速比较。EB-JEPA 把这些核心目标整理成一套轻量化实现，在统一代码框架中展示表征预测、能量函数和动作条件规划之间的关系，并支持在单张 GPU 上运行典型实验。它的主要价值不是提出更大的模型，而是降低复现门槛，方便研究者检查遮挡策略、预测目标和正则方式分别会怎样影响结果。

A Lightweight Library for Energy-Based JEPA 论文首页

arXiv 2026 规划与行动端到端 JEPA 世界模型

LeWorldModel: Stable End-to-End JEPA from Pixels

Lucas Maes 等

许多潜在世界模型需要先单独训练视觉编码器，再学习动作与未来状态之间的关系，多个阶段容易产生目标不一致。LeWorldModel 尝试从原始像素端到端学习动作条件的 JEPA 世界模型：编码器提取当前状态，预测器根据候选动作推演未来表征，并使用 SIGReg 稳定整个训练过程。这样得到的潜在空间既保留控制所需的信息，又能直接比较不同动作的后果，为从视觉输入学习可规划世界模型提供了更简洁的路径。

LeWorldModel: Stable End-to-End JEPA from Pixels 论文首页

arXiv 2026 规划与行动 JEPA 长程规划代表作

Hierarchical Planning with Latent World Models

Wancong Zhang 等

潜在世界模型可以通过反复预测未来来选择动作，但任务时间跨度一长，逐步搜索会迅速变得昂贵，也容易只顾眼前。该研究把规划拆成多个时间尺度：高层模型先在较稀疏的关键状态之间确定长程方向，低层模型再补全实现目标所需的局部动作。通过减少无意义的逐帧推演，方法降低了长程规划的计算量，并让模型在需要连续多步决策的控制任务中更稳定地保持目标。