Research Topic 01 · Joint Embedding Predictive Architecture

JEPA：从表征预测走向可规划的世界模型

研究综合

专题摘要

纳入 12 篇

联合嵌入预测架构（JEPA）不直接复原像素，而是在潜在空间预测被遮挡区域或未来内容的表征，目标是保留语义、运动以及其他可预测结构。本专题沿图像表征、视频动态、训练机制与行动规划四条线索，考察 JEPA 学到什么、为何能稳定训练，以及它在什么条件下可以充当世界模型。

用杯子遮挡题分三步解释 JEPA：模型先看周围，再猜隐藏区域的特征，最后用真实内容检查猜测是否接近 — 图 1 / 3JEPA 在学什么可以把它理解成一道带答案的遮挡题：模型根据周围内容猜隐藏部分应有的特征，再与真实内容的特征比较；它不需要把杯子的每个像素画回来。点击可查看大图。

37篇论文 8篇重点解读 2022–2026研究跨度

建议读法：第一次了解先看 I-JEPA 与 V-JEPA 2；准备复现可直接进入 EB-JEPA；关注世界模型和机器人规划则继续阅读 LeWorldModel 与 Hierarchical Planning。

专题图解接着上方图 1，按图 2 → 图 3 顺序阅读

JEPA 从图像表征、视频表征和训练机制发展到世界模型与规划的四阶段研究路线 — 图 2 / 3JEPA 研究路线研究主线从理解静态图像开始，依次进入时间变化、稳定训练和行动决策；四个阶段与下方论文筛选项对应。点击可查看大图。

JEPA 预测向上、向右和向下三个候选动作的结果，并选择更接近目标且能避开障碍的向上动作 — 图 3 / 3JEPA 如何帮助选择动作世界模型先预测多个候选动作会带来什么结果，再选择更接近目标的动作；预测结果仍需在真实环境中验证。点击可查看大图。

精选主线论文

8 篇重点解读，另有 29 篇延伸论文

arXiv 2023 概念起点图像 JEPA 奠基工作

I-JEPA: Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture

Mahmoud Assran 等 · Meta AI

I-JEPA 的核心设计包含三点：使用目标编码器的指数移动平均在表示空间生成预测目标；采用多块掩码策略，采样 4 个尺度 0.15–0.2 的目标块，并用一个尺度 0.85–1.0 的上下文块（去除与目标重叠区域）进行预测；预测器以窄 ViT 加位置掩码 token 条件化输出。实验在 ImageNet-1K 上以 ViT-H/14 训练 300 epoch，线性探测 Top-1 达 79.3%，1% 半监督表现均优于 MAE 和 data2vec，且在 CLEVR 物体计数与深度预测等低层任务上超越 DINO 和 iBOT。训练效率方面，ViT-H/14 仅需不到 1200 GPU 小时，比 MAE 同等模型快 10 倍以上，比 iBOT 的 ViT-S/16 还少。方法在更大数据集 ImageNet-22K 和更大模型 ViT-G/16 上继续展现扩展性。

I-JEPA: Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture 论文首页

arXiv 2024 视频演进视频 JEPA 奠基工作

V-JEPA: Revisiting Feature Prediction for Learning Visual Representations from Video

Adrien Bardes 等 · Meta AI

V-JEPA 将视频自监督学习简化为单一的特征预测任务：在潜在空间中遮蔽部分视频块，并训练模型预测这些块的特征表示，而不重建像素或依赖预训练图像编码器。该方法在 Kinetics-400、Something-Something V2 等视频理解基准上进行线性探测与微调评估，结果显示其性能达到或超过此前基于对比学习、掩码像素重建或图像预训练初始化的自监督方法。论文同时讨论了特征预测目标在不同视频数据规模和架构下的适用边界，为后续纯视频自监督研究提供了可复现的基线。

V-JEPA: Revisiting Feature Prediction for Learning Visual Representations from Video 论文首页

arXiv 2025 视频演进从视频理解走向行动

V-JEPA 2: Understanding, Prediction and Planning

Mido Assran 等 · Meta AI

V-JEPA 2 研究的是一个更接近世界模型的问题：只从大量视频中学习，模型能否理解物体如何变化，并把这种理解用于行动。研究将训练扩展到超过一百万小时的视频，使模型在动作识别、物体运动和物理变化等任务上获得更强的通用表示；随后又引入动作条件版本 V-JEPA 2-AC，让模型预测机器人执行某个动作后将出现的未来状态。借助这种预测能力，机器人能够在少量交互数据下完成目标导向规划，标志着 JEPA 从视频理解进一步走向可用于控制的世界模型。

V-JEPA 2: Understanding, Prediction and Planning 论文首页

arXiv 2026 视频演进密集视觉表征升级

V-JEPA 2.1: Unlocking Dense Features in Video Self-Supervised Learning

Lorenzo Mur-Labadia 等 · Meta AI

V-JEPA 系列擅长提取视频的整体语义和动态信息，但用于目标检测、分割等任务时，还需要更精细的局部特征。V-JEPA 2.1 通过密集预测目标、在网络深层加入自监督约束，并结合多模态 tokenizer，使模型在保持全局视频理解能力的同时，也能为每个空间位置提供更有辨识度的表示。它补足了早期 V-JEPA 表征偏粗的问题，让同一套预训练模型更容易迁移到需要细粒度定位的视觉任务。

V-JEPA 2.1: Unlocking Dense Features in Video Self-Supervised Learning 论文首页

arXiv 2025 方法与理论 JEPA 稳定训练关键工作

LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics

Randall Balestriero、Yann LeCun

早期 JEPA 通常依靠动量教师、停止梯度等训练技巧避免所有样本被映射成相同表示，但这些技巧为什么有效、是否都不可缺少并不清楚。LeJEPA 从理论上分析表征坍缩的原因，并提出 SIGReg，直接约束潜在表示的分布，使不同样本保留足够的信息与差异。借助这一目标，模型可以减少对复杂经验组件的依赖，在更简洁的训练流程下保持稳定，并为后续图像、视频和世界模型版本提供统一的训练解释。

LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics 论文首页

arXiv 2026 方法与理论工程复现入口

A Lightweight Library for Energy-Based JEPA

Basile Terver 等 · Meta AI

JEPA 的论文覆盖图像、视频和动作条件世界模型，不同工作使用的训练组件与评测方式并不完全一致，初学者很难快速比较。EB-JEPA 把这些核心目标整理成一套轻量化实现，在统一代码框架中展示表征预测、能量函数和动作条件规划之间的关系，并支持在单张 GPU 上运行典型实验。它的主要价值不是提出更大的模型，而是降低复现门槛，方便研究者检查遮挡策略、预测目标和正则方式分别会怎样影响结果。

A Lightweight Library for Energy-Based JEPA 论文首页

arXiv 2026 规划与行动端到端 JEPA 世界模型

LeWorldModel: Stable End-to-End JEPA from Pixels

Lucas Maes 等

许多潜在世界模型需要先单独训练视觉编码器，再学习动作与未来状态之间的关系，多个阶段容易产生目标不一致。LeWorldModel 尝试从原始像素端到端学习动作条件的 JEPA 世界模型：编码器提取当前状态，预测器根据候选动作推演未来表征，并使用 SIGReg 稳定整个训练过程。这样得到的潜在空间既保留控制所需的信息，又能直接比较不同动作的后果，为从视觉输入学习可规划世界模型提供了更简洁的路径。

LeWorldModel: Stable End-to-End JEPA from Pixels 论文首页

arXiv 2026 规划与行动 JEPA 长程规划代表作

Hierarchical Planning with Latent World Models

Wancong Zhang 等

潜在世界模型可以通过反复预测未来来选择动作，但任务时间跨度一长，逐步搜索会迅速变得昂贵，也容易只顾眼前。该研究把规划拆成多个时间尺度：高层模型先在较稀疏的关键状态之间确定长程方向，低层模型再补全实现目标所需的局部动作。通过减少无意义的逐帧推演，方法降低了长程规划的计算量，并让模型在需要连续多步决策的控制任务中更稳定地保持目标。