WavJEPA: Semantic learning unlocks robust audio foundation models for raw waveforms

论文解决了什么问题

当前主流音频表征学习依赖频谱图作为输入，但频谱图计算引入额外延迟，且会丢失相位信息。这些问题在对实时性要求高的场景中尤为突出。本文要回答的核心问题是：能否直接在原始波形上进行自监督学习，构建出性能不逊于频谱图方法的音频基础模型？

核心方法

WavJEPA 直接以原始音频波形为输入，采用联合嵌入预测架构（JEPA）在语义空间进行掩码预测，而非在像素或信号层面重建。模型通过编码器提取波形的语义表征，并在潜在空间中预测被掩码区域的语义内容，从而学习到鲁棒的音频表征。整个流程无需频谱图转换，降低了前端处理延迟。

实验结论

• 在多项音频下游任务中性能持平或优于频谱图基础模型
• 省去频谱图计算环节，端到端推理延迟显著降低

局限性与证据边界

适合谁阅读