arXiv论文用JEPA证明柏拉图表征假设并给出对齐定理

Randall Balestriero 在 arXiv 发布论文，将柏拉图表征假说转化为定理：在任意数量模态上分别训练的 JEPA，只要正样本对是同一场景的观测，就会学到至多相差一个旋转的相同表征。论文指出 next-token prediction 是坏视角的 JEPA，并实验显示好视角只需 42 分之一训练样本即可达到同等对齐，109M 参数文本 JEPA 对齐 DINOv2 与 CLIP 图像编码器的效果好于最高 72B 参数的语言模型，一次旋转即可把分离训练的编码器变成图像描述器（COCO 上 CIDEr .838）。