JEPA证明柏拉图表征假说：少样本对齐如何胜过堆规模

假说怎样变成一条JEPA定理

在特定条件下，两个完全分开训练的JEPA可以学到本质上相同的世界表征。

柏拉图表征假说认为，图像、文本等不同模态上训练的模型，会逐渐收敛到相似的世界表征。这篇论文给出的是定理而不是经验观察：一个JEPA只看同一场景的不同图像，另一个只看该场景的不同文字描述，训练阶段不使用图文配对，两者仍可对齐。

保证来自好视角。正例必须是同一场景的两次观测，其余偏差保持有界时，两个JEPA学到的表征在旋转意义下相同。假说因此带上可核对的条件，也给出该如何设计训练视角。

• 图像侧

  正例来自同一场景的不同图像。

• 文本侧

  正例来自该场景的不同描述，不与图像组成训练对。

• 对齐方式

  两边表征在去掉一次旋转后视为相同。

下一词预测为何被写成坏视角

模型怎么训练，比单纯把规模做大更关键。

论文把下一词预测看成一种JEPA：正例只是同一篇文档里的片段，属于坏视角。在这个解释里，语言模型要和视觉对齐，主要只能靠把规模做大。

验证覆盖从14.5万条描述，到9.4亿张网页图像所对应的文本。文中还给出对齐的缩放规律，能把尚未跑过的实验预测到随机种子噪声以内。好视角被呈现为拉动对齐的杠杆，规模不再是唯一旋钮。

小文本模型在对齐上超过大语言模型

同样的图文对齐，好视角比下一词预测少用42倍训练样本。

在同一语料上达到同等对齐时，好视角所需训练样本是下一词预测的四十二分之一。1.09亿参数的文本JEPA，与DINOv2及CLIP图像编码器的对齐，好过评估中最大720亿参数的语言模型，也好过CLIP的文本编码器。

分开训练的编码器之间只求一次旋转，就能变成图像描述器，在COCO上CIDEr为0.838，而且这次旋转本身不需要图文对。在最新的无配对基准上，该文本JEPA超过此前用不超过80亿参数语言模型报告的全部零样本准确率：ImageNet-100的top-5为64%，对照最高为56%。

能拿来做什么，保证停在哪里

一次旋转就把分开训练的编码器变成图像描述器。

论文页在 alphaxiv.org，题为用JEPA证明并改进柏拉图表征假说。公开信息停留在这篇论文与页面本身，没有应用、接口或开放权重下载的说明。能直接对应的用途，是无配对的跨模态对齐，以及用一次旋转把编码器接成图像描述器。

定理成立的前提写得很具体：正例是同一场景的两次观测，其余偏差有界，两边表征只保证差一次旋转。这些条件同时也标出结论的边界。页面设有限制讨论，但公开摘要没有展开具体失败情形。