备受Meta折磨，LeCun依旧猛发论文！新作：JEPAs能感知数据密度

备受Meta审核规定“折磨”，依旧猛发论文！

表示可能要辞职的LeCun带着最新研究来了，仍然和三位FAIR同事合作。

Yann LeCun团队新论文发现了自监督模型JEPAs（联合嵌入预测架构）的隐藏技能——

学会了数据的“密度”

这里的“数据密度”可以理解成数据的常见程度：密度高的样本是更典型、更常见的数据，密度低的是少见的、甚至异常的数据。

JEPAs原本被视为仅擅长特征提取的模型，这次LeCun团队发现该模型在训练过程中悄悄掌握了感知数据常见程度的能力。

这就意味着，只要JEPAs训练成功了，不用额外做什么，就能用它来判断一个样本的常见程度

打破了学界长期以来“JEPAs仅学特征、与数据密度无关”的认知。

核心发现：反坍缩能精准学习数据密度

要理解这一新发现的突破，首先来说一下JEPAs。

△源自《A Path Towards Autonomous Machine Intelligence》图12

JEPAs作为LeCun团队近年重点推进的自监督学习框架，核心优势在于无需人工标注，模型就能自主从海量数据中学习特征规律，学完后就可以直接适配图像识别、跨模态匹配等下游任务，是AI领域高效学习的代表性模型。

此前学界普遍认为，JEPAs的训练只有两个核心目标：

• 一是latent空间预测。即给原始数据（如图像）做轻微扰动（裁剪、调色）后，扰动数据的特征表示（模型内部理解的数据形态）能从原始数据特征中精准预测；
• 二是反坍缩。防止所有样本的特征趋同一致。

而论文的新发现就是从反坍缩中得来。

如果所有数据的特征都一样，模型相当于白学，所以过去大家都将反坍缩单纯视为避免特征失效的保障手段，没有意识到它还有更深层的作用。

LeCun团队就聚焦于反坍缩的的隐藏价值，研究通过变量替换公式高维统计特性推导证明，反坍缩不仅能防止特征坍缩，更能让JEPAs精准学习数据密度

从理论层面看，当JEPAs输出高斯嵌入（高维空间中近似均匀分布于超球面的特征）时，模型必须通过雅可比矩阵（反映模型对样本微小变化的响应程度）感知数据密度，才能满足训练时的约束条件，这意味着学习数据密度并不是偶然，而是JEPAs训练过程中的必然结果

为了让这种隐藏的密度感知能力落地实用，团队还提出了关键工具JEPA-SCORE

这是从JEPAs 中提取数据密度的量化指标，核心作用就是给样本的常见度打分