Autonomous Machine Intelligence

Yann LeCun的思路

Yann LeCun在2022年中提出了所谓自主机器智能(Autonomous Machine Intelligence, AMI)的宏伟蓝图。AMI 的目标是让机器像动物和人类一样，通过感知世界、建立世界模型、预测未来、规划行动，自主学习和解决问题。

LeCun 等人对于现阶段的 AI 发展提出了一个核心命题：

当前 AI 最大的问题不是缺少知识，而是缺少对世界的理解。

现有模型大多建立在从大量数据中学习统计规律的基础上。例如 GPT 类大语言模型通过预测下一个 token 来学习语言规律；扩散模型通过去噪过程生成图像；视觉模型通过监督学习完成分类或检测任务。这些方法能够在特定任务上表现出色，但它们本质上是在学习输入数据空间中的相关性，而不是学习现实世界中物体、事件和因果关系之间的规律。

因此，虽然模型能够生成看似合理的答案或内容，却并不一定真正理解其背后的物理规律和环境动态。AMI 期望解决这一问题，从而推进 AI 智能体的发展。

与传统的监督学习模型相比，AMI 提出的一个重要动机是解决人工标注数据依赖的问题。人类等生物体的学习过程通常不基于显式的数据标注，而 AMI 试图建立类似的学习机制，使机器能够通过自监督学习从大量未标注的数据中学习环境结构，而不是依赖人为定义的任务和标签。

AMI 的提出也是为了弥补当前生成式模型在世界模型方面的不足。AMI 强调构建内部世界模型，使机器能够学习环境状态之间的变化规律，并通过预测未来状态来指导决策。这种能力对于机器人、自动驾驶和智能体系统尤为重要，因为这些任务不仅要求模型回答问题，还要求模型在真实环境中采取行动。

架构组成

LeCun设想的AMI是一个模块化的系统

感知模块(Perception)：如同大脑的视觉、听觉皮层，负责估测世界的当前状态
世界模型(World Model)：整个系统的核心引擎。它能根据行动模块提出的假想动作，预测世界可能演变出的多种未来状态
成本模块(Cost)：评估主体的不适度，输出一个名为能量的标量，包括
- 内在成本(Intrinsic Cost)：不可训练，如同生物本能，计算当前状态的直接痛苦或愉悦（如饥饿、疼痛）
- 评判家(Critic)：可训练，负责预测未来的内在成本
行动模块(Actor): 负责提出一系列候选动作序列
短期记忆(Short-term Memory)：追踪并记录当前和预测中的世界状态及相关成本
配置器(Configurator)：接收所有模块的输入，进行全局调度以完成特定任务

[{"url":"https://picx.zhimg.com/v2-17f2434818dbc6085e6182d0af2669b9_1440w.jpg","alt":"AMI架构","title":""}]

JEPA

自监督学习

自监督学习(Self Supervised Learning, SSL)是一种机器学习范式，其中训练学习系统以捕获其输入之间的相互依赖关系。自监督学习的本质是自动构造数据集，监督信号是机器生成的，也就是自动的，所以称为自监督。

捕获输入间的相互依赖关系，本质就是将这个自动构造的数据集和它自动生成的监督信号的依赖对应起来而已。

LeCun对自监督学习的观点是：我们不强制模型能够从 $x$ 预测 $y$ ，这是因为可能有无数个 $y$ 与给定的 $x$ 兼容。取而代之的是，我们可以定义一个能量函数 $E$ ，让模型学习哪些状态组合 $(x,y)$ 是合理的、哪些是不合理的。

在某种层面上，能量函数建模和概率分布建模表述的是同一个思想。他们不直接给定一个准确的预测输出，而是通过训练得到一种评估方法。使用该评估方法，我们就能够对给定的状态打分，得到合理度（在概率分布模型里表述为概率）。

隐变量信息

现实世界的未来不是完全确定的，因此模型不能只预测一个未来状态，而需要引入潜变量来表示未来中的不确定因素。在上述能量模型之中，我们引入了一个能量函数 $E(x,y)$ 衡量输入 $x$ 和输出 $y$ 组合的合理性，现在考虑一个新的隐变量 $z$ 。

未来状态 $y$ 不仅由当前观察 $x$ 决定，还受到一些隐藏因素 $z$ 影响
此处的隐变量 $z$ 表示世界状态中不可观察的原因，这与生成模型的定义不同

隐变量能量模型是取决于 $x,y,z$ 的参数化能量函数 $E_w(x,y,z)$ 。当出现一对 $(x,y)$ 时，模型通过推理会找到一个隐变量 $z$ 的值，它使能量最小化

$\hat{z}=\arg\min_{z\in Z}E_w(x,y,z)$

此时的最小化隐变量推断使得我们确定出关于 $x,y$ 的能量函数

$F_w(x,y)=E_w(x,y,\hat{z})$

EBM训练

训练一个能量模型(EBM)的核心不是像传统监督学习那样直接学习一个输入到输出的映射，而是学习一个能量函数 $E$ ，使得满足以下要求

符合世界规律的状态组合具有低能量
不符合世界规律的状态组合具有高能量

也就是说，训练过程本质是在学习一个世界合理性评价器。即表示为

$\min_{x,y,w} L(x,y,F_w(x,y))$

我们希望对于给定的输入 $x$ ，合理的输出 $y^{+}$ 和不合理的输出 $y^{-}$ 满足

$F_w(x,y^{-})>F_w(x,y^{+})\rightarrow 0$

JEPA架构

联合嵌入预测架构(JEPA)综合了上述小节的叙述，其核心思想是：放弃像素级的重建，在更高维度的抽象表征空间中进行预测。对于输入空间的一个观测 $x\in X$ 和目标空间的一个结果 $y\in Y$ ，我们使用编码器进行编码

$s_x=\mathrm{Enc}(x),\quad s_y=\mathrm{Enc}(y)$

接下来，我们基于 $s_x$ 和一个可选的隐变量 $z$ 来预测 $y$ 的表征，得到

$\tilde{s}_y=\mathrm{Pred}_{\theta}(s_x,z)$

我们的目标是让预测得到的 $y$ 表征和真实表征的差异最小化

$F_w(x,y)=\min_{\theta} D(s_y,\tilde{s}_y)$

注意，这里的 $y$ 并非表示输入 $x$ 的 Label，而是和 $x$ 同类型的状态表示。模型学习的是如何在同一个世界过程中学习 $x\rightarrow y$ 的抽象表示，下面是一个例子

$x$ ：一张照片的上半部分
$y$ ：一张照片被遮盖住的下半部分
$x\rightarrow y$ ：从照片的上半部分推算下半部分长什么样子

[{"url":"https://picx.zhimg.com/v2-13c6647660a524d16d53a25b00350b6d_1440w.jpg","alt":"JEPA架构","title":""}]

JEPA 之所以具有潜力，关键在于其对于高维隐空间的假设。对于不同视图的表征，如果我们能够在高维层面上捕获他们共同的信息，也就是隐藏特征，那么这种对事物本质的预测将区别于对事物本质低维表征的预测。举例而言：虽然 LLMs 等已经能够在 token 级别实现人类级别的处理，但 JEPA 等模型追求在这些表征背后的本质化处理，而一旦成功，这种对信息的处理方式将极大增加其输出质量和内涵。

X-JEPA

I-JEPA

I-JEPA 由 LeCun 团队提出，发表于 Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture 论文中，第一次把 JEPA 从世界模型的理论框架落地到了图像理解任务中。

I-JEPA 的目标是让模型通过观察图像的一部分，预测图像另一部分的抽象表示，而不是重建缺失像素。和 JEPA 的主要思想类似，如果使用传统的 MAE（遮掩自编码器）实现像素级复现，将花费高额的计算代价，但需要生成的很多细节对于理解对象并不重要。因此，I-JEPA 在这一基础上学习图像内部的语义结构。

对于一张照片 $I$ ，我们使用类似 ViT 的方法将其划分为多个 $\mathrm{patches}$ 并随机采样分为两类

上下文输入： $x=\{p_i|p_i\in I\}$
待预测目标： $y=\{p_j|p_j\in I,p_j\not\in x\}$

这些 $\mathrm{patches}$ 的划分和位置嵌入等均遵循 ViT 规范。对于上下文编码器 $f_{\theta}(x)$ 和目标编码器 $f_{\bar{\theta}}(y)$ ，同样采用包含 Transformer Block 等组件的 ViT 实现编码，得到上下文的 $\mathrm{patches}$ 编码表示 $s_x=\{s_{x_i}\}$ 和预测目标的 $\mathrm{patches}$ 表示 $s_y=\{s_{y_j}\}$ 。

现在我们同样选取一个较小规模的 ViT 实现从上下文编码和目标编码的预测，为了让模型知晓目标编码的位置，我们把其掩码位置信息作为输入，得到预测结果

$\hat{s}_y=\{g_{\phi}(s_x,pos_y)\}$

最终的损失被简单计算为预测结果和目标的 $L2$ 范数，即有

$L=\frac{1}{|s_y|}\sum_{i=1}^{|s_y|}\|\hat{s}_{y_i}-s_{y_i}\|_2^2$

值得一提的是，I-JEPA 具有容易崩溃的性质——当若干张图片具有相似的噪声特征时，模型编码器会学习这些噪声编码，从而影响模型的表现性能。用数学语言表示，模型很可能会学到 $s_y=\hat{s}_y=0$ 的策略，这种无意义的收敛称为崩溃(Collapse)。

为了解决这一问题，I-JEPA 引入了教师-学生模型(Teacher-Student Model)。上下文编码器 $f_{\theta}$ 作为学生模型，参与正常的梯度更新；目标编码器 $f_{\bar{\theta}}$ 作为教师模型，不参与梯度的反向传播。参数 $\bar{\theta}$ 是 $\theta$ 的 EMA 更新，即有动量形式

$\bar{\theta}_t\leftarrow m\bar{\theta}_t+(1-m)\theta_t,\quad m=0.99925$

这一改动使得教师模型 $f_{\bar{\theta}}$ 的参数更新远慢于学生模型 $f_{\theta}$ ，当学生模型发生崩溃时，教师模型由于不及时的参数更新，输出仍会显出多样化，损失函数捕捉到后就能够及时纠正这种崩溃。

V-JEPA

V-JEPA 在 I-JEPA 的基础上增加了对图像的时空维度处理，即视频流。假设你在看一部电影，快进时跳过了一些片段。凭借你看过的前后剧情，你的大脑可以轻松脑补出中间被跳过的内容。而 V-JEPA 所做的正是这样一件事情。

具体而言，给定视频中可观察到的上下文 $x$ ，V-JEPA 要做的便是预测未来或缺失视频区域 $y$ 的潜在表示 $s_y$ ，而不是预测像素。一个输入的 $T$ 帧视频样本可以被表示为

$V=\begin{bmatrix}v_1&\cdots&v_T\end{bmatrix}\in\mathbb{R}^{T\times H\times W\times C}$

通过设置上下文掩码 $M_c$ 和目标掩码 $M_t$ ，可以得到上下文输入 $x=M_c(V)$ 和目标 $y=M_t(V)$ 。这里需要注意的是，一对样本 $(x,y)$ 均来自同一条视频输入。

对样本进行 Video Transformer 预处理（ $\mathrm{patches}$ 划分、位置编码和卷积降维），此时在时间通道上不做划分处理，可以得到若干 $\mathrm{patches}$ 作为正式的预编码输入。使用类似 I-JEPA 的符号表示，可以得到编码后的上下文和目标

$s_x=f_{\theta}(x)\in\mathbb{R}^{N_c\times d},\quad s_y=f_{\bar{\theta}}(y)\in\mathbb{R}^{N_t\times d}$

其中的 $d$ 表示 Transformer 隐藏层维度，接着通过目标掩码信息构建目标预测器

$\hat{s}_y=\{g_{\phi}(s_x,M_t)\}$

根据 JEPA 架构的定义，训练目标可以定义为

$\min_{\theta,\phi}\frac{1}{N_t}\sum_{i=1}^{N_t}\|\hat{s}_{y_i}-s_{y_i}\|_1$

其中的 $\bar{\theta}$ 同样经过 EMA 方法实现更新，而非使用常规的梯度方法更新。

V-JEPA 2

V-JEPA 2 是 MetaAI 在 V-JEPA 基础上的进一步发展，它的核心目标是把 JEPA 从视频理解模型推进到可用于世界建模和具身智能的预测模型。V-JEPA 2 的主要贡献是引入了动作交互条件的 JEPA 架构，具体可以拆解为如下两个步骤

通过大规模视频预训练学习通用视觉世界模型
利用机器人交互数据进行动作条件预测，使模型能够预测如果执行某个动作，世界会如何变化。该步骤是 V-JEPA 2 的主要创新点和贡献。

V-JEPA 2 区别于 V-JEPA 的地方主要体现在目标预测器的构建，即有

$\hat{s}_y^{(t)}=\{g_{\phi}(s_x^{(t)},M_t,a^{(t)})\}$

其中的 $a^{(t)}=\arg\max\limits_{a\in Action} C(s_x^{(t)},a)$ 为机器人在 $t$ 时刻，在评价函数 $C$ 下能获得最大收益的动作行为。动作条件的引入主要发生在微调阶段，此时的数据流通常表示为 $(s_x^{(t)},a^{(t)},s_x^{(t+1)})$ ，机器人需要同时学习以下目标