视觉—语言—动作（VLA）模型：近期进展综述

我刚开始接触这个领域，欢迎讨论，也欢迎提出任何问题！
本文根据我的幻灯片整理而成。

背景与概念

视觉—语言—动作（VLA）模型的概念

在我的理解中，视觉—语言—动作（Vision-Language-Action，VLA）模型¹是面向具身智能的多模态基础模型。它以视觉（如视频流中的观测）和语言（如用户指令）为输入，输出机器人的底层动作（即控制策略）。 VLA 使用视觉—语言模型（VLM）来生成以视觉和语言为条件的动作。

为长程任务加入基于 VLM 的任务规划器

早期 VLA 主要关注机器人的底层控制。除非对整个任务进行端到端训练，否则仅靠底层控制不足以完成复杂的长程任务。 一种做法是加入基于 LLM/VLM 的任务规划器，把长程任务分解为较简单的子任务，再交给 VLA 依次完成。 较早的工作通常采用独立模型作为任务规划器；近期工作则让任务规划和控制共享同一个 VLM 主干，即采用双系统架构。

VLA 的近期进展

我从两个维度概括 VLA 的近期进展：**从仅有系统 1（控制）走向双系统（规划 + 控制），以及从离散动作走向连续动作。**由此可以得到四个象限：

下面依次介绍这几类方法。

离散 VLA

离散 VLA 生成离散动作 token。它先将机器人的底层动作映射为离散 token，再训练 VLM 像生成文本 token 一样，以自回归方式生成动作 token。 这样，动作和语言便有了统一的表示，也把下一个 token 预测扩展为下一个动作预测。 不过，自回归生成可能带来较高延迟和较低的控制频率，因为每生成一个新的动作 token，都需要再次运行 VLA。

代表性方法包括：

• RT-2²（ViT + PaLI-X/PaLM-E）：首次提出并推广了“VLA”这一术语的开创性工作。
• OpenVLA³（DINOv2 & SigLIP + Llama 2 7B）：颇具影响力的开源 VLA 模型（在 GitHub 上有 3.8k stars）。
• FAST⁴：一种使用 DCT（离散余弦变换）压缩动作序列的动作 tokenizer。

连续 VLA

连续 VLA 从连续动作空间中采样。这样能实现更平滑、精度更高的控制，但也更难在现有语言模型之上训练。 Physical Intelligence 的做法是在预训练 VLM 上加入一个流匹配动作专家，并基于预训练的 PaliGemma 2B VLM 训练 $\pi_0$⁵。

预训练 VLM 从互联网规模的数据中获得语义理解和泛化能力，流匹配动作专家则从跨本体数据中学习高频（最高 50 Hz）控制。之后，还可以针对困难任务或未见过的任务对模型进行微调。

类似地，NVIDIA Isaac 训练了 GR00T N1(.5)⁶。它将预训练 Eagle-2 VLM 与基于扩散模型的动作头相结合，作为通用人形机器人的基础模型。在 $\pi_0$ 和 GR00T 中，VLM 主干与动作专家通过注意力模块交互，使生成的动作以 VLM 的隐状态（即 KV）为条件。二者在技术上有两点区别：

• 注意力机制：$\pi_0$ 将视觉—语言部分与动作部分的 KV 拼接起来，再进行掩码自注意力计算（这篇博文给出了很清楚的图示）；GR00T 则直接在两部分之间进行交叉注意力计算。
• 参与计算的 VLM 层数：$\pi_0$ 让动作专家的层数与 VLM 主干对齐，并在每一层进行自注意力计算（类似 MoE）；GR00T 只保留 VLM 最后一层的隐状态⁷，动作专家的每一层都与它进行交叉注意力计算。

双系统 VLA

与“系统 1 VLA + 独立 LLM/VLM 任务规划器”的组合不同，双系统 VLA 还会使用自身的 VLM 主干进行规划。因此，系统 2（高层规划）和系统 1（底层控制）共享同一个 VLM。 VLA 学习直接根据用户指令预测子任务，由此提升开放世界中的泛化能力，同时比采用独立规划器模型消耗更少的资源。

问题：共享 VLM 是否能通过对齐系统 1 和系统 2 来提升性能？反过来，两者的目标是否也可能互相干扰？

Physical Intelligence 训练的 $\pi_{0.5}$⁸ 是这一类别中的首个模型。与 $\pi_0$ 相比，它的训练数据还包括目标检测、指令、子任务命令和离散动作。 推理时，其 VLM 先根据高层提示预测一个子任务（系统 2），随后由 VLM 和动作专家执行该子任务（系统 1）。 近期的 VLA，如 Galaxea 的 G0⁹ 和 X Square Robot 的 WALL-OSS¹⁰，都沿用了这一训练方法和推理流程。 这类模型大多采用连续 VLA，但 WALL-OSS 也提供了使用 FAST tokenization 的离散版本（WALL-OSS-FAST）。

各模型的仓库和开源情况如下：

• $\pi_{0.5}$：已公开模型权重，部分代码发布于 Physical-Intelligence/openpi，但 VLM 子任务预测的推理代码尚未公开。
• G0：已公开模型权重和开放世界数据集，部分代码发布于 OpenGalaxea/G0，目前仅支持真机推理。
• WALL-OSS：模型权重和代码均已发布于 X-Square-Robot/wall-x。

总结与展望

自 RT-2 于 2023 年问世以来，VLA 已迅速从离散控制发展到连续控制，也从单系统架构发展到双系统架构。 我认为，原生多任务会成为下一个趋势：具身智能体不应局限于执行动作，还应能处理聊天、记忆和导航等本质上不同的任务。 近期的模型已经让任务规划和控制共享基于互联网规模数据预训练的 VLM 主干。尽管这两者仍然以动作为中心，但它们为多个更广泛的任务共享同一个 VLM 奠定了基础。

我目前正在研究这种面向具身智能体原生多任务的多专家基础模型，欢迎联系我讨论与合作！