用统一的 KV cache 支撑机器人的多任务推理
OxyGen 将 KV cache 作为跨任务、跨控制周期共享的同一份资源，让 Mixture-of-Transformers VLA 在不损失动作频率的前提下并发生成语言，在 RTX 4090 与 Jetson AGX Thor 上端到端加速最高 3.7×。
李翔宇
博士生, 清华大学智能产业研究院
我目前就读于清华大学智能产业研究院（AIR），博士五年级，研究端侧智能（博士阶段工作概述）与具身智能。近期主要探索 VLA、WAM 等具身基础模型的高效部署，以及自进化物理智能。
最新动态
更多 →- 2026/09 OxyGen: Unified KV Cache Management for VLA Inference under Multi-Task Parallelism accepted to NeurIPS 2026. Paper Blog Code Page
- 2026/08 Zeva: In-Context Causal Learning for Generalizable Embodied Manipulation released. Congrats to Fu Chen and Xin Ding. Paper Code Page 量子位
- 2026/08 Cosmos Lite updated to v0.3.0: add RoboLab parallel rollout support and RoboLab-120 benchmark results. Blog Code Models
代表论文
更多 →OxyGen: Unified KV Cache Management for VLA Inference under Multi-Task Parallelism
NeurIPS 2026Main Track, Poster
Vec-LUT: Vector Table Lookup for Parallel Ultra-Low-Bit LLM Inference on Edge Devices
ACM MobiSys 2026Best Paper Award Runner-Up, Results Reproduced @AE
Personal LLM Agents: Insights and Survey about the Capability, Efficiency and Security
ArXiv preprint, 2024Survey & Position, “Efficiency” Section Lead
近期文章
更多 →在 RTX 4090 上部署并加速 Cosmos 3 机器人策略
通过量化、采样器调优、kernel 优化与 rollout 拓扑设计，在 24 GB GPU 上加速 NVIDIA 的 16B Cosmos 3 机器人策略：从单请求推理到 1,200 个 episode 的全量评测。
用向量查表真正加速低比特 LLM 的并行推理
Vec-LUT 将重复的标量查表转化为连续的向量读取，在 x86 和 ARM CPU 上将并行三值 LLM 推理加速至多 4.2 倍。