OxyGen统一KV缓存管理,VLA多任务推理提速3.7倍
热点事件持续更新
OxyGen统一KV缓存管理,VLA多任务推理提速3.7倍
1 篇报道1 个报道来源5 小时前更新
先了解这件事
AI 综述
Xiangyu Li 等提出 OxyGen,把 KV cache 作为跨任务、跨控制周期的共享资源统一管理,在 π0.5 等 VLA 模型的多任务并行推理中,相比各自独立执行最高提速 3.7 倍;在 RTX 4090 上同时达到 200 tokens/s 以上的语言吞吐和 70 Hz 动作频率,评测硬件还包括 Jetson AGX Thor,论文标注为 NeurIPS 2026。 具体做法是跨任务共享 KV cache,省去共享观测的重复 prefill,并通过跨帧连续批处理,在每帧解码预算内继续推进未完成的语言请求。
AI 根据报道生成 · 2 小时前更新
最新进展10月14日 12:00
OxyGen:面向多任务并行 VLA 推理的统一 KV Cache 管理方案报道时间线
沿着报道,了解事件的不同侧面。
10月14日
- arXiv cs.RO 机器人学精选OxyGen:面向多任务并行 VLA 推理的统一 KV Cache 管理方案
论文提出 OxyGen,将 KV cache 作为跨任务、跨控制周期的共享资源进行统一管理,通过跨任务 KV 共享消除共享观测的冗余 prefill,并以跨帧连续批处理在每帧解码预算内推进未完成的语言请求。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。