arXiv cs.RO 机器人学· Xiangyu Li, Huaizhi Tang, Xin Ding, Weijun Wang, Ting Cao, Yunxin Liu·· 5 小时前精选AI 评分61
OxyGen：面向多任务并行 VLA 推理的统一 KV Cache 管理方案
OxyGen: Unified KV Cache Management for VLA Inference under Multi-Task Parallelism
AI 导读
论文提出 OxyGen，将 KV cache 作为跨任务、跨控制周期的共享资源进行统一管理，通过跨任务 KV 共享消除共享观测的冗余 prefill，并以跨帧连续批处理在每帧解码预算内推进未完成的语言请求。
推荐理由
论文给出跨任务KV共享与跨帧连续批处理两项优化，做VLA推理部署的工程师可参考其吞吐与时延平衡方法。
来源：arXiv cs.RO 机器人学 · arxiv.org