跳到正文
arXiv cs.RO 机器人学· Huailiang Ma, Yuxuan Li, Ziyi Zhao, Xinkai Wang, Mingyu Li, Xinyu Guo, Lifeng Zhu, Aiguo Song, Cewu Lu, Jianhua Sun·· 2 小时前精选AI 评分53

ObjDream:以物体级理解与未来状态预测引导 VLA 模型

ObjDream: Guiding Vision-Language-Action Models with Object-Level Understanding and Future State Prediction

AI 导读

ObjDream 提出以物体为中心的 VLA 框架,通过时空物体编码器将视觉观测组织为时序物体槽位,用身份引导的路由调制 VLM 注意力,并在训练中以动作条件的物体动力学模块预测未来物体状态。在 LIBERO、LIBERO-Plus 和 RoboTwin 2.0 上的实验显示其在分布偏移与场景扰动下提升泛化能力,真机实验也验证了对新物体摆放与背景变化的迁移。

推荐理由

论文指出多数VLA模型沿用图像级视觉表征导致分布外场景鲁棒性下降,可作为该问题的代表性方案参考。

来源:arXiv cs.RO 机器人学 · arxiv.org