跳到正文
arXiv cs.RO 机器人学· Jingkun Yi, Shujie Zhang, Zirui Zhou, Haoxiao Wang, Haiyang Sun, Yuhang Dong, Xudong Xu, Xing Shen, Tao Zhang, Yong Liu, Jiangning Zhang·· 2 小时前精选AI 评分57

EASG:让预训练VLM以文本生成接口直接输出机器人动作

VLMs are Native Action Models: Unleashing the Manipulation Capabilities of VLMs with Explicit Action-Space Grounding

AI 导读

论文提出EASG(Explicit Action-Space Grounding)框架,将以工具中心点(TCP)为中心的动作坐标系投影到腕部相机观测中,并以VLM原生的文本生成接口表达连续动作,使预训练VLM无需机器人动作预训练或额外动作模块即可直接生成可执行动作。该接口同时支持用机器人轨迹微调,实现跨物体位置、类别和机器人本体的零样本操作与泛化,并在同一连续动作空间内持续微调提升。

推荐理由

论文指出VLA通常需从机器人数据学习动作token,而EASG用文本接口直接暴露动作语义,为理解VLM动作接口设计提供了对照视角。

来源:arXiv cs.RO 机器人学 · arxiv.org