arXiv cs.RO 机器人学· Jiaqi Fan, Rui Xu, Jiakun Xia, Xuyu Fan, Shuailei Ma, Yuefeng Wang, Qing Wang, Jiarui Zhang, Yili Fu, Xu Li·· 5 小时前精选AI 评分58
ListenVLA:基于 GR00T N1.7 的音频条件 VLA 操作策略与 LIBERO-Audio 基准
Listen Before Act: Audio-Conditioned Robot Manipulation with ListenVLA
AI 导读
论文提出 ListenVLA,一个基于 GR00T N1.7 构建的音频条件 VLA 策略,用于声音引导的机器人操作。它将语义音频嵌入与波形声学线索结合,在因果音频历史之上通过音频 token 和特征调制来调节连续动作生成,并引入音频-动作绑定目标,用上下文匹配的示范把听觉差异关联到示范动作差异。
推荐理由
论文指出部分操作任务依赖视觉无法推断的听觉线索,并给出音频绑定监督这一可迁移的训练思路。
来源:arXiv cs.RO 机器人学 · arxiv.org