跳到正文
arXiv cs.RO 机器人学· Haihao Lin, Xiangsheng Huang, Xiao Yang, Weibang Zhou, Yiqi Zhang, Bo Yang, Simin Zeng, Jiawei Yang, Zhengyang Wang, Jiahui Du·· 5 小时前精选AI 评分58

FiberTune:在 VLA 微调中保留动作纤维方向的视觉残差

FiberTune: Preserving Action-Fiber Visual Residuals in Vision-Language-Action Fine-Tuning

AI 导读

FiberTune 是一个训练时目标,用于缓解视觉-语言-动作(VLA)策略在动作监督微调中出现的局部动作纤维上的视觉残差塌缩问题,且不增加推理开销。它通过在线动作探针过滤中间视觉 token 表征中与动作预测相关的方向,再以居中方向对齐冻结视觉教师并结合有效秩正则来保留残差。

推荐理由

论文量化了动作监督微调导致的视觉表征塌缩问题,并给出六个仿真设置与真机上的对比增益数据。

来源:arXiv cs.RO 机器人学 · arxiv.org