AutodidactWAM用生成视频自蒸馏提升机器人抓取成功率

AutodidactWAM 论文作者团队提出一种跨模态自蒸馏方法：用无需遥操作训练的手部姿态估计加逆运动学，从 Cosmos 3 世界-动作模型生成的视频中恢复动作估计，与原生动作配对后仅微调动作相关层。作者报告的闭环真机实验在 Unitree G1 人形机器人上进行，恢复动作门控的预抓取、抓取、抓取-放置成功率约为 75%、47%、42%，原生动作对应为 17%、10%、7%。 在训练物体 Oreo 上，该方法预抓取成功率 90%、完整任务 20%；在未见物体上为 80% 和 30%。作者称 Plain Flow-DPO 尽管验证偏好准确率达 1.000，成功率仍为 0%，说明增益来自训练目标的组合而非对比目标本身。

AI 根据报道生成 · 1 天前更新