VisTacAlign协同训练视觉-触觉灵巧策略

Julien Poffet 等提出 VisTacAlign 框架，在人类示教与机器人示教上协同训练 3D 视觉-触觉灵巧操作策略。该框架将手套追踪的人手动作重定向到 17-DoF 触觉机器人手，并擦除双目视野中的人手、替换为机器人手网格后重跑立体基础模型，使人类点云具备与机器人一致的立体误差和可见性，同时把电容触觉手套信号与机器人指尖传感器在信号空间对齐。 在三个需要精确力控的真实任务（乐高装配、摘取不同大小的草莓、启动并提起电钻）上，加入对齐后的人类示教数据优于仅用机器人数据训练的策略；消融实验显示，触觉输入与视觉对齐两者都必不可少。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。