arXiv cs.RO 机器人学· Zhixuan Xu, Yichen Li, Xuanye Wu, Tianyu Qiu, Lin Shao·· 1 天前精选AI 评分58
FingerEye：基于连续视觉触觉感知的灵巧操作学习框架
FingerEye: Learning Dexterous Manipulation with Continuous Vision-Tactile Sensing
AI 导读
FingerEye 是一个传感与学习框架，通过贯穿交互全程的视觉触觉反馈提升机器人灵巧操作能力。传感侧将双目 RGB 相机与柔性接触界面结合，接触前用指尖相机提供近距视觉线索与隐式立体信息，接触后用标记点追踪柔性环形件形变作为接触力旋量感知的代理；学习侧构建了真机与仿真数据基础设施，并提出 FingerEye Policy，采用分组结构的模态融合以减少模态捷径。
推荐理由
论文给出视觉触觉融合的具体设计与七项任务上的量化提升，可作为多模态灵巧操作方案的参考。
来源：arXiv cs.RO 机器人学 · arxiv.org