跳到正文
arXiv cs.RO 机器人学· Jusuk Lee, Sungha Kim, Yeonsoo Park, Jonguk Cheon, Yoonkyo Jung, Yongjun You, H. Jin Kim, Jia-Bin Huang, Furong Huang, Youngseok Jang, Seungjae Lee·· 4 小时前AI 评分55

Dex-One2Many:从单段人类视频学习灵巧操作的 real-to-sim-to-real 框架

Dex-One2Many: Learning Dexterous Manipulation from a Single Human Demonstration

AI 导读

Dex-One2Many 是一个 real-to-sim-to-real 框架,从单段人类视频学习可泛化的灵巧操作策略,其核心做法是把视频抽象为顺序场景图来引导强化学习,场景图作为生成式约束采样多样重置状态并为各阶段提供稠密奖励。该方法完全在仿真中训练,零样本迁移到真实多指手;在五项工具使用与操作任务上,已见配置下超过基线 6.5%,未见场景下差距扩大到 71%。

来源:arXiv cs.RO 机器人学 · arxiv.org