arXiv cs.RO 机器人学· Boyang Sun, Jiajie Li, Yung-Hsu Yang, Chenyangguang Zhang, Tim Engelbracht, Sunghwan Hong, Cesar Cadena, Marc Pollefeys, Hermann Blum·· 2 小时前精选AI 评分55
LIME：从第一人称视频学习意图感知的相机运动
LIME: Learning Intent-aware Camera Motion from Egocentric Video
AI 导读
LIME 提出视觉语言条件下的相机运动生成任务：给定当前 RGB 观测和自由形式自然语言意图，预测下一观测的相对目标相机位姿。模型通过事后标注从第一人称视频中挖掘多意图相机运动监督，将每个相对 SE(3) 目标位姿与可能的意图和观测增益描述配对，结构上结合自回归的观测增益输出与连续 flow-matching 位姿头，可同时预测下一视图应揭示的内容并表达多假设目标视图。
推荐理由
论文把相机运动单列为一类动作，并给出从被动第一人称视频挖监督的具体做法，可迁移性强。
来源：arXiv cs.RO 机器人学 · arxiv.org