跳到正文
arXiv cs.RO 机器人学· Shiva Sreeram, Erfan Aasi, Tsun-Hsuan Wang, Alaa Maalouf, Daniela Rus·· 2 小时前精选AI 评分52

论文评测视频语言模型在驾驶场景中的时序理解能力

Mind the Temporal Gap: Evaluating Video Models for Temporal Understanding in Driving

AI 导读

该论文通过需要从驾驶视频中识别动作的受控自运动任务,评测视频语言模型的时序理解能力。研究发现标准提示、视觉提示、few-shot 提示和 chain-of-thought 提示均不可靠且高度依赖任务与模型,存在持续的类别偏差;而轻量 LoRA 微调和基于中间视觉特征的简单探针能恢复较强的运动判别性能,表明运动相关线索常存在于模型内部但未被最终的视频到语言通路可靠使用。

推荐理由

通过受控自运动任务对比提示与微调方法,为评估视频模型时序理解能力提供了可复用的实验框架。

来源:arXiv cs.RO 机器人学 · arxiv.org