跳到正文
热点事件持续更新

发布真机空间落地基准Spa-Bench,VLA在OOD任务上成功率明显下滑

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Justin Tien-Smith等研究者发布真机基准Spa-Bench,用于评测视觉-语言-动作模型(VLA)把空间描述转化为真机行为的可靠性,覆盖物体状态、相对大小、指代描述、关系放置、序数位置和计数六项桌面任务,并公布4092条数据集(1200条人类遥操作演示、2892条来自五个VLA策略的真机评测轨迹)。 在三个完整评测的策略上,成功率从分布内(ID)空间配置的67.5-73.3%降至分布外(OOD)配置的40.7-52.0%;改用匹配的直接指令可使成功率提升28.3-40.0个百分点。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月12日
  1. arXiv cs.RO 机器人学精选
    Spa-Bench:面向 VLA 空间落地能力的真机基准

    研究团队发布真机基准 Spa-Bench,用于评测视觉-语言-动作模型(VLA)将空间描述转化为真机行为的可靠性,覆盖 Object State、Relative Size、Referential Description、Relational Placement、Ordinal Position 和 Counting 六项桌面任务。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。