跳到正文
arXiv cs.RO 机器人学· Kushagra Tiwary*, David Mayo*, Nikhil Behari, Xiangzhou Sun, Abdulrahman Alabdulkareem, Isaac Galatzer-Levy, Boris Katz, Brian Cheung·· 2 天前AI 评分51

ArtifactArena:用物理世界中的构建成果评测模型

ArtifactArena: Evaluating Models by What They Build in the Physical World

AI 导读

ArtifactArena 是一个开放式平台,让模型在物理接地的软硬件协同设计挑战中工程化构建可运行机器人并在模拟竞技场对战。平台通过文本描述、物理仿真器反馈和游戏数据三种 harness 评测前沿模型的零样本、验证器引导精修与开放式物理设计能力,并用对战 Elo 排名对模型进行基准测试。该框架与赛事基础设施将开放社区持续提交,形成不饱和的开放式智能测试床。

来源:arXiv cs.RO 机器人学 · arxiv.org