跳到正文
雷锋网·· 3 小时前精选AI 评分63

谷歌与 Mercor 发布 PLE 评测:工程 Agent 单项约束满足 91%,仅 41.3% 交付项通过全部硬性要求

91% ≈ 0%?谷歌最新研究,戳破工程 Agent 的高正确率泡沫

AI 导读

谷歌与 Mercor 近日发布 Physical-Engineering's Last Exam(PLE),以 85 项机械、电气、土木与结构工程任务量化工程 Agent 的能力落差。

推荐理由

文章解释了硬约束门控评分机制为何能暴露模型单项高分与整体交付之间的落差,可迁移理解其他评测设计。

来源:雷锋网 · leiphone.com