新智元· 新智元·· 19 小时前精选AI 评分58
复旦等机构提出LoLBench:实测28种Agent组合,最高解决率仅14%
5000词需求文档,Claude也只能交付14%!实测28种Agent组合
AI 导读
复旦大学、香港城市大学、香港中文大学等机构提出LoLBench,把Agent放进平均约240万行源代码的软件系统,评估从功能提案到模块交付的完整过程,数据集含100项任务、覆盖29个系统、8种语言和5个领域,提案平均约5000个英文单词。
推荐理由
论文用240万行仓库和5000词提案量化了Agent在大型系统交付上的短板,可为Agent研发指明检索与验证环节的改进方向。
来源:新智元 · mp.weixin.qq.com