复旦等提出LoLBench，28种Agent组合最高解决率仅14%

复旦大学、香港城市大学、香港中文大学等机构提出LoLBench评测基准，实测6个前沿模型与5个脚手架的28个可用组合，最高解决率仅14%，显示Agent在大型软件系统上完成模块开发的能力仍有限。 LoLBench从社区功能提案及对应已合并PR中选取100项任务，覆盖29个系统、8种语言和5个领域，被测系统平均约240万行源代码，任务从功能提案到模块交付，提案平均约5000个英文单词。评测在断网的Docker环境中开展，防止Agent检索上游实现，单任务限时6小时。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。