Hugging Face 每日论文·· 6 天前精选AI 评分57
Coding-Agent 基准应匹配用户任务流：SWE-TaskFlow 方法提出
Coding-Agent Benchmarks Should Match Their Users' Task Flows
AI 导读
研究收集了 JetBrains IDE 中 4,782 条真实软件工程师的 agent 会话（Production Sessions），分析其中至少含三条用户消息的长会话，发现其任务类型分布与切换模式显著不同于基于 issue 构建的基准任务，且三个公开交互语料的 Task Flow 差异明显，因此基准应明确目标用例并据此校准。
推荐理由
论文用 4,782 条真实工程师会话对比基准任务流差异，评测设计者可据此校准目标场景。
来源：Hugging Face 每日论文 · huggingface.co