Hugging Face 每日论文·· 1 天前精选AI 评分56
Doc2Harness:面向编码智能体长程 harness 工程的 LLM 基准
Doc2Harness: Benchmarking LLMs on Long-Horizon Harness Engineering of Coding Agents
AI 导读
Doc2Harness 是一个两阶段基准,直接评测 LLM 构建长程 harness 的能力:Stage 1 中构建模型在固定 builder harness 内根据接口契约骨架和开发文档生成候选 harness,Stage 2 在隔离容器中由脚本化 mock 模型端到端驱动,并通过模型请求、磁盘文件、进程退出码、命令输出四个通道打分。
推荐理由
论文指出即使最强模型也近半失败且错误集中在模块划分,为评估编码智能体的工程能力提供了新视角。
来源:Hugging Face 每日论文 · huggingface.co