Doc2Harness 评测 19 个模型长程 harness 构建能力
热点事件观察中
Doc2Harness 评测 19 个模型长程 harness 构建能力
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
Doc2Harness 论文作者提出两阶段基准 Doc2Harness，评测 19 个前沿模型构建长程 harness 的能力：Stage 1 中模型在固定 builder harness 内按接口契约骨架和开发文档生成候选 harness，Stage 2 在隔离容器中由脚本化 mock 模型端到端驱动，通过模型请求、磁盘文件、进程退出码、命令输出四个通道打分。 每个模型做 3 次独立构建、覆盖 328 个测试用例。论文作者称，GPT-6 Astra 通过率最高，为 53.05%，最弱模型为 27.44%，差距约 26 个百分点；即便最强模型也仍失败近半测试用例，失败集中在跨切面功能如何在模块间拆分。
AI 根据报道生成 · 3 小时前更新
最新进展10月14日 08:00
Doc2Harness：面向编码智能体长程 harness 工程的 LLM 基准报道时间线
沿着报道，了解事件的不同侧面。
10月14日
- Hugging Face 每日论文精选Doc2Harness：面向编码智能体长程 harness 工程的 LLM 基准
Doc2Harness 是一个两阶段基准，直接评测 LLM 构建长程 harness 的能力：Stage 1 中构建模型在固定 builder harness 内根据接口契约骨架和开发文档生成候选 harness，Stage 2 在隔离容器中由脚本化 mock 模型端到端驱动，并通过模型请求、磁盘文件、进程退出码、命令输出四个通道打分。
本事件热度走势
- 可比范围当前
- 4
- 可比范围峰值
- 410月15日 13:00
- 近 24 小时变化
- –
0246
13:0014:0015:0016:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。