Hugging Face 每日论文·· 3 天前精选AI 评分55
AMLworld-Compact:用重要性加权降采样降低 LLM 评测成本并诊断错误
AMLworld-Compact: Importance-Weighted Downsampling for Cost-Effective LLM Evaluation and Error Diagnosis
AI 导读
论文提出 AMLworld-Compact 评测集,保留全部非法测试交易并按监督分数分层采样良性交易,其 HT-Coreset 协议在 HI-Small 和 LI-Small 上将评测目标减少 271x 和 611x。
推荐理由
论文用重要性加权降采样把评测目标减少 271x 至 611x,并给出与均匀采样的误差对比,可迁移至大规模评测成本优化。
来源:Hugging Face 每日论文 · huggingface.co