无标签低成本AI模型Jev用于系统综述筛选排名的评估

Jo、Lee、Lee 等研究者评估了无需筛选标注的低成本 AI 模型 Jev 在系统综述标题与摘要筛选中的排名表现：在 23 篇留出综述上，Jev 的平均 AUC 为 0.966，全部优于最佳免费排名器（0.831），与 Claude Opus 5.5 的差距仅 0.011 AUC，成本约为其 1/700（每千条记录 0.02 美元）。 研究共对 128 篇综述的 169,982 条记录评分，其中 23 篇留出综述为一次性评估，另对 31 篇 Cochrane 综述做事后评估。固定分数阈值在 28 篇 Cochrane 综述中有 3 篇低于 95% 召回率；Jev 排名配合统计停止规则（事后评估）在全部 51 篇综述达到 95% 召回率，需阅读 86–88% 的记录。研究者称无标注排名准确且成本低，但安全停止仍需人工筛选决策。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。