决策模型评测医学AI裁判能力
热点事件持续更新
决策模型评测医学AI裁判能力
1 篇报道1 个报道来源23 小时前更新
先了解这件事
AI 综述
Omar 等人在一项OSF预注册的评测中，将TypeSafe Jev 1.13作为评审模型，在HealthBench、When Rubrics Fail、MedVAL、CounselBench和Real-POCQi五个临床基准上测试其判断医疗AI答案的能力，共25,091个单元、213,913次模型调用。Jev与专家标注的一致率在六项任务上平均为64.7%。 在3,614个匹配单元上，Jev平均一致率66.1%，Opus为65.0%、Sol为60.7%，Jev在六项任务中的四项上对两者均非劣。但在同等误报率下，Jev漏掉55.6%的植入遗漏，Opus漏掉48.1%，且Opus整体多检出8.8个百分点的植入错误。
AI 根据报道生成 · 3 小时前更新
最新进展11月2日 08:00
决策模型作为医疗AI答案低成本评审器的评测研究报道时间线
沿着报道，了解事件的不同侧面。
11月2日
- medRxiv 临床预印精选决策模型作为医疗AI答案低成本评审器的评测研究
一项在OSF预注册的评测研究将TypeSafe Jev 1.13作为评审模型，在HealthBench、When Rubrics Fail、MedVAL、CounselBench和Real-POCQi五个临床基准上测试，共25,091个单元、213,913次模型调用。
本事件热度走势
- 可比范围当前
- 5
- 可比范围峰值
- 611月3日 05:00
- 近 24 小时变化
- –
0246
05:0006:0007:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。