八个大模型神经科答题置信度普遍高估

一项 medRxiv 预印研究用 100 道经验证的神经科 board 风格多选题测试八个通用大语言模型，比较自报置信度、独立实例批评隐含置信度和重复采样一致性置信度三种信号。结果显示准确率从 45%（Llama 3.1 8B）到 92%（Gemini 3 Flash/Pro）不等，但各模型置信度普遍被高估，低准确率模型尤其明显。 研究称，基于重复采样的一致性置信度在区分对错答案上表现最好（合并 AUROC 0.74），优于自报置信度，但三种方法之间的校准差异并不显著。题目文本、选项和答案因属受限教育测评材料、公开会损害测评完整性而不对外发布，由 eBrain 平台控制访问。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。