Hugging Face 每日论文·· 5 天前精选AI 评分56
HSS 基准评测多模态模型的直观视觉推理能力
Humanity's Sixth Sense: Benchmarking Intuitive Visual Reasoning in Multimodal Models
AI 导读
论文提出 Humanity's Sixth Sense(HSS)基准,用于评测多模态大模型对场景中隐含时间、空间、社会与抽象结构的直观视觉推理能力,覆盖图像与视频输入并配有结构化分类和人类撰写的提示。结果显示人类参与者准确率达 93.1%,而表现最强的模型 GPT-6-astra 即使在最大推理强度下也仅为 53.6%;引入动态视觉操作的 agentic 设置能缩小但未消除这一差距。
推荐理由
论文提出 HSS 基准并给出人机准确率对比,可量化直观视觉推理这一能力缺口。
来源:Hugging Face 每日论文 · huggingface.co