跳到正文
Hugging Face 每日论文·· 3 天前精选AI 评分55

S-Space:探索多模态语言模型中的空间工作区

S-Space: Exploring Spatial Workspace in Multimodal Language Models

AI 导读

研究发现 S-Space,即多模态语言模型中物体 token 表征编码水平、垂直与距离连续坐标的线性子空间,它作为内部空间工作区:感知将物体位置编码其中,内部推理随视角变化对其变换,语言回答选择性读取它。因果干预表明改变 S-Space 会改变空间判断而非空间判断之外的回答;用其诊断空间推理失败时发现,模型能形成较强的空间表征,却在跨视角变换上存在瓶颈。

推荐理由

论文把多模态大模型的空间推理拆成表征与变换两层,指出瓶颈在视角变换而非感知编码,为诊断失败提供了可迁移的分析视角。

来源:Hugging Face 每日论文 · huggingface.co