跳到正文
新智元· 新智元·· 1 天前精选AI 评分58

NeurIPS 2026 论文 OASIS:为注意力增加显式弃权选项改善低比特与长上下文表现

NeurIPS'26 | 注意力也能弃权!改善长上下文、低比特鲁棒性

AI 导读

来自西北大学、伊利诺伊理工学院、罗格斯大学等机构的研究团队提出 OASIS,为 AttnResidual 的 token 层与 depth 层双层路由增加显式 null 选项并引入 token-to-depth null coupling。

推荐理由

原文拆解了双层归一化缺少null选项导致注意力集中的机制,并给出消融与量化对照数据,便于评估该方法的适用范围。

来源:新智元 · mp.weixin.qq.com