跳到正文
新智元· 新智元·· 22 小时前精选AI 评分60

北邮团队提出 MiTA 高效注意力,NeurIPS 2026 接收

注意力也是FFN?从快权重出发,重新理解高效注意力 |NeurIPS'26

AI 导读

北京邮电大学团队提出 Mixture-of-Top-k Attention(MiTA),将快权重视角发展为五维分类框架,用少量地标查询构造可复用的可变形 Top-k 专家,兼顾全局概括与细节检索,论文已被 NeurIPS 2026 接收,代码已开源(https://github.com/QishuaiWen/MiTA)。

推荐理由

把注意力统一成快权重FFN并给出五维分类框架,读者可借此重新组织对各类高效注意力路线的理解。

来源:新智元 · mp.weixin.qq.com