新智元· 新智元·· 22 小时前精选AI 评分60
北邮团队提出 MiTA 高效注意力,NeurIPS 2026 接收
注意力也是FFN?从快权重出发,重新理解高效注意力 |NeurIPS'26
AI 导读
北京邮电大学团队提出 Mixture-of-Top-k Attention(MiTA),将快权重视角发展为五维分类框架,用少量地标查询构造可复用的可变形 Top-k 专家,兼顾全局概括与细节检索,论文已被 NeurIPS 2026 接收,代码已开源(https://github.com/QishuaiWen/MiTA)。
推荐理由
把注意力统一成快权重FFN并给出五维分类框架,读者可借此重新组织对各类高效注意力路线的理解。
来源:新智元 · mp.weixin.qq.com