OASIS为AttnResidual双层路由引入null选项

西北大学、伊利诺伊理工学院、罗格斯大学等机构的研究团队提出OASIS方法，为AttnResidual的token层与depth层双层注意力路由增加显式null选项，并用token层的null概率调整depth层的分支选择，论文已被NeurIPS 2026接收。 团队在LLaMA-3.2-1B、Qwen3-0.6B和Phi-4上验证方法，使用BookCorpus和Wiki40B/en继续训练，与标准AttnResidual、OutEffHop、裁剪及门控等方案比较；其中W4A4结果采用OmniQuant，长上下文实验比较的是训练最大序列长度为12K的模型。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。