Hugging Face 每日论文·· 4 天前精选AI 评分56
Multi-Stream Attention Residuals:多头深度注意力残差结构论文
Multi-Stream Attention Residuals
AI 导读
论文提出 Multi-Stream Attention Residuals(MSAR),把 AttnRes 的深度轴单流 softmax 注意力推广为多头深度注意力,通过多尺度因果卷积从序列上下文获取流多样性,再经轻量自适应混合生成单流层输入,无需常驻多流存储或通信。
推荐理由
给出了与标准残差、mHC、AttnRes 的 iso-loss 加速对比数字,便于评估该残差结构的收益幅度。
来源:Hugging Face 每日论文 · huggingface.co