跳到正文
Hugging Face 每日论文·· 2 天前AI 评分55

Recurrent Looped Transformer:以循环解码器提升状态跟踪的长度泛化

Recurrent Looped Transformer

AI 导读

Recurrent Looped Transformer(RLT)将层分为并行因果编码器与循环解码器,每个 token 上解码器融合编码器输出与上一 token 的最终解码状态,使计算路径随序列长度增长而单 token 成本固定。

来源:Hugging Face 每日论文 · huggingface.co