LatentLoop：以非对称算力分配扩展循环 MoE 模型

论文提出 LatentLoop，通过压缩首次循环访问的序列、保留第二次访问的全分辨率，并将节省的算力重新分配以增大隐藏维度，从而扩展循环 MoE 模型。作者先在共享块两次应用的模型中学习独立残差系数，观察到首次访问的系数更小，固定系数实验显示降低首次访问的尺度可保持或提升性能，而对第二次访问的同等削减会损害性能。