LatentLoop 以非对称算力分配扩展循环 MoE 模型
热点事件观察中
LatentLoop 以非对称算力分配扩展循环 MoE 模型
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
LatentLoop 论文提出一种非对称算力分配方案来扩展循环 MoE 模型：压缩首次循环访问的序列、保留第二次访问的全分辨率，并把省下的算力用于增大隐藏维度。作者在共享块两次应用的模型中学习独立残差系数，发现首次访问的系数更小；固定系数实验显示，降低首次访问的尺度可保持或提升性能，而对第二次访问同等削减会损害性能。 论文称，在 15 种配置（1.3B–7B 参数，最大预算超 10^21 FLOPs）上，LatentLoop 均降低验证 NLL；在拟合 NLL 为 1.988 时，相对 vanilla MoE 和循环基线的预测算力节省分别为 19.0% 和 7.9%，并在九项基准的 0-shot 与 5-shot 设置下各规模均提升平均分。
AI 根据报道生成 · 5 小时前更新
最新进展10月14日 08:00
LatentLoop：以非对称算力分配扩展循环 MoE 模型报道时间线
沿着报道，了解事件的不同侧面。
10月14日
- Hugging Face 每日论文精选LatentLoop：以非对称算力分配扩展循环 MoE 模型
论文提出 LatentLoop，通过压缩首次循环访问的序列、保留第二次访问的全分辨率，并将节省的算力重新分配以增大隐藏维度，从而扩展循环 MoE 模型。作者先在共享块两次应用的模型中学习独立残差系数，观察到首次访问的系数更小，固定系数实验显示降低首次访问的尺度可保持或提升性能，而对第二次访问的同等削减会损害性能。
本事件热度走势
- 可比范围当前
- 4
- 可比范围峰值
- 510月15日 11:00
- 近 24 小时变化
- –
0246
11:0012:0013:0014:0015:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。