雷锋网·· 1 天前精选AI 评分64
商汤开源日日新 SenseNova Loop-9B-Preview 循环 Transformer 模型
商汤开源 SenseNova Loop-9B-Preview：探索以计算深度释放模型潜力
AI 导读
商汤开源日日新 SenseNova Loop-9B-Preview，采用 Looped Transformer 架构，保留首尾各 4 层原始解码器模块，将中间层改为参数共享的循环计算模块，以多轮迭代扩展有效计算深度，在 9B 参数规模下媲美 27B 模型。
推荐理由
原文说明了 Looped Transformer 的层改造方式和 mHC 消融数据，读者可据此评估计算深度路线的实际收益。
来源：雷锋网 · leiphone.com