Hugging Face 每日论文·· 6 天前精选AI 评分57
研究提出Semi-OPD蒸馏方案，在17组师生模型中14次优于on-policy蒸馏
When Do We Need On-Policy Distillation? Distilling on Offline Student Rollouts Is Often Better
AI 导读
论文提出Semi-OPD，即在初始学生模型生成的离线rollout上做蒸馏，在17组1.5B至235B参数的师生模型对比中，Semi-OPD在14组上优于on-policy蒸馏（OPD），最高带来+13.6%准确率和11.4倍训练加速。
推荐理由
论文用17组师生模型对比给出选择蒸馏方式的量化依据，即以输出token重叠率判断该用OPD还是Semi-OPD。
来源：Hugging Face 每日论文 · huggingface.co