Hugging Face 每日论文·· 1 天前精选AI 评分55
CriticOPD：用批评引导的 on-policy 蒸馏恢复可靠监督
Recovering Reliable Supervision via Critique-Guided On-Policy Distillation
AI 导读
论文提出 CriticOPD，指出 on-policy 蒸馏（OPD）假设教师能从学生写的任意前缀推出正确答案，但该可恢复性在错误 rollout 上失效，教师虽能识别错误却仍会跟随学生错误。
推荐理由
论文指出教师模型在学生错误前缀上会跟随错误而非纠正，这一可恢复性分析为理解 OPD 失效提供了具体视角。
来源：Hugging Face 每日论文 · huggingface.co