Hugging Face 每日论文·· 6 天前精选AI 评分44
Cross-Teacher Guarding 改进多教师在策略蒸馏 Road MOPD
Beyond Domain-Routed Supervision: Cross-Teacher Guarding for Multi-Teacher On-Policy Distillation
AI 导读
论文提出 Road MOPD，针对多教师在策略蒸馏中域路由只区分监督来源、各域更新仍作用于共享参数导致梯度冲突与能力退化的问题，引入非路由教师作为同一学生轨迹上的跨域评论家。
推荐理由
论文指出域路由只区分监督来源而共享参数仍会梯度冲突，给出的缓解思路可迁移到其他多教师蒸馏场景。
来源：Hugging Face 每日论文 · huggingface.co