Hugging Face 每日论文·· 5 天前精选AI 评分55
BranchOPD:基于分支采样的 On-Policy 蒸馏方法
Branching On-Policy Distillation
AI 导读
论文提出 BranchOPD(Branching On-Policy Distillation),用学生不确定性和师生分歧选择关键决策点,从共享前缀重采样学生策略分支,并对主轨迹与分支施加 token 级教师监督。
推荐理由
论文解释了单轨迹 OPD 监督覆盖受限的问题,并给出共享前缀复用降低采样成本的具体数字,可迁移性强。
来源:Hugging Face 每日论文 · huggingface.co