跳到正文
Hugging Face 每日论文·· 5 天前精选AI 评分55

BranchOPD:基于分支采样的 On-Policy 蒸馏方法

Branching On-Policy Distillation

AI 导读

论文提出 BranchOPD(Branching On-Policy Distillation),用学生不确定性和师生分歧选择关键决策点,从共享前缀重采样学生策略分支,并对主轨迹与分支施加 token 级教师监督。

推荐理由

论文解释了单轨迹 OPD 监督覆盖受限的问题,并给出共享前缀复用降低采样成本的具体数字,可迁移性强。

来源:Hugging Face 每日论文 · huggingface.co