Hugging Face 每日论文·· 3 天前精选AI 评分55
重新审视 On-Policy 蒸馏中相对策略差异的迁移条件
Rethinking Relative Policy Differences Transfer of On-Policy Distillation
AI 导读
论文提出统一视角，用代理专家与代理参考之间的对数概率比定义 KL 正则策略优化的隐式奖励，从而在规模、训练阶段或生成方式不同的模型间实现任意到任意迁移，并将常规 OPD 作为特例。
推荐理由
论文给出三条判断相对策略差异能否迁移的实验规律，可为选择蒸馏教师与参考模型提供依据。
来源：Hugging Face 每日论文 · huggingface.co