Hugging Face 每日论文·· 2 天前AI 评分47
重新思考跨 Tokenizer 的 On-Policy 蒸馏：从对齐覆盖率到监督可靠性
Rethinking Cross-Tokenizer On-Policy Distillation: From Alignment Coverage to Supervision Reliability
AI 导读
跨 Tokenizer On-Policy 蒸馏研究发现，严格 1:1 对齐位置已覆盖学生生成的大部分 token，将 reverse KL 限制在每个严格位置的共享词表 top-16 子集即可达到与全共享词表 OPD 相当的准确率。
来源：Hugging Face 每日论文 · huggingface.co