Hugging Face 每日论文·· 3 天前精选AI 评分55
SynthSelf：用合成自蒸馏实现小模型的持续后训练
Continually Post-training Small Models via Synthetic Self-distillation
AI 导读
论文提出 Synthetic Self-distillation（SynthSelf），通过外包给同族中稍大的对齐器完成分布内改写，配合 off-policy 监督与拒绝采样，为小模型提供高质量监督且不破坏其原始分布。
推荐理由
论文指出小模型持续学习失败与分布偏移线性相关，并给出同族稍大对齐器的替代方案，关注端侧部署的读者可参考其诊断思路。
来源：Hugging Face 每日论文 · huggingface.co