Hugging Face 每日论文·· 6 天前精选AI 评分54
提出不确定性引导渐进收缩框架,用 0.22% 优化预算保持推理性能
Learning More by Training Less: Uncertainty-Guided Progressive Contraction for Efficient Reasoning Post-Training
AI 导读
论文提出一种不确定性引导的渐进收缩框架,将监督与优化集中在最有学习价值的推理轨迹上。方法通过在中间推理状态周围构建 Monte Carlo 推理树来暴露过程级不确定性,先收缩原始语料为紧凑的教师信息池,再在 SFT 阶段根据学生学习状态进行在线路由。
来源:Hugging Face 每日论文 · huggingface.co