Hugging Face 每日论文·· 2 天前精选AI 评分55
Ares：面向 RLVR 训练的自适应秩谱优化器论文
Spectral-Driven Adaptive-Rank Optimizer for Large Language Model Reinforcement Learning with Verifiable Rewards
AI 导读
论文研究 RLVR 训练的梯度谱结构，发现梯度能量随训练逐步集中到不断收缩的有效子空间，这一特征在 SFT 下不存在，把可验证奖励换成随机奖励后也基本消失；捕捉固定比例梯度能量所需秩随训练持续下降。
推荐理由
论文揭示 RLVR 训练中梯度能量向低维子空间集中的谱结构，为优化器设计提供了可迁移的几何视角。
来源：Hugging Face 每日论文 · huggingface.co