Hugging Face 每日论文·· 2 天前AI 评分55
TRACE：面向 MoE 语言模型 FP4 强化学习的 Rollout 引导量化感知训练
TRACE: Rollout-Guided Quantization-Aware Training for FP4 Reinforcement Learning of MoE Language Models
AI 导读
TRACE 提出一种面向 MoE 语言模型强化学习训练的 FP4 量化框架，通过 rollout 侧量化结果引导训练侧 FP4 舍入决策，直接缩小训练与 rollout 两条量化执行路径的差异。
来源：Hugging Face 每日论文 · huggingface.co