Hugging Face 每日论文·· 5 天前精选AI 评分59
KV4-RL：用 INT4 KV Cache 量化加速 RLVR 异步 rollout
KV4-RL: Unlocking Faster Asynchronous Rollouts for RLVR with INT4 KV Cache Quantization
AI 导读
KV4-RL 论文提出免标定 INT4 KV 量化并结合对 attention sink 和近期上下文的选择性 INT8 保护，以降低采样失配。
推荐理由
论文给出 INT4 KV 量化在 RLVR 训练中的加速与精度权衡数据，做推理侧量化的工程师可参考其保护策略。
来源：Hugging Face 每日论文 · huggingface.co