跳到正文
Hugging Face 每日论文·· 2 天前AI 评分55

DLoop:循环式投机解码提升 LLM 推理加速 5% 至 41%

DLoop: Looped Speculative Decoding

AI 导读

Hugging Face 收录论文提出 DLoop,一种循环形式的投机解码方法,在验证前自适应执行多轮草稿阶段,草稿模型保持高置信时持续起草并一次性验证累积的草稿 token。

来源:Hugging Face 每日论文 · huggingface.co