跳到正文
Hugging Face 每日论文·· 3 天前精选AI 评分47

PreSTO:通过预测子树预取加速 LLM Power Sampling

PreSTO: Predictive Subtree Prefetching for Fast LLM Power Sampling

AI 导读

论文提出 Predictive SubTree Prefetching(PreSTO),通过批量预取未来提议来加速 PowerMH 的串行 Metropolis--Hastings 更新,且可证明不改变其 MH 转移核。

推荐理由

论文解释了 PowerMH 串行更新的瓶颈来源,并给出不改变转移核的预取思路,可迁移至其他 MH 采样场景。

来源:Hugging Face 每日论文 · huggingface.co