跳到正文
Hugging Face 每日论文·· 2 天前AI 评分53

通过推测执行隐藏端侧级联语音 Agent 的工具调用延迟

Hiding Tool Latency in On-Device Cascaded Voice Agent through Speculative Execution

AI 导读

端侧级联语音 Agent 采用推测工具执行方案,通过 Predictor 模块在 ASR 阶段预测工具调用并提前执行、缓存结果注入 LLM prompt,实测 Android 语音助手的中位首音频时间从 5.79s 降至 4.60s,标准差从 3.49s 降至 2.81s。方案用基于规则的校验机制过滤用户自我纠正导致的错误缓存,LLM 仍可直接发起工具调用,最坏情况延迟不高于基线串行流水线。

来源:Hugging Face 每日论文 · huggingface.co