Hugging Face 每日论文·· 1 天前精选AI 评分56
TokenRouter：面向 Token 级 LLM 路由的高效服务系统
TokenRouter: Efficient Serving System for Token-Level LLM Routing
AI 导读
论文提出 TokenRouter，一个面向 token 级 LLM 路由推理的高效服务系统，采用请求中心编程、模型中心执行的设计，开发者从单请求视角描述路由逻辑，运行时为每个 LLM 启动子服务器并异步分发请求。
推荐理由
论文给出了2.01-64.15x的解码吞吐提升和开源地址，可据此评估其对token级路由落地的参考价值。
来源：Hugging Face 每日论文 · huggingface.co