量子位· 思邈·· 22 小时前精选AI 评分58
是石科技发布 TokenFleet 分布式推理调度框架,P95 首Token延迟降低32.4%
首Token延迟降低32.4%!是石科技集群调度大招,国产推理再提效
AI 导读
2026 CTF全国高性能计算学术大会期间,是石科技发布 TokenFleet 分布式调度框架,包含 TokenPilot 请求路由、FleetMind 跨机房容量协同、SLOMax 混合负载治理三项核心技术。
推荐理由
原文区分了首Token延迟改善与成本收益,并给出达标吞吐测算口径,便于评估集群调度的实际价值。
来源:量子位 · qbitai.com