跳到正文
量子位· 思邈·· 22 小时前精选AI 评分58

是石科技发布 TokenFleet 分布式推理调度框架,P95 首Token延迟降低32.4%

首Token延迟降低32.4%!是石科技集群调度大招,国产推理再提效

AI 导读

2026 CTF全国高性能计算学术大会期间,是石科技发布 TokenFleet 分布式调度框架,包含 TokenPilot 请求路由、FleetMind 跨机房容量协同、SLOMax 混合负载治理三项核心技术。

推荐理由

原文区分了首Token延迟改善与成本收益,并给出达标吞吐测算口径,便于评估集群调度的实际价值。

来源:量子位 · qbitai.com