商汤CTO：异构推理集群吞吐提升至5倍

商汤大装置副总裁、CTO宣善明在深圳CSDI Summit演讲中介绍，商汤以PD分离为核心构建万卡级异构推理集群，国产算力承担Prefill、高阶GPU承担Decode，通过KV Cache传输连接；在特定测试配置下、相同数量高端旗舰卡条件下，整体Token吞吐量可提升至原来的5倍。 宣善明称，未来AF分离有望带来单卡吞吐提升150%至200%、运营成本降低30%至40%，整体能效提升至原来两倍以上，但相关收益仍取决于具体模型架构、硬件配置和系统实现。该文由商汤提供、量子位授权转载。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。