商汤大装置宣善明：日均6万亿Token背后的异构推理集群实践

商汤大装置副总裁、CTO宣善明在深圳CSDI Summit演讲中介绍其大规模推理实践：以PD分离为核心构建万卡级异构推理集群，国产算力承担Prefill、高阶GPU承担Decode，通过KV Cache传输连接，在特定测试配置下整体Token吞吐量可提升至原来的5倍。