字节跳动发布ByteExpress RDMA部署经验论文

Yibo Huang 等人在 arXiv 发布论文，报告字节跳动在基于 parameter-server 的推理与训练系统中部署 ByteExpress（硬件 RDMA 之上的软件通信层）的经验。论文称，在生产推理中，与内核 TCP 相比，ByteExpress 将模型参数拉取的平均与 P99 延迟分别降低 35.7% 和 43.7%，总 CPU 占用降低 10.69%；在训练中，模型参数推送 P99 延迟最多降低 74.0%，运行时未观察到 PFC 暂停。 论文提出三条教训：RDMA 高效需要跨应用与传输层的缓冲管理，可扩展通信需协同管理连接与接收能力，服务可用性需在传输层之上做恢复。

AI 根据报道生成 · 1 天前更新