跳到正文
雷锋网·· 4 小时前精选AI 评分68

DeepSeek 开源 DeepInfer 推理引擎,深挖 Zero-Overhead 调度实现

DeepSeek 又一开源重器!深挖 DeepInfer 究竟藏着多少技术狠活?

AI 导读

DeepSeek 在 GitHub 开源 DeepInfer,即 DeepSeek-V4.1-Flash 背后的推理引擎,包含 MoE 专家并行、异步 Batch 调度、定制 Kernel 和推测解码等技术,并披露单集群每天需处理约 155 万亿 Token。

推荐理由

原文拆解了异步调度如何修正跨轮次状态错位,可迁移理解大规模 MoE 推理的工程取舍。

来源:雷锋网 · leiphone.com