新智元· ASI启示录·· 15 小时前精选AI 评分77
DeepSeek开源推理框架DeepInfer与Token编解码组件deepseek-recipe
突发，DeepSeek重磅开源核心推理引擎！
AI 导读
DeepSeek全面开源自研推理框架DeepInfer（Apache 2.0协议）和生产级Token编解码组件deepseek-recipe（MIT协议），支持英伟达SM100 GPU与华为昇腾950 NPU。
推荐理由
详细拆解了DeepInfer的Prefill/Decode分离、KV缓存复用和MoE专家分布等设计，可迁移性强。
来源：新智元 · mp.weixin.qq.com