DeepSeek开源推理框架DeepInfer与Token编解码组件

DeepSeek以Apache 2.0协议开源自研推理框架DeepInfer，以MIT协议开源生产级Token编解码组件deepseek-recipe，两者均支持英伟达SM100 GPU与华为昇腾950 NPU。 DeepInfer目前支持V4.1 Flash模型，最初基于vLLM搭建，也参考了SGLang和TensorRT-LLM；开源版本目前提供的是离线推理。KV缓存管理和负载均衡因与内部基础设施绑定过深，代码暂未完整开源，设计细节写入长文与问答。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。