DeepSeek 开源推理框架 DeepInfer：线上服务同款引擎，最小高效部署要 128 张卡

一句话结论：DeepInfer 是 DeepSeek 在 2026 年 10 月开源的大规模推理框架，Apache 2.0 协议，官方称它就是 DeepSeek V 4.1 Flash 线上服务所用的引擎，单个集群每天处理 155 万亿 token。目前只支持 V 4.1 Flash 一个模型，硬件限 NVIDIA SM 100 GPU 和华为昇腾 950 NPU。这次开源的是离线推理引擎，完整线上服务还需要的 KV 缓存系统、预填充与解码分离、负载均衡并未包含。官方给出的最小高效部署单元是预填充 64 卡加解码 64 卡，适合云厂商和推理平台研究，不适合个人或小团队直接部署。

AI 摘要

• 是什么：DeepSeek 官方推理框架，GitHub deepseek-ai/DeepInfer，Apache 2.0，截至 10-26 约 2.25 万星、2,600 fork
• 支持范围：模型只有 DeepSeek-V 4.1-Flash（默认加载 1017 版权重）；硬件只有 NVIDIA SM 100 和昇腾 950
• 已开源：优化内核、专家并行与负载均衡（EP + EPLB）、投机解码、结构化输出、批次不变推理、确定性采样
• 未开源：KV 缓存系统、预填充 / 解码分离部署、数据并行副本间的负载均衡
• 同时开源：deepseek-recipe（MIT），负责 API 协议与 token 序列互转，和官方 API 行为对齐

资源信息

• 资源名：DeepInfer
• 资源 URL：https://github.com/deepseek-ai/DeepInfer
• 类型：开源软件（大模型推理框架）
• 许可或授权：Apache License 2.0
• 是否免费：免费，可商用；运行需要自备 SM 100 GPU 或昇腾 950 集群
• 是否需要登录：不需要
• 最近核查日期：2026-10-26（GitHub 22,532 星、2,603 fork、208 个未关闭 issue，10-25 仍有提交）

DeepInfer 是什么，和 vLLM 有什么关系？

推理框架负责把训练好的模型变成可以对外提供服务的系统：接收请求、调度批次、调用 GPU 内核、管理缓存。DeepInfer 是 DeepSeek 自己的推理框架，README 写明它是「DeepSeek 大规模生产服务背后的高性能推理框架」，这次开源的是其中的离线推理部分。

它最初主要基于 vLLM 构建，并参考了 SGLang 和 TensorRT-LLM，致谢部分明确列出了这三个项目。在此基础上，DeepSeek 接入了自家此前开源的内核库：FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect，以及用 TileLang 写的自定义算子。

部署问答文档给出了它在生产环境的规模：单个集群每天处理 155 万亿 token，按空闲时段价格计算，整体收入为每 GPU 小时 38 美元。这些是 DeepSeek 官方数字，没有第三方核实。V 4.1 Flash 模型本身的介绍见 DeepSeek V 4.1-Flash 发布报道。

DeepInfer 有哪些关键能力？

README 列出的功能和配置方式：

其中「批次不变」和「确定性采样」对做评测和回归测试的团队有用：同一条输入不会因为和别的请求拼在同一批而得到不同结果。结构化输出可以从生成阶段就约束 JSON 格式，生成后的校验仍有必要，方法见 AI 输出验收工具链。

部署 DeepInfer 需要什么条件？

门槛很高，按官方文档整理如下，本站未实测：

1. 硬件：NVIDIA SM 100 GPU（Blackwell 架构）或华为昇腾 950 NPU，其他型号不在支持列表内。社区已有适配昇腾 910 B、910 C 的提案，尚未合并
2. 软件：Linux、GCC 13 以上、Python 3.12；NVIDIA 平台需 CUDA 13，昇腾平台需 CANN 9.2。从源码构建，设置 DEEPINFER_ACCELERATOR=nvidia 或 ascend 后运行 ./build.sh
3. 规模：官方推荐预填充用专家并行 2～8、解码用 64～128（Wide-EP）。1 个预填充实例加 1 个解码实例即可部署，但由于解码推荐 EP 64 以上，最小高效部署单元是预填充 64 卡加解码 64 卡
4. 性能测试条件：README 中的吞吐曲线，预填充在 4 张 SM 100 上测得，解码在 64 张上测得

运行官方示例 python examples/offline_inference.py 时，会自动从 Hugging Face 下载 DeepSeek-V 4.1-Flash-1017 权重，也可以用 DEEPINFER_HF_MODEL_DIR 指向本地副本。

哪些部分没有开源？

README 列出了完整线上服务还缺的三块，DeepSeek 称这部分代码与内部基础设施耦合较深，暂未完全开源：

• KV 缓存系统：DeepSeek 线上把 KV 缓存保留 72 小时以上，用来减少缓存命中时的重复计算。官方建议每台缓存存储服务器配 20 块 30.73 TB SSD，读带宽不低于 40 GB/s
• 预填充 / 解码分离部署：大部分引擎功能已实现，但调度编排没有放出
• 数据并行副本间的负载均衡：预填充、解码、视觉编码器和专家并行各有一个负载均衡器

这意味着 DeepInfer 目前是「引擎」而不是「开箱即用的服务」。仓库里也没有 OpenAI 兼容的 HTTP 服务端，社区已提交相关 PR，截至 10-26 尚未合并。官方表示后续 DeepSeek 模型的推理代码和性能优化会继续在 DeepInfer 中开源。

哪些人适合关注 DeepInfer？

适合：

• 云厂商和推理服务商：想用 DeepSeek 官方同款优化来托管 V 4.1 Flash，降低每 token 成本
• 使用昇腾 950 的团队：官方直接支持，不用等第三方适配
• 推理系统研究者：部署问答文档完整公开了专家并行、分离部署和缓存存储的设计取舍
• 需要可复现输出的评测团队：批次不变推理和确定性采样有现成开关

不适合：

• 个人开发者和小团队：硬件和规模门槛远超常规配置，直接调用官方 API 更划算，价格见 DeepSeek V 4.1 Flash 1017 价格报道
• 想跑其他模型的团队：目前只支持 V 4.1 Flash
• 需要开箱即用 API 服务的场景：缺少 HTTP 服务端、KV 缓存和负载均衡

想在本地小规模试 DeepSeek 系模型，可以看 Colibri 纯 C 语言 MoE 推理 这类轻量方案；需要 Agent 运行框架，见 DeepSeek Harness 开源。

使用 DeepInfer 有哪些风险和限制？

• 组件不完整：KV 缓存、分离调度、负载均衡未开源，自建完整服务需要自己补齐或等待后续开放
• 硬件锁定：只支持 SM 100 和昇腾 950，上一代 GPU（如 H 100、H 200）和昇腾 910 系列不在列表中
• 项目很新：仓库 10 月 16 日建立，已有 200 多个未关闭 issue，接口可能频繁变化
• 官方数字未经验证：日处理 155 万亿 token、每 GPU 小时 38 美元收入均为 DeepSeek 自述
• 部分功能平台受限：批次不变推理和确定性采样目前只支持 NVIDIA

FAQ

DeepInfer 能在普通显卡上运行吗？

不能。DeepInfer 只支持 NVIDIA SM 100（Blackwell 架构）GPU 和华为昇腾 950 NPU，并要求 CUDA 13 或 CANN 9.2。官方推荐的最小高效部署单元是预填充 64 卡加解码 64 卡，消费级显卡和上一代数据中心 GPU 都不在支持范围内。

DeepInfer 支持哪些模型？

截至 2026 年 10 月 26 日只支持 DeepSeek-V 4.1-Flash，默认加载 1017 版权重。DeepSeek 表示后续模型的推理代码会继续在 DeepInfer 中开源。

DeepInfer 和 vLLM 是什么关系？

DeepInfer 最初主要基于 vLLM 构建，并参考了 SGLang 和 TensorRT-LLM。它在此基础上接入了 DeepSeek 自研的 FlashMLA、DeepGEMM、DeepEP 等内核，专门针对 V 4.1 Flash 和 DeepSeek 的大规模集群做了优化，通用性不如 vLLM。

DeepInfer 可以商用吗？

可以。DeepInfer 使用 Apache 2.0 协议，同时开源的 deepseek-recipe 使用 MIT 协议，都允许商用。模型权重 DeepSeek-V 4.1-Flash-1017 在 Hugging Face 上同样是 MIT 协议。

参考来源

• GitHub：deepseek-ai/DeepInfer（README、LICENSE、examples/README.md，10-26 查阅）
• DeepInfer 仓库文档：doc/inference_deployment_qa.md《DeepSeek V 4.1 Flash Inference Deployment Q&A》（10-20 更新）
• GitHub：deepseek-ai/deepseek-recipe（MIT，10-26 查阅）
• GitHub API：仓库星数、fork、issue 与提交记录（10-26 查阅）