DeepInfer开源文件v1.0.0

DeepInfer 是 DeepSeek 开源公布的推理引擎，面向企业和个人服务器用户，可用于高效构建自有化的本地推理引擎，降低 Token 消耗。需要特别说明的是，它主要面向服务器环境设计，普通家用电脑无法直接运行；电脑用户虽然也能按下面的方法解压使用，但并不推荐。

解压后的 DeepInfer-main 文件夹内包含全部源码：根目录的 README.md 是项目说明，csrc 文件夹是核心 C++ 推理引擎源码，build.sh 是一键编译脚本，LICENSE 为 Apache 2.0 开源协议文件，可自由参考、合规使用。

主要功能

• 推理框架：集成高性能算子与深度优化的推理引擎，支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等能力。
• 编解码组件 deepseek-recipe：采用 Rust 编写，与官方 API 处理逻辑完整对齐，使社区自托管部署的体验与官方保持一致。
• 双平台兼容：支持英伟达 Blackwell（SM100）与华为昇腾 950 双算力平台，兼顾主流与国产算力生态。

官方已基于 DeepInfer 实现 DeepSeek V4.1 Flash 高吞吐、低延迟的大规模推理服务，后续新模型的推理代码及优化也会持续更新。其意义在于帮助开发者与企业优化大规模推理的吞吐与延迟，降低算力成本与能源消耗，让智能服务以更低价格触达更广泛的人群。

使用方法

第一步：解压文件

在桌面右键点击 DeepInfer.zip，选择「全部解压缩」，得到 DeepInfer-main 文件夹，里面就是全部源码内容，双击即可打开查看。

第二步：注意运行门槛

该框架无法在当前 Windows 电脑上原生直接运行，它是面向服务器设计的，硬件与环境硬门槛较高：

• 系统需为 Linux（Ubuntu 22.04 及以上），Windows 需安装 WSL2 Linux 子系统才能适配；
• 硬件要求为最新的 NVIDIA SM100 架构数据中心 GPU（如 H100、B200）或华为昇腾 950 NPU，普通家用游戏显卡不支持；
• 软件环境要求 GCC 13+ 编译器、Python 3.12、CUDA 13（英伟达平台）。普通个人电脑通常达不到运行条件。

场景一：仅阅读源码、学习设计

不需要额外环境，直接打开解压后的文件夹即可。可参考其中高性能推理算子、并行调度、推测解码的实现逻辑，所有代码均公开可查。

场景二：在符合要求的 Linux 服务器上部署运行

1. 把解压后的整个 DeepInfer-main 文件夹上传到服务器；
2. 进入文件夹目录，创建一个干净的 Python 3.12 虚拟环境并激活；
3. 执行命令选择硬件平台：英伟达 GPU 执行 export DEEPINFER_ACCELERATOR=nvidia，昇腾 NPU 执行 export DEEPINFER_ACCELERATOR=ascend；
4. 运行 ./build.sh 一键完成编译，之后按 README 中的启动命令，加载 DeepSeek V4.1 Flash 权重即可启动推理服务。

需要补充的是，当前开源版本未包含与 DeepSeek 内部基础设施绑定的 KV 缓存管理、负载均衡模块，若要搭建大规模生产服务需自行补充这部分逻辑；普通个人本地设备不建议尝试部署。