10 月 20 日，DeepSeek 对外宣布把内部使用的把把自家推理框架 DeepInfer 整体开源。这套框架此前为 DeepSeek V4.1 Flash 提供支撑 承接大规模推理业务，兼顾高吞吐与低延迟；后续新模型的推理代码与性能优化也会在该项目中持续更新。
DeepSeek 对开源理由的解释很直接：模型本体决定能力上限，但要以可控成本承接大规模服务，推理框架这层中间件同样关键。训练让模型具备能力，推理让能力真正可用；面对海量用户请求，框架负责算力集群的调度，其效率直接影响服务的算力开销与能耗。
这也是过去一段时间里，头部模型公司竞争重心从训练转向推理的缩影。模型参数与训练数据逐渐趋同后，单位请求的成本、首字延迟与并发吞吐成为产品体验与商业模型的分水岭。把内部框架开源，相当于把大规模部署的工程经验交给社区复用。
从公开信息看，DeepInfer 集成了高性能算子与深度优化的推理引擎，能力清单包括推测解码、分布式推理，以及 SWA Bounded Replay 与结构化输出能力，并可兼容英伟达与华为昇腾两类硬件平台。对需要私有部署的企业，硬件兼容性往往比峰值性能更重要，因为它决定了既有算力资产能否继续使用。
与框架一同开源的还有 deepseek recipe，这是一套生产级 Token 编解码组件，逻辑与 DeepSeek 官方接口保持对齐。开发者接入后，可以获得与官方服务一致的调用体验，减少在编解码细节上重复踩坑。
值得注意的是，这并非 DeepSeek 第一次对外开放底层组件。此前它已陆续开源多个大模型，也开放过 TileLang 编译工具和推理算子库，这次补上推理框架，开源链条从模型延伸到编译器、算子与运行时，形成了较完整的技术栈。
对行业而言，这类开源的实际影响通常体现在两方面：一是降低中小团队做私有部署的门槛，不必从零搭建调度与批处理系统；二是把优化基准公开，迫使商用推理服务在吞吐与延迟上给出更有说服力的数据。至于框架在真实业务中的表现，还要看社区在不同硬件组合上的复现结果。
文章与图片内容转载网络，如有侵权请联系平台删除
发表评论 取消回复