DeepSeek 开源 DeepInfer 推理框架与分词编解码组件

DeepSeek 开源了自研推理框架 DeepInfer，该框架支撑 DeepSeek-V4.1-Flash 的大规模高吞吐低延迟服务；同时开源了 deepseek-recipe 分词编解码组件，其处理逻辑与官方 API 一致。

内容详情 · 原文链接

via AI情报局 | 全球 AI 动态简报 - Telegram Channel

DeepSeek 开源内部推理框架 DeepInfer，要把大模型服务的成本打下来

DeepSeek 在10月20日官宣，在已经陆续开源一系列大模型、TileLang 编译工具以及推理算子库之后，决定再往前迈一步——把自家的内部推理框架 DeepInfer 全面开源。

这家公司点明了一个长期被公众忽视的中间层:大模型的能力上限由模型本身划定，但如何以合理成本撑起超大规模的模型服务，真正取决于推理框架。训练让模型"学有所成"，推理则让模型"为人所用"。面对如今海量的用户调用，推理框架负责统筹调度庞大的算力集群，它的效率直接决定了 AI 服务的算力成本与电力消耗。

DeepSeek 想通过公开内部的部署经验，帮开发者与企业组织优化大规模推理的吞吐量与延迟，从而更高效地搭建私有化或公有云部署，压低算力成本、减少能源消耗，让智能以更低的价格触达更广泛的人群，实现它口中的"大模型普惠"。

基于 DeepInfer，DeepSeek 官方已经跑通了 DeepSeek V4.1Flash 的高吞吐、低延迟大规模推理服务;往后，新模型的推理代码和后续优化也会在这个框架里持续更新。

具体来看，DeepInfer 推理框架集成了高性能算子与深度优化的推理引擎，支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等能力，并且同时兼容英伟达与华为昇腾两套平台。与之同步开源的，还有 deepseek-recipe 编解码组件——一个生产级的 Token 编解码模块，与 DeepSeek 官方 API 的处理逻辑完整对齐，确保社区拿到的 API 体验和官方部署保持一致。对想自己搭建推理服务的人来说，这意味着不必再从零摸索，直接站在 DeepSeek 的部署经验之上。

via AI新闻资讯 (author: AI Base)

DeepSeek 再掀开源浪潮：内部推理框架 DeepInfer 全面公开，剑指"大模型普惠"

DeepSeek 当日官宣，在先后放出一系列大模型、TileLang 编译工具与推理算子库之后，进一步把自家的内部推理框架 DeepInfer 全盘开源。这家公司想补上的，是一个长期躲在聚光灯之外的环节——推理框架。

在 DeepSeek 的定义里，模型的能力上限由模型本身决定，但"怎样以合理成本把超大规模模型供出去"，靠的是这层中间架构。训练让模型学有所成，推理才让它为人所用。当海量用户同时调用，推理框架负责统筹调度庞杂的算力集群，其效率高低，直接撬动着 AI 服务的算力开销与耗电——它既不像模型权重那样吸睛，却是把实验室能力搬进现实的关键闸口。

开源不只给代码，更要压低用 AI 的价码

DeepSeek 的意图很明确：把内部部署经验摊开，帮开发者与企业组织把大规模推理的吞吐量与延迟优化上去，从而更高效地搭建私有化或公有云部署，压低算力成本、少烧电。一句话，让智能以更便宜的价格触达更多人，兑现"真正的大模型普惠"。

这套框架并非空谈。基于 DeepInfer，DeepSeek 官方已跑通 DeepSeek V4.1 Flash 的高吞吐、低延迟大规模推理服务；往后新模型的推理代码与后续调优，也将持续在这里更新。从公开的能力清单看，DeepInfer 集成了高性能算子与深度优化的推理引擎，支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等特性，并且同时兼容英伟达与华为昇腾两大平台——在出口管制倒逼国产替代的当下，这种"双栈通吃"的适配，对国内开发者尤其实在。

与框架同步开源的，还有 deepseek-recipe 这一生产级 Token 编解码组件，处理逻辑与 DeepSeek 官方 API 完整对齐，确保社区拿到的体验与官方部署如出一辙。两份代码已分别托管于 GitHub 的 deepseek-ai/DeepInfer 与 deepseek-ai/deepseek-recipe。

从模型到算子库再到推理框架，DeepSeek 正把"造模型"的全套手艺往开源社区里搬。当算力成本成了 AI 普及的最大门槛，把效率内核交出去，或许比单纯放出几个权重更能撬动生态——毕竟谁能帮行业把每一度电、每一张卡榨出更高产出，谁就握住了普惠叙事里的真正筹码。

via AI新闻资讯 (author: AI Base)

DeepSeek 以 Apache-2.0 协议开源 DeepInfer 推理框架

DeepSeek 以 Apache-2.0 协议开源高性能大规模推理框架 DeepInfer，支持优化内核、MoE 专家并行、确定性采样与结构化输出。

内容详情 · 原文链接

via AI情报局 | 全球 AI 动态简报 - Telegram Channel

DeepSeek 开源推理框架 DeepInfer:推理成本成为 AI 普惠的关键一层

DeepSeek10月20日宣布全面开源内部推理框架 DeepInfer，这是继此前开源系列大模型、TileLang 编译工具与推理算子库之后的又一次开放。官方指出，大模型的能力边界由模型本身划定，但如何以合理成本提供超大规模模型服务，还取决于推理框架这一中间层——它统筹调度庞大的算力集群，其效率直接决定 AI 服务的算力成本与电力消耗。

DeepInfer 集成高性能算子与深度优化的推理引擎，支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等能力，同时兼容英伟达与华为昇腾平台。基于该框架，DeepSeek 已实现 DeepSeek V4.1Flash 的高吞吐、低延迟大规模推理服务，未来新模型的推理代码及后续优化也将持续在此更新。

配套同步开源的 deepseek-recipe 是生产级 Token 编解码组件，与 DeepSeek 官方 API 的处理逻辑完整对齐，确保社区获得与官方部署一致的 API 体验，两部分代码均已在 GitHub 开放，DeepSeek 另在知乎发布了完整技术报告。

官方表示，开源推理框架的目的一在于帮助开发者与企业组织优化大规模推理的吞吐与延迟，高效构建私有化与公有云部署，从而降低算力成本、减少能源消耗，让智能以更低价格触达更广泛人群，并将继续支持社区进行大规模部署优化。模型、算子库与推理框架的逐层开放，延续了国产大模型以开源生态降低推理门槛、推动智能普惠的行业路径。

开源仓库

DeepInfer: https://github.com/deepseek-ai/DeepInfer

deepseek-recipe: https://github.com/

deepseek-ai/deepseek-recipe

via AI新闻资讯 (author: AI Base)

AI日报：腾讯开放元宝搜索；MiniMax 更新 M3.1Flash；蚂蚁百灵开源 Ming-3.0 语音系列

via AI新闻资讯 (author: AI Base)

Telegraph

AI日报：腾讯开放元宝搜索；MiniMax 更新 M3.1Flash；蚂蚁百灵开源 Ming-3.0 语音系列

欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解：https://app.aibase.com/zh 1.腾讯开放元宝搜索，千亿级索引支持AI智能体调用 腾讯正式开放元宝搜索，通过Skill、MCP和API三种方式向开发者提供服务。该搜索引擎拥有千亿级索引，接入157个行业权威信源，将底层索引检索平均耗时降至8毫秒，并提供每月2000次免费调用额度。 【AiBase提要:】 🔎 千亿级索引，接入157个权威信源…

DeepSeek 开源大规模推理框架 DeepInfer

10 月 20 日，DeepSeek 开源内部大规模推理框架 DeepInfer，并同步开源 Token 编解码组件 deepseek-recipe。基于该框架，V4.1 Flash 的单一集群吞吐达 155 万亿 Tokens/天。

该框架支持分布式推理、推测解码、结构化输出等能力，可在英伟达与华为昇腾平台运行；KVCache 可保留 72 小时以上。

Github | DeepSeek

🌸 科技圈· 茶馆 · 投稿

via 在花🎗️科技圈 - Telegram Channel