JetBrains 开源 Mellum 2：一个 12 B 的模型，凭什么能让 AI 工作流快两倍？

AI 摘要：JetBrains 开源 12 B MoE 模型 Mellum 2，Apache 2.0 许可，推理速度 2 倍于同级模型，专为 AI Agent 基础设施中的路由、RAG、子智能体等高频低延迟任务设计。从零训练 10.6 万亿 token。

AI 摘要 – Mellum 2 是 JetBrains 开源的 12 B MoE 模型，每次推理仅激活 2.5 B 参数 – 定位为 AI 系统中的「focal model」——处理路由、RAG、子 Agent 等高频低延迟任务 – Apache 2.0 许可，从零训练 10.6 万亿 token，推理速度 2 倍于同级模型

当所有人都在追求「更大」，JetBrains 选择了「更合适」

AI 圈有一个惯性思维：更好的模型 = 更大的参数。GPT 越来越大，Claude 越来越大，Gemini 越来越大。这当然是对的——参数规模的扩张确实带来了能力的跃升。

但如果你实际在生产环境中部署 AI，你会发现一个尴尬的事实：很多任务根本不需要 1 万亿参数的模型。一个用户问「我该用哪个工具？」——你不需要 GPT-5.5 来回答这个问题。但你需要它在 100 毫秒内给出答案，否则整个 Agent 工作流就会卡在这里。

这就是 JetBrains Mellum 2 试图解决的问题。

6 月 2 日，JetBrains 正式开源了 Mellum 2——一个 120 亿参数的 Mixture-of-Experts 模型。总参数 12 B，但每次推理只激活 2.5 B，Apache 2.0 许可，从零训练了约 10.6 万亿 token。

JetBrains 把它定位为「focal model」——不是要取代 Claude Opus 或 GPT-5.5，而是在大模型主导的 AI 系统中负责那些「高频、低延迟、成本敏感」的环节。

Mellum 2 的架构设计：不是为了跑分，是为了部署

Mellum 2 的 MoE 架构有两个值得关注的设计选择：

激进的高稀疏比。 12 B 总参数只激活 2.5 B，稀疏率约 5:1。这意味着单张消费级显卡就能跑——不是「能勉强加载」，而是能以高吞吐量运行。JetBrains 给出的数据是：推理速度至少是同级开源模型的 2 倍。

从零训练，专为代码和自然语言混合场景。 Mellum 最初是一个代码补全模型（4 B 密集架构）。Mellum 2 保留了代码能力但扩展到通用语言——训练数据中自然语言和代码的比例经过了精心配比，目标是在代码补全、RAG 检索、路由决策等混合场景中表现最优。

在综合基准测试中，Mellum 2 与同级别开源模型（Qwen 2.5、Llama 等 7-13 B 模型）性能相当，但速度快 2 倍以上。这意味着如果你的推理预算固定，你可以用 Mellum 2 处理 2 倍的请求量——或者用同样的预算获得更低的延迟。

Focal Model 概念：为什么 AI 系统需要「快思考」

这个概念值得展开讲。

人类思考有两种模式：快思考和慢思考。慢思考解决复杂问题——写代码、做数学证明、分析一篇长文档。快思考处理日常决策——「这句话通顺吗？」「下一步选哪个工具？」「这个搜索结果相关吗？」

当前 AI 系统的问题是：几乎所有环节都在用「慢思考」模型。一个 Agent 工作流可能需要 10 次模型调用——其中 8 次是简单的路由、总结、格式转换，只有 2 次需要真正的深度推理。但你如果全用 GPT-5.5 或 Claude Opus，每一次调用的成本和时间都差不多。

Mellum 2 的「focal model」定位就是去填这个坑。它的主要使用场景包括：

• 路由决策：分析用户输入的意图，决定调用哪个工具或模型
• RAG 管道中的检索和总结：检索上下文后快速提取关键信息
• 子 Agent 的快速推理：大 Agent 拆解任务后，小 Agent 执行独立子任务
• 私有化部署：在本地运行，不需要把数据发到云端

JetBrains 同时宣布了一个配套项目：为 Kotlin 构建 AI Agent 开发框架。这意味着 Mellum 2 不是孤立的模型发布，而是 JetBrains 构建 AI 开发工具体系的一块拼图——开发者用 Kotlin 写 Agent，用 Mellum 2 做高速推理。

FAQ

Q：Mellum 2 和 Claude Code / GitHub Copilot 是什么关系？ A：Mellum 2 不是它们的替代品，而是它们的补充。你可以在 Agent 工作流中用 Mellum 2 处理高频低复杂度任务，用 Claude/GPT 处理核心推理。

Q：我能在自己的服务器上跑 Mellum 2 吗？ A：可以。Apache 2.0 许可，12 B 总参数且只激活 2.5 B，单张 GPU（如 RTX 4090 或 A 10）就能高效运行。

Q：Mellum 2 支持哪些推理框架？ A：权重已在 HuggingFace 上发布，支持主流框架。JetBrains 还提供了 base、instruct 和 thinking 三个 checkpoint。

Q：JetBrains 为什么做这个？ A：JetBrains 的开发者工具体系（IntelliJ、PyCharm 等）天然需要低延迟的代码智能。Mellum 2 既可以驱动 IDE 中的代码补全和重构建议，也可以作为 Agent 基础设施的快速推理层。

大模型的能力提升仍然重要。但 AI 系统从 Demo 走向生产的过程中，「效率」和「成本」的权重会越来越高。Mellum 2 的意义不在于跑分——在于它让开发者可以用更低的成本把 AI 工作流跑起来。而且连 JetBrains 都在做开源模型，这个赛道才刚开始热闹。

相关阅读

• OpenAI Codex 企业化：ChatGPT 合体、62 个企业应用接入、10 亿用户即将解锁「超级 Agent」
• 微软 Build 2026 暴击：7 款自研 AI 模型齐发，Project Polaris 替换 GPT-4，微软的「
• 这周 AI 行业最贵的是什么？答案是钱——Suno、DeepSeek、Anthropic 的「资本三级火箭」