cover diffusion gemma 1
28

6 月

逐字输出过时了?Google × NVIDIA 开源 DiffusionGemma,一次蹦出 256 个 Token

逐字输出过时了?Google × NVIDIA 开源 DiffusionGemma,一次蹦出 256 个 Token

你可能没想过一个问题:为什么 AI 写文章是一个字一个字出来的?不是你手机慢。是所有大语言模型天生就是「自回归」的——先写第一个字,基于第一个字写第二个字,以此类推。但 6 月 10 日,Google 和 NVIDIA 联合发布的 DiffusionGemma,把这个逻辑倒了过来。

不是写出来的,是「扩散」出来的

传统自回归逐字输出 vs DiffusionGemma 256 token同时从噪声到清晰

传统 LLM 逐 token 生成,而 DiffusionGemma 从随机噪声开始,逐步「去噪」,同时生成 256 个 token,多轮迭代优化——像 Midjourney 生成图片一样。在 NVIDIA H 100 上达到 1000 token/秒吞吐量,RTX 5090 超过 700 token/秒。传统模型 200-300 token/秒——快了 3-4 倍。

为什么扩散模型在文字上这么难做?

文字是离散的——「猫」和「狗」之间没有半个字的中间状态。Google 的核心突破可能在于:在 embedding 空间而非 token 空间做扩散,然后用专门解码器映射回具体 token。Apache 2.0 开源,商业可用。当闭源模型的访问需要政府审批时,一个 Apache 2.0 的模型权重文件就是供应链自主权。

推理加速赛道:DiffusionGemma 3-4x vs DSpark 1.8x vs JetSpec 9.6x

DiffusionGemma、DSpark、JetSpec 三种方案代表了 AI 推理加速的不同路径,它们不是互斥的。最理想的情况下,未来你可能看到一个结合了扩散模型+投机解码的「超级推理引擎」。你部署的模型在未来半年里,推理速度可能翻两三倍——不需要换硬件、不需要改代码。

本文基于 Google Research、NVIDIA Developer、AIBase、arXiv 等公开信息整理分析,由 AI 辅助调研撰写,人工审核发布。

分享这篇文章

RELATED

Posts