Diffusion LLM 的强化学习终于通了：三篇论文同周攻克后训练难题

Diffusion 语言模型（dLLM）一直有一个尴尬：预训练已经能做到和自回归模型持平，但后训练（RLHF/GRPO 那套）始终不稳定。6 月 19-21 日，三篇论文同时给出了各自的解法——CAPR、DiPOD、StableDRL。

背景：为什么 Diffusion LLM 需要自己的 RL 算法

自回归 LLM（GPT、Claude）：从左到右，一个字一个字地生成。Diffusion LLM（DiffusionGemma、Mercury Coder、LLaDA）：同时生成一整块文本（如 256 个 token），然后多轮迭代去噪优化。Diffusion 的优势是速度和全局一致性。劣势是缺乏序列化的概率分解，无法直接套用为自回归模型设计的 RL 算法。

GRPO 等主流 RL 后训练方法依赖于「序列级别的概率比例」（importance ratio）。自回归模型天然有这个值（每个 token 概率的乘积），但 Diffusion 模型没有——因为多个 token 是同时生成的，概率不可分解。此前学术界尝试用启发式近似方法，结果就是训练不稳定、奖励崩塌——这正是三篇论文共同瞄准的问题。

三篇论文的解法

CAPR（Khandelwal et al.）：利用去噪过程中每一步的「置信度变化」来判断这一步的贡献。算力成本仅 flat rollout 的 0.75×，Sudoku 上匹配最强 tree baseline 但每步算力不到其 1/3。

DiPOD（DiPOD team）：解决「双漂移」现象——ELBO 变分下界在优化中偏离真实值，产生错误梯度信号。解法是每次策略更新后加一步自蒸馏，用 ELBO 最大化正则项拉回真实值。不只在离散 dLLM 任务上稳定，还在人形机器人运动跟踪上验证了通用性。

StableDRL（StableDRL team）：GRPO 搬上 dLLM 触发正反馈循环——概率比例噪声大→条件裁剪绕过→梯度尖峰→策略漂移→噪声更大。解法是「无条件裁剪」+「自归一化」，从源头斩断不稳定性。

这三个方法不是互斥的。CAPR 解决信用分配，DiPOD 解决训练稳定性，StableDRL 解决梯度质量。三者可以在同一个训练循环中组合使用。

FAQ

Q: 普通开发者需要关心吗？

短期内不需要。但如果你在用 DiffusionGemma 或 Mercury Coder 做实际项目，这些论文意味着下一个版本很可能有显著的推理能力提升。

Q: Diffusion LLM 什么时候能追上自回归 LLM？

Diffusion 速度有天然优势但推理深度仍有差距。这三篇补上的 RL 后训练正是关键一环。保守估计 2026 年底会在数学和代码上持平同规模自回归模型。

参考来源：

• CAPR paper
• DiPOD paper
• StableDRL paper