dflash inference breakthrough cover
25

6 月

15 倍吞吐!DFlash + 三篇 ACL 论文,LLM 推理效率正在经历一场「静默革命」

DFlash扩散LLM推理突破

新模型发布占据头条,但推理效率的进步可能影响更持久。 DFlash 在 Nvidia Blackwell 上实现 15× 吞吐提升。ACL 2026 上三篇 Diffusion LLM 论文同时亮相:SARDI(8× RAG 吞吐)、Diffuse Thinking(扩散+自回归协同推理)、C²DLM(因果概念引导,12% 推理提升 + 3.2× 训练加速)。

DFlash:块扩散 + KV Cache 注入 = 15×

传统投机解码逐 token 预测。DFlash 用块扩散模型一次性生成整个 token 块(16 个 token 并行),然后主模型并行验证。第二个创新是KV Cache 注入——主模型特征注入到草稿模型每一层 KV Cache 中,信号在每个草稿层都被强化。Nvidia TensorRT-LLM 已集成。

ACL 2026 三箭齐发

SARDI:让扩散模型在降噪过程中持续利用「半成品 token」做检索增强,5 个 QA 基准上吞吐量达现有方法的 8 倍。Diffuse Thinking:扩散模型做发散思维(大量提议)、自回归模型做收敛思维(逐一评估)的协同推理框架。C²DLM:从教师模型提取因果图引导注意力学习,12% 推理提升 + 3.2× 训练加速。

参考:DFlash | SARDI | Diffuse Thinking

分享这篇文章

评论 (1)

评论被关闭。

RELATED

Posts