Reddit · r/LocalLLaMA· /u/Major_Ingenuity_6364·· 3 天前AI 评分54
ReVolta 0.1.2 发布：DFlash 投机解码跑通 4× V100
ReVolta 0.1.2: DFlash speculative decoding running on 4× V100
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Major_Ingenuity_6364
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xdqgps/revolta_012_dflash_speculative_decoding_running/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
ReVolta 维护者发布 vLLM 分支 0.1.2 版，在 4× V100（SM70、无 NVLink）上实现 DFlash2 投机解码，作者称可能是首个在 Volta 上跑通的案例。drafter 使用 incoai 的 DFlash2 checkpoint，从目标模型 hidden states 起草 8-token 块并由目标单次验证；测试模型为 Qwen3.8 Flash-Next（AWQ）、512K 上下文、FP8 KV 加 CPU offload、TP4 + DCP2。实测单请求英文代码 201 tok/s（对比 163）、英文推理 195（对比 163）、中文 85–101（对比 100–105）、8 并发混合 331（对比 357）；KV 池增大约 10% 至 1.27M tokens。
来源：Reddit · r/LocalLLaMA · reddit.com