Qwen3.8 Flash-Next 单卡 RTX 5080 部署指南:Basalt 引擎实测解码超 250 tok/s
[GUIDE] Qwen3.8 Flash-Next on a single RTX 5080 + 64GB RAM: >250 tok/s tg and 5700 tok/s prefill in real agent coding sessions (Basalt + new Unsloth UD-IQ3_XXS + Lamina drafter),+ how it compares to llama.cpp
来源与原文
Reddit · r/LocalLLaMA
作者:/u/yehyakar
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xomy0i/guide_qwen38_flashnext_on_a_single_rtx_5080_64gb/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
作者发布在单张 RTX 5080 16GB 加 64GB 内存上运行 Qwen3.8 Flash-Next 的完整指南,实测真实 Agent 编码会话平均解码 195.6 tok/s、最佳请求 263 tok/s、prompt 读取约 5,700 tok/s。同一模型文件下 Basalt 引擎解码约为 llama.cpp 的 3.5 倍(配合 Lamina 草稿约 5 倍),prompt 读取快约 7 倍;Unsloth 新 UD-IQ3_XXS 量化 wikitext 困惑度 3.382 降到 3.247,接近 BF16 的 3.273,解码速度代价 1 到 3.5%。指南附一键 setup 脚本与作者向上游提交的多个 Basalt 优化 PR。
作者在同一台机器上给出 Basalt 与 llama.cpp 的实测倍数和量化困惑度对比,方法与数据可直接迁移到自己的单卡部署。
来源:Reddit · r/LocalLLaMA · reddit.com
这条消息,你怎么看?
把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。